Spätestens seit den ersten PISA-Testungen um die Jahrtausendwende ist die Messbarkeit sprachlicher Kompetenzen von Schülerinnen und Schülern zunehmend in den Blick der Bildungsforschung und der Fachdidaktik gerückt. In Österreich liegen für das Unterrichtsfach Deutsch neben den Ergebnissen aus den regelmäßigen internationalen PISA- und PIRLS-Testungen zur Lesekompetenz insbesondere aus den regelmäßigen Bildungsstandardserhebungen umfassende Daten für die Bereiche Lesen, Schreiben, Sprechen und Sprachbewusstheit vor (zur Einführung der Bildungsstandards in Österreich siehe BIFIE, 2012). Diesen Bildungsstandardtestungen wird in der österreichischen Schullandschaft zunehmend Aufmerksamkeit geschenkt: Die Testergebnisse werden den Schulen und einzelnen Lehrpersonen direkt zurückgemeldet und die Leistungen von Schüler/innen bei standardisierten Überprüfungen sind mittlerweile sowohl für Entscheidungen bei der Weiterentwicklung des Bildungssystems als Ganzes als auch ganz konkret für die Initiierung von Schulentwicklungsprozessen entscheidend. Standardisierte Vergleichsstudien machen in erster Linie Aussagen über die Leistungsfähigkeit von Schulen oder von Bildungssystemen. Die Bildungswissenschaften interessieren sich bei der Interpretation von Vergleichsstudien insbesondere dafür, welche strukturellen Faktoren für die Ergebnisse verantwortlich sein können – beispielsweise das Geschlecht, das kulturelle Bildungskapital der Eltern oder die schulischen Rahmenbedingungen. Aus einer fachlichen und fachdidaktischen Perspektive sollte der Blick bei der Interpretation der Ergebnisse aber immer auch darauf gerichtet werden, welche fachlichen Fertigkeiten bei Vergleichsstudien überhaupt überprüft werden und wie diese Fertigkeiten bei der Testung konkret operationalisiert werden. Wenn wir Unterricht auf der Basis von Leistungsvergleichsstudien weiterentwickeln wollen, müssen wir wissen, was in den einschlägigen Studien gemessen wird – und wir müssen guten Grund zur Annahme haben, dass jeweils das Richtige gemessen wird. Der vorliegende Beitrag beschäftigt sich aus eben dieser Perspektive mit der Modellierung und Operationalisierung einer konkreten sprachlichen Teilkompetenz, nämlich der Rechtschreibkompetenz, in den Erhebungen der österreichischen Bildungsstandards am Ende der vierten (BIST 4) und achten Schulstufe (BIST 8). Hierfür wird im ersten Abschnitt des Beitrags zunächst dargelegt, was unter sprachlicher Kompetenz und konkret unter Rechtschreibkompetenz in der Linguistik und Fachdidaktik verstanden wird. Im zweiten und dritten Abschnitt wird erörtert, wie das Konzept der Rechtschreibkompetenz in den österreichischen Bildungsstandards jeweils in Testaufgaben überführt wird. Konkret werden sowohl die Kompetenzbeschreibungen als auch einzelne freigegebene Items aus den österreichischen Bildungsstandards 4 und 8 analysiert. Der Beitrag schließt mit einem Ausblick auf die Konsequenzen, die die Operationalisierung der Rechtschreibkompetenz in den Bildungsstandards für die Interpretation der Ergebnisse in der Fachdidaktik und in der schulischen Praxis haben.