PISA-Studien

PISA-Logo

Die PISA-Studien der OECD sind internationale Schulleistungsuntersuchungen, die seit dem Jahr 2000 in dreijährigem Turnus in den meisten Mitgliedstaaten der OECD und einer zunehmenden Anzahl von Partnerstaaten durchgeführt werden und die zum Ziel haben, alltags- und berufsrelevante Kenntnisse und Fähigkeiten 15-Jähriger zu messen. Das Akronym PISA wird in den beiden Amtssprachen der OECD unterschiedlich aufgelöst: englisch als Programme for International Student Assessment (Programm zur internationalen Schülerbewertung) und französisch als Programme international pour le suivi des acquis des élèves (Internationales Programm zur Mitverfolgung des von Schülern Erreichten).^[1]

Dieser Artikel behandelt die internationale Studie der OECD. Das Konzept der OECD sieht ausdrücklich die Möglichkeit vor, dass Teilnehmerstaaten den internationalen Test um nationale Komponenten erweitern. Diese Möglichkeit wurde in Deutschland 2000 bis 2009 extensiv genutzt:^[2]

• Für den Bundesländervergleich PISA-E wurden zehnmal so viele Schüler getestet wie für den deutschen Beitrag zur internationalen Studie.
• In PISA-International-Plus wurden einige Schulklassen nach einem Jahr ein zweites Mal getestet, um Lernfortschritte im Laufe des neunten oder zehnten Schuljahrs zu messen.

Außerdem bietet die OECD Erweiterungsmodule an, die nur von einem Teil der Staaten genutzt werden, z. B.

• PISA-Elternstudie: Eltern nahmen an demselben Test teil wie zuvor ihre Kinder.
• Computergestützte Tests: Pilotstudie 2006

Konzept

Die folgenden Merkmale unterscheiden PISA zum Teil deutlich von früheren Schulleistungsuntersuchungen:

• PISA wird im Auftrag der Regierungen durchgeführt (in Deutschland: der Kultusministerkonferenz, in der Schweiz: Bund und Kantone).
• PISA soll in regelmäßigem Turnus fortgeführt werden.
• PISA untersucht Schüler einer Altersstufe, nicht einer schulischen Klassenstufe.
• PISA konzentriert sich nicht auf ein einzelnes Schulfach, sondern untersucht die drei Bereiche Lesekompetenz, mathematische Kompetenz und naturwissenschaftliche Grundbildung. Dieser Bildungsbegriff wird auf Englisch als literacy bezeichnet.
• Aufgaben werden in „persönlich oder kulturell relevante Kontexte“ eingebettet.
• PISA orientiert sich nicht an der Schnittmenge nationaler Curricula, sondern erhebt den Anspruch, "... über die Messung von Schulwissen hinauszugehen und die Fähigkeit zu erfassen, bereichsspezifisches Wissen und bereichsspezifische Fertigkeiten zur Bewältigung von authentischen Problemen einzusetzen.“.^[3]
• Dies soll der Entwicklung von Humankapital dienen, welches die OECD als „das Wissen, die Fähigkeiten, die Kompetenzen, … die relevant sind für persönliches, soziales und ökonomisches Wohlergehen“ (OECD 1999) definiert.

Vertragsmäßige Aufgabe der OECD ist Politikberatung. PISA soll nicht nur eine Beschreibung des Ist-Zustands liefern, sondern Verbesserungen auslösen. Insoweit PISA ein eigenes Bildungskonzept zugrunde liegt, wird zumindest implizit der Anspruch erhoben, auf die nationalen Lehrpläne zurückzuwirken.

Jede PISA-Studie umfasst die drei Bereiche Lesekompetenz, Mathematik und Naturwissenschaften. Bei jedem Durchgang wird ein Bereich vertieft untersucht: 2000 die Lesekompetenz, 2003 Mathematik, 2006 Naturwissenschaften. Dieser Zyklus soll alle neun Jahre wiederholt werden.

Zusätzlich wird in jeder Studie ein Querschnittsthema untersucht: 2000 Lernstrategien und Selbstreguliertes Lernen, 2003 Problemlösung, 2006 Informationstechnische Grundbildung. Diese Zusatzuntersuchung wird nicht in allen Staaten durchgeführt.

Testaufgaben

Nach jeder Testrunde wird ein Teil der Testaufgaben „freigegeben“ und veröffentlicht. Sämtliche freigegebenen Aufgaben finden sich auch online auf den Webseiten der OECD und der nationalen Projektleitungen. Die Testhefte umfassen typischerweise ungefähr zwanzig Aufgabeneinheiten. Jede Aufgabeneinheit besteht aus Einleitungsmaterial und ein bis sieben daran anschließenden Aufgaben.

Die Aufgabeneinheit „Tschadsee“ aus dem Lesetest von PISA 2000^[4] zeigt beispielhaft, wie weit das literacy-Konzept von PISA gefasst ist. Die Einleitung dieser Aufgabe enthält keinen Lesetext im herkömmlichen Sinn, sondern besteht in der Hauptsache aus zwei Diagrammen („nicht-textuelles Lesematerial“), die die Schwankungen des Wasserstands in den letzten 12000 Jahren und das Verschwinden und Auftauchen von Großtierarten darstellen. Daran schließen sich fünf Aufgaben an. Beispielhaft:

• Frage 1: „Wie tief ist der Tschadsee heute?“ (Multiple Choice, fünf Antwortalternativen)
• Frage 2: „In welchem Jahr ungefähr startet der Graph in Abbildung A?“ (freier Text)
• Frage 3: „Warum hat der Autor dieses Jahr als Anfang des Graphen gewählt?“ (freier Text)

Die Fragen 4 und 5 sind dann wieder im Multiple-Choice-Format.

Durchführung und Auswertung

→ Hauptartikel: Methodik der PISA-Studien

PISA-Testdokumente

PISA ist eines von mehreren Projekten, mit denen sich die OECD seit den 1990er Jahren verstärkt im Bereich Bildungsmonitoring engagiert. Die Koordination und die Endredaktion der internationalen Berichte obliegen einer kleinen Arbeitsgruppe am Hauptsitz der OECD in Paris unter Leitung des Deutschen Andreas Schleicher. Politisch wird das Projekt von einem Rat aus Regierungsvertretern gesteuert; wissenschaftlich wird es von einem Expertengremium nebst Unterausschüssen begleitet. Die Erstellung und Auswertung der Testaufgaben wurde ausgeschrieben und an ein Konsortium aus mehreren Unternehmen der Testindustrie unter Leitung des Australian Council for Educational Research (ACER) vergeben.

In den Teilnehmerstaaten wurden nationale Projektzentren eingerichtet.^[5] In jedem Staat werden Stichproben von mindestens 5.000 Schülern gezogen; in manchen Staaten, vor allem um Regionalvergleiche zu ermöglichen, ein Vielfaches davon.

Der Test umfasst eine zweistündige „kognitive“ Testsitzung, gefolgt von einer knapp einstündigen Fragebogensitzung („Questionnaire“). Im kognitiven Test bearbeiten nicht alle Schüler dieselben Aufgaben; 2003 wurden dreizehn verschiedene Testhefte (sowie in manchen Ländern in Sonderschulen ein Kurzheft) eingesetzt; von insgesamt 165 verschiedenen Aufgaben hatte jeder einzelne Schüler nur etwa 50 zu bearbeiten.

Die Schülerlösungen werden von angelernten Hilfskräften kodiert, digital erfasst und ans internationale Projektzentrum nach Australien zur weiteren Auswertung übermittelt. Die meisten Aufgaben werden letztlich nur als entweder „falsch“ oder „richtig“ bewertet. Je nachdem, wie viele Schüler eine Aufgabe richtig gelöst haben, wird der Aufgabe ein bestimmter „Schwierigkeitswert“ zugeordnet. Je nachdem, wie viele Aufgaben ein Schüler gelöst hat, wird dem Schüler eine bestimmte Spanne „plausibler“ „Kompetenzwerte“ zugeordnet. Schwierigkeits- und Kompetenzwerteskala werden nachträglich so skaliert, dass die Kompetenzwerte im OECD-Staatenmittel den Mittelwert 500 und die Standardabweichung 100 haben. Um auszugleichen, dass die Testhefte unterschiedlich schwierig waren und dass einzelne Aufgaben in einzelnen Staaten, zum Beispiel wegen Druckfehlern, nicht gewertet werden konnten, wird die gesamte „Skalierung“ der Schwierigkeits- und Kompetenzwerte unter Zuhilfenahme eines komplexen mathematischen Modells des Schülerantwortverhaltens, der sogenannten Item-Response-Theorie berechnet.

Die Aufgabenschwierigkeitswerte erlauben ansatzweise eine „didaktische“ Interpretation der Testergebnisse: Wenn ein Schüler beispielsweise 530 Kompetenzpunkte erzielt hat, dann kann er mit 62-prozentiger Wahrscheinlichkeit (die Zahl 62 Prozent ist willkürlich festgelegt worden) eine Aufgabe der Schwierigkeit 530 lösen. Wenn man sich nun veröffentlichte Aufgabenbeispiele anschaut, deren Schwierigkeitswert in der Nähe von 530 liegt, dann bekommt man einen Eindruck, was ein Kompetenzwert von 530 bedeutet. Allerdings muss man dabei beachten, dass der Test unter erheblichem Zeitdruck stattfindet (knapp über zwei Minuten pro Aufgabe).

Fast alle weiterführenden Auswertungen beruhen darauf, dass die statistische Verteilung der Schülerkompetenzwerte in den Teilnehmerstaaten oder feiner aufgeschlüsselten Populationen untersucht wird.

Quantitative Ergebnisse

PISA misst Schülerleistung in Punkten auf einer willkürlichen Skala. Interpretierbar werden die Punktwerte erst, wenn sie in einen Kontext gesetzt werden. Das geschieht regelmäßig durch den Vergleich zwischen verschiedenen Ländern. Die Berichte der OECD und ihrer Projektpartner bestehen dementsprechend zu einem erheblichen Teil aus Länder-Ranglisten.

Entwicklung der Leistungen 2000–2009

Die elementarste und meistbeachtete Statistik fasst die Schülerleistungen zu Mittelwerten zusammen. In der folgenden Tabelle sind die bisherigen Ergebnisse der mehrheitlich deutschsprachigen Staaten, einiger weiterer OECD-Staaten sowie einiger Nicht-OECD-Staaten (kursiv) zusammengefasst; in Klammern der OECD-Rangplatz.

Kompetenzmittelwerte^[6]

Land	Mathematik				Lesefähigkeit				Naturwissenschaften
	2000	2003	2006	2009	2000	2003	2006	2009	2000	2003	2006	2009
Deutschland Deutschland	490±3 (20)	503±3 (16)	504±4 (14)	513±3 (10)	484±3 (21)	491±3 (18)	495±4 (14)	497±3 (16)	487±2 (20)	502±4 (15)	516±4 (8)	520±3 (9)
Liechtenstein Liechtenstein	514±7	536±4	±	536±4	483±4	525±4	±	499±3	476±7	525±4	±	520±3
Luxemburg Luxemburg	446±2 (26)	493±1 (20)	490±1 (22)	489±1 (24)	441±2 (26)	479±2 (23)	479±1 (22)	472±1 (30)	443±2 (26)	483±1 (24)	486±1 (25)	484±1 (29)
Osterreich Österreich	515±3 (11)	506±3 (15)	505±4 (13)	496±3 (18)	507±2 (10)	491±4 (19)	490±4 (14)	470±3 (31)	519±3 (8)	491±3 (20)	511±4 (12)	494±3 (24)
Schweiz Schweiz	529±4 (7)	527±3 (7)	530±3 (4)	534±3 (3)	494±4 (17)	499±3 (11)	499±3 (11)	501±2 (11)	496±4 (18)	513±4 (9)	512±3 (11)	517±3 (10)
Belgien Belgien	520±4 (9)	529±2 (6)	520±3 (8)	515±2 (8)	507±4 (11)	507±3 (9)	501±3 (10)	506±2 (8)	496±4 (17)	509±3 (11)	510±3 (13)	507±3 (15)
Finnland Finnland	536±2 (4)	544±2 (1)	548±2 (1)	541±2 (2)	546±3 (1)	543±2 (1)	547±2 (2)	536±2 (2)	538±3 (3)	548±2 (1)	563±2 (1)	554±2 (1)
Frankreich Frankreich	517±3 (10)	511±3 (13)	496±3 (17)	497±3 (16)	505±3 (14)	496±3 (14)	488±4 (17)	496±3 (18)	500±3 (12)	511±3 (10)	495±3 (19)	498±4 (21)
Italien Italien	457±3 (24)	466±3 (26)	462±2 (27)	483±2 (29)	487±3 (20)	476±3 (25)	469±2 (24)	486±2 (23)	478±3 (23)	483±3 (24)	475±2 (26)	489±2 (27)
Japan Japan	557±6 (1)	534±4 (4)	523±3 (6)	529±3 (4)	522±5 (8)	498±4 (12)	498±4 (12)	520±4 (5)	550±6 (2)	548±4 (2)	531±3 (3)	539±3 (2)
Kanada Kanada	533±1 (6)	532±2 (5)	527±2 (5)	527±2 (5)	534±2 (2)	528±2 (3)	527±2 (3)	524±2 (3)	529±2 (5)	519±2 (8)	534±2 (2)	529±2 (5)
Mexiko Mexiko	387±3 (27)	385±4 (29)	406±3 (30)	419±2 (34)	422±3 (27)	400±4 (29)	410±3 (29)	425±2 (34)	422±3 (27)	405±3 (29)	410±3 (30)	416±2 (34)
Niederlande Niederlande	disq.	538±3 (3)	531±3 (3)	526±5 (6)	disq.	513±3 (8)	507±3 (9)	508±5 (7)	disq.	524±3 (5)	525±3 (6)	522±5 (8)
Turkei Türkei	k. T.	423±7 (28)	424±5 (29)	445±4 (32)	k. T.	441±6 (28)	447±4 (28)	464±4 (32)	k. T.	434±6 (28)	424±4 (29)	454±4 (32)
Vereinigte Staaten Vereinigte Staaten	493±8 (19)	483±3 (24)	474±4 (25)	487±4 (25)	504±7 (15)	495±3 (15)	± ()	500±4 (14)	499±7 (14)	± ()	489±4 (21)	502±4 (17)

Neben Finnland, Japan und Kanada befinden sich auch Südkorea, Neuseeland, Australien und das Nicht-OECD-Territorium Hongkong regelmäßig in der Spitzengruppe. Vor der Türkei und Mexiko befinden sich am Tabellenende neben Italien regelmäßig Portugal und Griechenland.

Bei einer Aufschlüsselung nach Sprachgruppen fällt auf:

• In Belgien sind die Leistungen im niederländischsprachigen Landesteil wesentlich besser als im französischsprachigen; sie liegen oft noch über den niederländischen Ergebnissen im internationalen Spitzenfeld.
• In der Schweiz sind die Unterschiede zwischen der deutschen und französischen Sprachgruppe eher gering; die italienischsprachige Schweiz liegt etwas zurück.
• Die Ergebnisse aus Südtirol sind beachtlich und liegen durchweg in der internationalen Spitzengruppe. Dabei haben die Schulen mit deutscher Unterrichtssprache leicht besser abgeschnitten als die italienischen.
• In Finnland schneidet die etwa fünfprozentige schwedischsprachige Minderheit um 10 bis 35 Punkte schlechter ab als die finnischsprachige Mehrheit.
• In Kanada schneidet die englischsprachige Mehrheit besser ab als die französischsprachige Minderheit.

Die Ergebnisse aus Liechtenstein stehen unter dem Vorbehalt, dass dort kaum mehr als 350 Fünfzehnjährige wohnen. Im Gegensatz zu den anderen getesteten Ländern wurde in Liechtenstein jedoch ein Kompletttest aller Schüler durchgeführt, weshalb das Ergebnis besonders aussagekräftig ist. Außerdem ist Liechtenstein das einzige Land, welches nicht von nationalen Organisationen getestet wird, sondern von der Pädagogischen Hochschule St. Gallen aus der benachbarten Schweiz.

Zu den starken Unterschieden zwischen den deutschen Bundesländern → PISA-E.

Die Korrelation mit den TIMSS-Studien, die in einigen Staaten parallel zu PISA fortgeführt werden, ist mäßig, was offiziell mit unterschiedlichen Inhalten und mit Normierungseffekten aufgrund unterschiedlicher Teilnehmerschaft erklärt wird.

Kompetenzstufen und Risikogruppen

Um den zahlenmäßigen Ergebnissen eine anschauliche Bedeutung zu geben, teilt das Konsortium die Punkteskala willkürlich in sechs »Kompetenzstufen« und eine darunter liegende Stufe absoluter Inkompetenz. Anhand der Aufgaben, die auf einer Stufe zu lösen sind, wird dann eine verbale Beschreibung dessen, was Schüler auf einer bestimmten Stufe typischerweise können, erarbeitet. Zu beachten ist dabei, dass der Anteil der Schüler auf einer bestimmten Stufe im OECD-Mittel konstant, weil durch die Konstruktion der Schwierigkeits- und Leistungsskalen festgelegt ist. Interpretierbar sind lediglich die zumeist geringen Unterschiede zwischen Staaten.

Schüler „unterhalb“ der Stufe 1 werden international als „at risk“ bezeichnet. Die deutsche Projektleitung hat den Begriff „Risikogruppe“ jedoch ausgedehnt und die Stufe 1 darin einbezogen. Das wurde in Teilen der Öffentlichkeit verkürzt und im Gegensatz zu Aussagen der internationalen Berichte so rezipiert, als sei ein knappes Viertel aller Fünfzehnjährigen nicht in der Lage, zu rechnen und sinnerfassend zu lesen.

Einfluss des sozialen Hintergrunds

→ Ausführliche Darstellung im Artikel: Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds

Im Anschluss an die zweistündige „kognitive“ Testsitzung bearbeiten die Schüler ein „Questionnaire“ mit Fragen zum familiären Hintergrund, zum schulischen Umfeld, zu Lerngewohnheiten und zu anderem mehr. In den offiziellen Ergebnisberichten und in zahlreichen Sekundärstudien wird dargestellt, wie sich diese Kontextvariablen auf die kognitive Testleistung auswirken.

In PISA 2000 wurde festgestellt, dass der Zusammenhang zwischen Testergebnis und elterlichem Beruf in Deutschland so stark ist wie nirgendwo sonst. In den Folgerunden wurde dieses Ergebnis jedoch nicht repliziert; der stärkste Zusammenhang wurde 2003 in Ungarn, 2006 in der Tschechischen Republik gefunden. Die deutschen Kennwerte (Quantildifferenzen, Gradienten und Korrelationskoeffizienten der Testleistung als Funktion einer Berufsklassifikation oder eines sozial-ökonomisch-kulturellen Indexes) lagen überwiegend im oberen Teil eines breiten Mittelfeldes; die Abweichungen vom OECD-Durchschnitt waren teilweise statistisch insignifikant.

Diesen Auswertungen liegen unterschiedliche Sozialindizes zugrunde, die zum Teil nur den Beruf der Eltern, zum Teil auch deren Bildungsabschlüsse und die Ausstattung des Haushalts mit kulturellen Besitztümern berücksichtigen. Zwischen dem deutschen Konsortium und der internationalen Projektleitung besteht Dissens über die sachgerechte Quantifizierung von sozialem Hintergrund; im deutschen Bericht zu PISA 2006 wird durchgehend ein anderer Index verwendet als im internationalen Bericht.

Ein weiteres Beispiel bei der Dateninterpretation besteht darin, dass sozialer Status und Einwanderungshintergrund stark miteinander korreliert sind. Die Daten alleine sagen nicht, inwieweit schwache Leistungen von Migrantenkindern ihrer unterdurchschnittlichen sozialen Lage oder zum Beispiel ihrer ungenügenden sprachlichen Integration zuzuschreiben sind. Wie dem auch sei, in Deutschland fällt auf, dass im Land geborene Kindern zugewanderter Eltern mit 432 Punkten (Mathematikleistung 2003) sogar noch schlechter abschneiden als Einwanderer der ersten Generation (454; Schüler ohne Migrationshintergrund: 525; OECD-weite Vergleichszahlen 475, 483, 523). Die weitere Aufschlüsselung hat dieses paradoxe Ergebnis damit erklärt, dass sich im Laufe der Jahrzehnte die Anteile der wichtigsten Herkunftsländer verschoben haben; bei gleicher Herkunft sind die Ergebnisse der zweiten Generation konsistent besser als die der ersten. Ein quantitativ bedeutsames Problem stellen die schwachen Leistungen türkischer Jugendlicher dar (Mathematikleistung 2003: zweite Generation 411, erste Generation 382). Erstaunlicherweise schnitten Schüler mit Migrationshintergrund bei sprachlastigen Aufgaben etwas besser ab als bei relativ sprachfreien; die Gründe dafür sind ungeklärt.^[7]

Geschlechtsspezifische Leistungsdivergenzen

Die Ergebnisse aus PISA 2003 zeigen einen erheblichen Leistungsvorsprung der Mädchen im Lesen (34 Punkte international, 42 Punkte in Deutschland ). Geringer ist der Vorsprung der Jungen in Mathematik (11 Punkte international, 9 Punkte in Deutschland). Im Problemlösen liegen Mädchen vorne (2 Punkte international, 6 Punkte in Deutschland), wobei diese Differenz nicht signifikant ist. In den Naturwissenschaften wurde ebenfalls kein signifikanter Geschlechterunterschied gefunden (international liegen Jungen vorne mit 6 Punkten, 6 Punkte in Deutschland).^[8] Wuttke (2007) hat jedoch gezeigt, dass dieses Ergebnis allein an der Mischung von Aufgaben aus verschiedensten Gebieten liegt; in Übereinstimmung mit nationalen, lehrplannäheren Tests findet er die Alltagsbeobachtung bestätigt, dass im Mittel Jungen in Physik, Mädchen in Biologie höhere Leistungen erzielen.

PISA 2009 hat gezeigt, dass die Kompetenzunterschiede zwischen Mädchen und Jungen seit PISA 2000 in Deutschland praktisch unverändert geblieben sind. Im Lesen sind in allen OECD-Staaten signifikante Geschlechterunterschiede zugunsten der Mädchen zu beobachten (39 Punkte international, 40 Punkte Deutschland). In Mathematik schneiden die Jungen im OECD-Durchschnitt um 12 Punkte besser ab als die Mädchen (in 21 der 34 OECD-Staaten sind die Unterschiede in Mathematik signifikant, darunter auch in Deutschland). Es wurden keine signifikanten Kompetenzunterschiede zwischen Mädchen und Jungen in den Naturwissenschaften gefunden.^[9][10]

Der OECD-Bericht Equally prepared for life? How 15 year-old boys and girls perform in school untersucht geschlechtsspezifische Leistungsunterschiede und stützt sich dabei primär auf die Ergebnisse aus PISA 2009 (sowie auf die IGLU- und TIMSS-Studien). Die Forscher kommen zu dem Schluss, dass geschlechtsbezogene Vorurteile die Bildungsergebnisse von Mädchen und Jungen beeinflussen und auch die Entscheidung über den weiteren Bildungsweg und Beruf mehr von Stereotypen als von den tatsächlichen Fähigkeiten abhängig zu sein scheint.^[11][12]

Ergebnisse der PISA 2009-Studie

Die rechts stehende Tabelle fasst die Schülerleistungen in verschiedenen Ländern und nach Themengebieten geordnet zusammen.

Ergebnisse der PISA-Studie (2009)[13] (OECD-Mitglieder zur Zeit der Studie in fetter Schrift)
Mathematik	Naturwissenschaften	Leseverständnis
1. China Volksrepublik China (Shanghai) 600 2. Singapur Singapur 562 3. Hongkong Hongkong, China 555 4. Korea Sud Südkorea 546 5. Taiwan Taiwan 543 6. Finnland Finnland 541 7. Liechtenstein Liechtenstein 536 8. Schweiz Schweiz 534 9. Japan Japan 529 10. Kanada Kanada 527 11. Niederlande Niederlande 526 12. Macau Macao, China 525 13. Neuseeland Neuseeland 519 14. Belgien Belgien 515 15. Australien Australien 514 16. Deutschland Deutschland 513 17. Estland Estland 512 18. Island Island 507 19. Danemark Dänemark 503 20. Slowenien Slowenien 501 21. Norwegen Norwegen 498 22. Frankreich Frankreich 497 23. Slowakei Slowakei 497 24. Osterreich Österreich 496 25. Polen Polen 495 26. Schweden Schweden 494 27. Tschechien Tschechien 493 28. Vereinigtes Konigreich Vereinigtes Königreich 492 29. Ungarn Ungarn 490 30. Vereinigte Staaten Vereinigte Staaten 487  : 65. Kirgisistan Kirgisistan 331	1. China Volksrepublik China (Shanghai) 575 2. Finnland Finnland 554 3. Hongkong Hongkong, China 549 4. Singapur Singapur 542 5. Japan Japan 539 6. Korea Sud Südkorea 538 7. Neuseeland Neuseeland 532 8. Kanada Kanada 529 9. Estland Estland 528 10. Australien Australien 527 11. Niederlande Niederlande 522 12. Liechtenstein Liechtenstein 520 13. Deutschland Deutschland 520 14. Taiwan Taiwan 520 15. Schweiz Schweiz 517 16. Vereinigtes Konigreich Vereinigtes Königreich 514 17. Slowenien Slowenien 512 18. Macau Macao, China 511 19. Polen Polen 508 20. Irland Irland 508 21. Belgien Belgien 507 22. Ungarn Ungarn 503 23. Vereinigte Staaten Vereinigte Staaten 502 24. Norwegen Norwegen 500 25. Tschechien Tschechien 500 26. Danemark Dänemark 499 27. Frankreich Frankreich 498 28. Island Island 496 29. Schweden Schweden 495 30. Lettland Lettland 494  : 65. Kirgisistan Kirgisistan 330	1. China Volksrepublik China (Shanghai) 556 2. Korea Sud Südkorea 539 3. Finnland Finnland 536 4. Hongkong Hongkong, China 533 5. Singapur Singapur 526 6. Kanada Kanada 524 7. Neuseeland Neuseeland 521 8. Japan Japan 520 9. Australien Australien 515 10. Niederlande Niederlande 508 11. Belgien Belgien 506 12. Norwegen Norwegen 503 13. Estland Estland 501 14. Schweiz Schweiz 501 15. Polen Polen 500 16. Island Island 500 17. Vereinigte Staaten Vereinigte Staaten 500 18. Liechtenstein Liechtenstein 499 19. Schweden Schweden 497 20. Deutschland Deutschland 497 21. Irland Irland 496 22. Frankreich Frankreich 496 23. Taiwan Taiwan 495 24. Danemark Dänemark 495 25. Vereinigtes Konigreich Vereinigtes Königreich 494 26. Ungarn Ungarn 494 27. Portugal Portugal 489 28. Macau Macao, China 487 29. Italien Italien 486 30. Lettland Lettland 484  : 65 Kirgisistan Kirgisistan 314

Der Schwerpunkt der PISA Studie von 2009 lag wie bei der ersten Studie aus dem Jahr 2000 auf der Lesekompetenz. Der Vergleich mit der ersten Studie dokumentiert für Deutschland eine positive Entwicklung auf breiter Basis ^[14]:

1. Die Lesekompetenz hat seit 2000 signifikant zugenommen. Dies ist vor allem auf den Rückgang des Anteils an Jugendlichen mit sehr schwacher Lesekompetenz zurückzuführen.
2. Jugendliche mit Migrationshintergrund verfügten 2009 mit 470 Punkten über eine deutlich bessere Lesekompetenz. Die Zunahme im Vergleich zu 2000 beträgt 26 Punkte. Der Unterschied zu Jugendlichen ohne Migrationshintergrund (im Schnitt 514) hat signifikant abgenommen.
3. Der soziale Gradient, das heißt die Abhängigkeit der Kompetenzen vom sozialen Hintergrund hat im Vergleich zu 2000 signifikant abgenommen. Deutschland bewegt sich in dieser Hinsicht nun im OECD-Schnitt. Besonders profitierten Kinder aus Arbeiterfamilien und Kinder aus Familien, deren Eltern Routinetätigkeiten ausüben. Die Entwicklung ging nicht zu Lasten der Jugendlichen aus bildungsnahen Gruppen: Diese zeigten nach wie vor eine hohe Leistung.
4. Der Zusammenhang zwischen Familiensprache und Lesekompetenz hat abgenommen. Dies spricht für eine bessere Kompensation von Benachteiligungen durch die Schulen.
5. Die Lesefreude hat deutlich zugenommen.
6. Die Expansion des Gymnasiums führte nicht zu einer Abnahme der Leistungen an dieser Schule, sondern zu einer Zunahme der Kompetenzen der Schülerschaft als Ganzes.

In einigen Feldern sind die positiven Entwicklungen schwächer ausgeprägt:

1. Nach wie vor besteht ein sehr großer Unterschied der Lesekompetenz zwischen Jungen und Mädchen. Diese Diskrepanz hat leicht, aber nicht signifikant zugenommen. Diese Zunahme ist auf eine bessere Fähigkeit der Mädchen zum Umgang mit nicht-linearen Texten zurückzuführen. Jungen erreichen dagegen im Mittel eine höhere mathematische und naturwissenschaftliche Kompetenz. Die Geschlechtsunterschiede sind dort aber weniger stark ausgeprägt.
2. Trotz seiner Abflachung ist der soziale Gradient nach wie vor hoch.
3. Die enorme Verbesserung der Lesekompetenz bei Kindern mit Migrationshintergrund ist bei Jugendlichen mit türkischem Hintergrund auch vorhanden, aber mit 18 Punkten deutlich schwächer ausgeprägt als bei den anderen Jugendlichen mit Migrationshintergrund.
4. Nach wie vor gibt die Mehrheit der Jugendlichen an, nicht zum Vergnügen zu lesen.

Rezeption

PISA 2000, PISA 2003 und PISA 2006 haben in einigen Teilnehmerstaaten ein heftiges Medienecho ausgelöst; in Deutschland ist das Wort „PISA“ zum Inbegriff aller Probleme des Bildungswesens geworden.

In Deutschland

Deutschland hatte in den 70er und 80er Jahren an keinem internationalen Schulvergleich teilgenommen. Der Richtungswechsel begann mit der Teilnahme an der Mathematikstudie TIMSS 1995. Die mittelmäßigen Ergebnisse wurden von Bildungspolitikern und Fachlehrern ausgiebig diskutiert, drangen aber nur kurz an die breite Öffentlichkeit.

Die Veröffentlichung der ersten PISA-Ergebnisse Ende 2001 wurde durch Vorabberichte mehrere Wochen lang vorbereitet und erzielte ein so überwältigendes Medien-Echo, dass bald von einem „PISA-Schock“ gesprochen wurde, was an den „Sputnikschock“ und die Debatte der 1960er Jahre um die von Georg Picht beschworene „Bildungskatastrophe“ erinnerte.

Ende 2002 beherrschte PISA erneut die Schlagzeilen, weil zum ersten Mal ein Leistungsvergleich zwischen den Bundesländern veröffentlicht wurde. Das Nord-Südgefälle überraschte relativ wenig; in vielen Kommentaren wurde es durch den Verweis relativiert, dass in Bayern die Abiturquote zu niedrig und ein bestimmter statistischer Kennwert für soziale Selektivität besonders hoch sei (siehe Hauptartikel PISA-E).

Wenige Tage vor der Veröffentlichung von PISA 2006 (Teilergebnisse waren auch diesmal an die Presse durchgesickert) eskalierte der Konflikt zwischen der OECD und der deutschen Projektgruppe. Andreas Schleicher bezog sich auf den OECD-Bericht, dem zufolge weder in den drei Bereichen Naturwissenschaft, Mathematik, Leseleistung noch bei der Koppelung der Ergebnisse mit sozialer Herkunft Verbesserungen erreicht wurden, die über den statistischen Fehlerbereich hinausgingen. Die naturwissenschaftliche Aufgabenstellung sei im Wesentlichen neu konzipiert, in den wenigen Testaufgaben, die sowohl 2003 als auch 2006 verwendet wurden, seien die Leistungen unverändert. Umweltthemen hätten Deutschland 2006 begünstigt. Der deutsche Projektleiter Manfred Prenzel behauptete demgegenüber, die Ergebnisse seien sehr wohl zu vergleichen. Diese unterschiedlichen Einschätzungen stehen auch in den offiziellen Berichten.^[15]

CDU-Kultusminister, insbesondere die hessische Ministerin Karin Wolff, nahmen das zum Anlass, Schleichers Entlassung zu fordern. Akut warf man ihm vor, mit der Kommentierung einer Vorveröffentlichung eine selbstgesetzte Sperrfrist verletzt zu haben. Die grundlegenden Vorwürfe an ihn waren:

• Schleicher maße sich die Rolle eines „Supervisors“ an, der vorgebe, wie die Daten interpretiert werden dürfen.
• Man gebe viel Geld aus, um Trends zu messen, und erfahre nun, wie problematisch Vergleiche über 3 und 6 Jahre hinweg sind.

Die OECD wies diese Vorwürfe zurück. Die Interpretation entspreche den Ergebnissen der Studie. Eine Vergleichbarkeit über die Jahre sei sehr wohl gegeben, allerdings nicht in den jeweils neu getesteten Einzelbereichen. Es sei so geplant gewesen, dass aufbauend alle drei Jahre ein neuer Bereich getestet werde. Nach der Leseleistung 2000 waren dies 2003 die mathematischen und 2006 erst die naturwissenschaftlichen Kenntnisse.

Einige CDU-Kultusminister erwogen laut, aus der PISA-Studie auszusteigen. Als Alternativen wurden der Bildungsmonitor der wirtschaftsnahen Initiative Neue Soziale Marktwirtschaft oder das Institut zur Qualitätsentwicklung im Bildungswesen genannt. Gleichzeitig drohte die OECD dem deutschen Projektleiter damit, dem ländervergleichenden PISA-E-Test das Label „PISA“ zu entziehen, wenn er die Daten nach seiner eigenen Methode skaliere, da dies dann nichts mehr mit PISA zu tun habe.

Der PISA-Konflikt reiht sich ein in eine Auseinandersetzung zwischen konservativen Bildungspolitikern in Deutschland und internationalen Organisationen. Streitpunkt war jedes Mal das dreigliedrige Schulsystem und die Frage, ob dieses Migrantenkinder und Kinder aus unteren Schichten benachteilige. Im Dezember 2006 wurde ein entsprechendes Papier der EU-Kommission zurückgewiesen, und im Frühjahr 2007 wurde der UN-Beobachter für das Menschenrecht auf Bildung, Vernor Muñoz, für seinen kritischen Bericht scharf angegriffen. Bereits im Sommer 2007 wurde die internationale jährlich erscheinende OECD-Studie Bildung auf einen Blick von konservativen Lehrerverbänden als „ideologisch“ bezeichnet.

In Österreich

In Österreich trat der „PISA-Schock“ verspätet ein: Nachdem man sich 2000 noch daran delektiert hatte, deutlich besser als Deutschland abgeschnitten zu haben, wurde das Ergebnis aus 2003 als „Absturz“ wahrgenommen. Daraufhin veranlasste Bildungsministerin Elisabeth Gehrer eine Überprüfung durch die Statistiker Erich Neuwirth, Ivo Ponocny und Wilfried Grossmann, die in ihrem 2006 erschienenen Untersuchungsbericht^[16] zahlreiche Ungereimtheiten bei der Stichprobenziehung und Datenauswertung zutage förderten. Insbesondere war 2000 die Stichprobe in den Berufsschulen nicht korrekt gezogen worden. In einem Vorwort zu diesem Untersuchungsbericht spielt der PISA-Koordinator der OECD, Andreas Schleicher, die Korrekturen herunter und behauptet, die OECD habe bislang darauf hingewiesen, dass eine Interpretation der österreichischen Ergebnisse nur „eingeschränkt zulässig“ gewesen sei. Nach weiterer Verzögerung hat die OECD Anfang 2007 nahezu unbeachtet die Ergebnisse von Neuwirth et al. in den internationalen Datensatz übernommen und damit die österreichischen Ergebnisse aus 2000 offiziell nach unten korrigiert. Diesen korrigierten Daten zufolge hat es nie einen Absturz gegeben; 2000 und 2003 lagen die österreichischen Schülerleistungen gleichermaßen im Mittelfeld; es gab keine statistisch signifikanten Veränderungen.^[17]

Aufschlussreich ist die offensichtliche Falschberechnung des PISA-Ergebnisses für 2000 deshalb, weil durch den angeblichen PISA-Absturz von 2000 auf 2003 zunächst der neu angetretenen konservativen Regierung bescheinigt werden sollte, sie habe durch ihre Bildungspolitik den Absturz verschuldet. Die nach den Wahlen im Oktober 2006 zurückgetretene konservative Unterrichtsministerin Elisabeth Gehrer (ÖVP) wollte hingegen durch die von ihr beauftragte Schlechter-Bewertung des unter einer sozialdemokratischen Regierung zustande gekommenen Ergebnisses für 2000 den Absturz widerlegen. Beide Male wurde das österreichische PISA-Ergebnis parteipolitisch instrumentalisiert bzw. nach oben und dann nach unten gerechnet, ohne dass das PISA-Reglement hinreichend klar festgelegt hätte, wie Ergebnisse richtig zu berechnen und Stichproben weltweit einheitlich festzulegen sind.

Auch das Ergebnis der PISA-Studie 2009 wirft grundsätzliche Fragen bezüglich Validität und Aussagekraft auf. Das PISA-Konsortium räumte offiziell ein, dass zahlreiche Fragebögen deutliche Spuren eines Boykotts aufwiesen.^[18] Dennoch wurde das österreichische Ergebnis ausgewertet, nachdem jene Fragebögen ausgeschieden worden waren, die von der österreichischen PISA-Agentur als Ergebnis des Boykott-Aufrufes betrachtet wurden. Durch das nachträgliche willkürliche Annullieren von Fragebögen ist jedoch mit einer zielgerichteten Verfälschung des Ergebnisses zu rechnen. Die österreichische PISA-Agentur geht auf den Boykott und die nachträgliche Annullierung von Fragebögen überhaupt nicht ein, im offiziellen PISA-Bericht wird lediglich im Anhang darauf verwiesen, dass die 2009 in Österreich erhobenen Werte für die Lesekompetenz nicht mit früheren Werten verglichen werden können.

Ähnlich wie in Deutschland sind soziale Unterschiede auffällig. Die Regierungsparteien (ÖVP und FPÖ) verwiesen bevorzugt auf schlechte Deutschkenntnisse von Ausländerkindern. Die damalige Ministerin Gehrer konstatierte weiterhin ein Fehlverhalten von Eltern, die sich zu wenig um ihre Kinder kümmern würden. Die Opposition (SPÖ und Grüne) äußerte den Vorschlag, statt des stark diversifizierten Schulensystems eine Gesamtschule einzuführen. Diese Idee ist stark beeinflusst vom finnischen Vorbild. Im dortigen Schulsystem gibt es zwar extreme Leistungsunterschiede innerhalb, aber kaum zwischen den Schulen. In Österreich jedoch war das Gegenteil zu spüren.

Ein am Fall Österreich virulent gewordenes technisch-statistisches Problem scheint indes weiterhin ungelöst zu sein, denn PISA wird in den einzelnen Ländern nach wie vor nicht nach einheitlichen Kriterien durchgeführt. In Österreich werden auch Lehrlinge, Migranten ohne Deutsch-Kenntnisse und Sonderschüler getestet. Für PISA 2009 wurden in Tirol etwa an der Hauptschule Neustift ausschließlich drei Schüler mit Migrationshintergrund ausgelost, die keine reguläre Schullaufbahn hinter sich haben, erst seit wenigen Jahren in Österreich leben und mit 16 Jahren auch nicht der target population anzugehören scheinen.^[19]

In Südtirol

Die Autonome Provinz Bozen – Südtirol nahm 2003 erstmals an der PISA-Studie teil, da das nationale PISA-Zentrum INVALSI in Frascati bei Rom den Regionen und autonomen Provinzen die Beteiligung mit für ihr Gebiet repräsentativen Stichproben ermöglichte.^[20] Die gesamte Erhebung erfolgte durch das INVALSI unter der Aufsicht des internationalen PISA-Konsortiums (adjudicated regions“). Die Ergebnisse wurden im Anhang B des internationalen Berichtes^[21] sowie in einem eigenen Bericht für die Schule in Südtirol, den das INVALSI ausgearbeitet hat, dargelegt^[22].

Südtiroler Ergebnis 2003

Die Stichprobe umfasste alle 35 Oberschulen, 6 Berufsschulen und 2 Mittelschulen mit insgesamt 1248 Schüler und Schülerinnen. Nicht berücksichtigt wurden Jugendliche, welche die Schulpflicht bereits absolviert hatten und deshalb nicht in die Zielpopulation von PISA fielen^[23]. Die guten Ergebnisse führten in Südtirol zu einem großen Medienecho und führten dazu, dass zahlreiche Delegationen aus verschiedenen deutschsprachigen Ländern zu Studienbesuchen nach Südtirol reisten. Die Gründe für den Erfolg sind sicherlich sehr vielfältig. Zunächst sind die sozialen Rahmenbedingungen, wie Vollbeschäftigung, zu nennen, aber auch die großzügige Ausstattung der Schulen mit funktionalen Schulgebäuden, vielfältigen Lernmaterialien, mit personellen und finanziellen Ressourcen. Das gemeinsame Lernen bis zum Alter von 14 Jahren, die Unterstützungsmaßnahmen für Lehrer und Lehrerinnen, das breite Angebot an Fortbildung, das eindeutige Bekenntnis zum Kindergarten als erster Bildungsstufe tragen aber sicherlich auch zum Ergebnis bei.

Südtiroler Ergebnis 2006

Bei der PISA-Studie 2006 konnte die Schule in Südtirol wiederum gute Ergebnisse erzielen^[24]. Durch die Einführung der Bildungspflicht bis 18 Jahre in Italien^[25] konnten nun fast alle 15-Jährigen erfasst werden. Die Stichprobe umfasste alle Ober- und Berufsschulen sowie einige nach dem Zugfallsprinzip ausgewählte Mittelschulen. In den Schulen mit mehr als 35 Schülern und Schülerinnen wurden 35 Jugendliche ausgelost, in den Schulen mit weniger als 35 Schülern und Schülerinnen wurden alle Jugendlichen in die Stichprobe einbezogen.

Neben dem guten Gesamtergebnis ist vor allem beachtenswert, dass der Einfluss des sozio-ökonomischen Hintergrundes der Schüler und Schülerinnen auf die Schülerleistungen wesentlich geringer ist als in den meisten anderen Ländern und dass damit die Schule in Südtirol eine größere Chancengerechtigkeit erreicht^[26].

In Luxemburg

Luxemburg liegt in den drei geprüften Fächern – Lesen, Mathematik und Naturwissenschaften – unter dem OECD-Durchschnitt und rangiert hinter den meisten anderen europäischen Ländern.

Das Modell Finnland

Finnland wurde in der öffentlichen Rezeption in Deutschland und Österreich allgemein als „Testsieger“ angesehen. Zahlreiche Erklärungen für das exzellente Abschneiden Finnlands wurden vorgeschlagen (siehe auch: Bildungssystem Finnland):

• eine in der Reformation verwurzelte Lesetradition,
• hohe Motivation, lesen zu lernen, durch Filme in Originalsprache mit Untertiteln in Fernsehen und Kino,
• Gemeinschaftsgefühl in einem kleinen Land: jeder Einzelne ist wichtig.
• vergleichsweise geringe soziale Unterschiede in der Bevölkerung.
• aufgrund der vergleichsweise geringen Zuwanderung wenig Probleme mit zuwanderungsbedingter mangelnder Sprachbeherrschung.
• ein ungegliedertes Gesamtschulsystem,
• hervorragende personelle Ausstattung der Schulen, unter anderem mit Sozialpädagogen; wo erforderlich, kommt eine zweite Lehrkraft in den Unterricht.
• höhere Qualität der Lehrer: Lehrer werden aus den besten 10 Prozent eines Jahrgangs in einem umfangreichen Verfahren vor, während und nach dem Studium ausgewählt.^[27]
• Klassenstärken von in der Regel weniger als 20 Schülern,
• hervorragende materielle Ausstattung der Schulen: freundliche Gebäude, Bibliothek, Kantine,
• weitgehende Autonomie der Schulen verbunden mit wirkungsvoller Qualitätskontrolle. Statt detaillierte Lehrpläne vorzuschreiben, beschränkt sich die finnische Bildungsbürokratie darauf, Lernziele vorzugeben und landesweite Tests zu erarbeiten, mit denen überprüft wird, wie gut die Ziele erreicht wurden.
• Vertrautheit mit standardisierten Tests.

Die Begeisterung für Finnland rief auch kritische Stimmen auf den Plan, die darauf hinwiesen, dass Alkoholismus unter finnischen Schülern weitverbreitet und die Selbstmordrate alarmierend hoch sei. Aus statistischer Sicht relativiert sich das gute Abschneiden Finnlands, sobald man demographische, insbesondere soziale, Hintergrundvariablen kontrolliert.

Die Schulstrukturdebatte

Befürworter der Gesamtschule nutzten die PISA-Ergebnisse für eine Neuauflage der deutschen und österreichischen Schulstrukturdebatte. Sie verwiesen insbesondere auf:

• das hervorragende Abschneiden Finnlands und einiger anderer Staaten,
• die überdurchschnittliche Korrelation zwischen den deutschen Testergebnissen und dem sozialen bzw. Migrations-Hintergrund,
• die starke Korrelation zwischen Wahl des Schultyps und familiärem Hintergrund.

Gegner wenden ein, dass die PISA-Ergebnisse keineswegs eindeutig sind:

• Auch „Testverlierer“ haben Gesamtschulsysteme.
• Im innerdeutschen Vergleich schneiden Länder, die wie Bayern konsequent an einem gegliederten Schulsystem mit harten Aufnahmebedingungen für höhere Schulen festhalten, am besten ab.
• Die Verhältnisse in Deutschland und Finnland sind aus einer ganzen Reihe von Gründen nicht vergleichbar; es ist völlig spekulativ, den finnischen Erfolg primär der Schulstruktur zuzuschreiben.
• Die Lehrer in Finnland sind anders ausgewählt und besser ausgebildet als in Deutschland, so dass nicht die Schulform oder -struktur, sondern die Qualität der Lehrer über den Bildungsstandard mitentscheiden kann.

Politische Reaktionen

Als unmittelbare Reaktion auf den PISA-Schock beschlossen die deutschen Kultusminister die Entwicklung bundesweiter „Bildungsstandards“ und die Gründung des Instituts zur Qualitätsentwicklung im Bildungswesen, das diese Standards in Form von Testaufgaben operationalisiert.

Rückwirkung auf die Schulen

Es war politisch von Anfang an beabsichtigt, dass PISA auf die Schulwirklichkeit zurückwirken solle. Beteiligte Mathematikdidaktiker hofften beispielsweise, ihre Vorstellung von sinnvollem Unterricht durchzusetzen (Meyerhöfer in Jahnke/Meyerhöfer 2007). Konkret spürbar ist der Einfluss der PISA-Beispielaufgaben zum Beispiel, wenn in neuen Mathematiklehrplänen verstärktes Gewicht auf das Arbeiten mit Graphiken und Tabellen gelegt wird.

Kritik

→ Hauptartikel: Kritik an den PISA-Studien

Die PISA-Studien haben nicht nur ein außergewöhnliches Medienecho, sondern auch heftige wissenschaftliche Debatten ausgelöst. Aufgrund der Komplexität des Gegenstands ist die Kritik ein interdisziplinäres Unterfangen, an dem sich sowohl Pädagogen als auch Psychologen und andere Wissenschaftler mit statistischer Fachkunde (Mathematiker, Physiker, Ökonomen) beteiligen. Je nach Herkunft haben sie ihre Anmerkungen an weit gestreuten, zum Teil entlegenen Stellen veröffentlicht. Erst mit einiger Verzögerung erscheinen erste Sammelbände, die die bisher verstreute Kritik bündeln (Jahnke/Meyerhöfer 2006, erweitert 2007; Hopmann/Brinek/Retzl 2007).

Zielsetzung von PISA

Das utilitaristische Bildungsziel von PISA wird insbesondere von frankophonen Autoren kritisiert: Es bewirke zunächst einmal eine Verzerrung der Testergebnisse zugunsten angelsächsischer Staaten und sodann einen Druck, Lehrpläne so anzupassen, dass unmittelbar alltagsrelevante Fertigkeiten ein größeres Gewicht bekämen. Das bedrohe zum Beispiel die Spezifität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt. In diesem Zusammenhang wird auf die ökonomische Zielsetzung der OECD und auf die Intransparenz und mangelnde demokratische Legitimität der Entscheidungsprozesse in PISA hingewiesen. Ein ähnlicher Einwand lautet, dass PISA mit seinen Schwerpunkten Mathematik, Muttersprache, Naturwissenschaften die Marginalisierung gesellschaftswissenschaftlicher und musischer Fächer forciert.

Der Mathematikdidaktiker Thomas Jahnke kritisiert den Grundgedanken, Bildung „standardisieren“ zu wollen (vgl. Bildungsstandards), und deutet PISA auch als Markterschließung der Testindustrie.^[28] Der Philosoph Konrad Paul Liessmann kritisiert PISA als ökonomischen Versuch, die (humanistische) Bildung im Grunde abschaffen zu wollen und durch simples Wissen (im Gegensatz zu Bildung) zu ersetzen. Er beklagt die Transformation der Bildungseinrichtung Schule in eine Berufsschule für Kinder und damit das Ende des bewussten und geistigen Menschen und seine Reduktion auf einen Arbeitnehmer und Konsumenten.^[29]

Methodik: Validität der Instrumente

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der „Instrumente“ in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele kritisiert, besonders gründlich der Mathematikdidaktiker Meyerhöfer. In einer didaktischen Analyse mit Methoden der objektiven Hermeneutik zeigt er, dass PISA dem Anspruch, eine spezielle „Mathematische Literalität“ zu testen, nicht gerecht wird.

Das seit den allerersten vergleichenden Schulstudien ungelöste Übersetzungsproblem bewirkt auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche:

• Herkunft der Aufgaben (überwiegend aus dem angelsächsischen Bereich und den Niederlanden).
• Unterschiedliche Lesbarkeit verschiedener Sprachen.
• Texte werden beim Übersetzen tendenziell länger; Aufgabentexte sind im Deutschen um ca. 16 % länger als im Englischen (Puchhammer in Hopmann/Brinek/Retzl 2007).
• Wenn Übersetzer die Aufgabe verstehen, neigen sie dazu, Hilfen zu geben (Freudenthal 1975).
• Wenn Übersetzer nicht alle Fußangeln erkennen, kann die Aufgabe wiederum erheblich schwerer geraten.
• In einzelnen Aufgaben sind manifeste Übersetzungsfehler unterlaufen.^[30]

Ein weiteres Problem ist die unterschiedliche Vertrautheit mit dem Aufgabenformat. Meyerhöfer spricht hier von „Testfähigkeit“; in den USA wird schon lange über die Bedeutung von „testwiseness“ diskutiert. Wuttke (2007) hat entdeckt, dass bis zu 10 Prozent der deutschsprachigen Schüler das Multiple-Choice-Format nicht verstehen und mehr als eine Antwortalternative ankreuzen.

Methodik: Validität der Statistik

Bei der Auswertung von PISA und ähnlichen Studien stellt sich das Grundproblem, dass Leistungsunterschiede innerhalb eines jeden Staats wesentlich größer sind als typische Unterschiede zwischen Staaten. Es ist deshalb eine Messgenauigkeit im unteren Prozentbereich erforderlich, um statistisch signifikante Aussagen über solche Unterschiede treffen zu können. In PISA wird das formal durch die Verwendung sehr großer Stichproben (etwa 5.000 Schüler/Staat) erreicht. Die offiziellen Standardfehler berücksichtigen jedoch nicht mögliche systematische Verzerrungen (Wuttke 2007). Solche Verzerrungen werden unter anderem bewirkt durch:

• Unzuverlässige Ausgangsdaten (es gibt keine Urlisten mit allen Fünfzehnjährigen; die Stichprobenziehung ist extrem kompliziert und nicht überprüfbar).
• Leistungsabhängige Teilnahmeneigung (2007 wurde bekannt, dass die Teilnahmeneigung in manchen Staaten so gering ist, dass Schüler mit bis zu 50 Dollar oder einem freien Tag für die Teilnahme belohnt wurden).
• Uneinheitlicher Ausschluss von lernbehinderten Schülern (Hörmann in Hopmann/Brinek/Retzl 2007).
• Einige Staaten, darunter Finnland, haben Legastheniker vom Test ausgeschlossen (OECD: Technische Berichte).

Interpretation der Ergebnisse

Aus systemtheoretischer Sicht wird kritisiert, dass die Systemgrenzen in PISA nicht sachgerecht sind (verglichen werden Staaten, auch wenn diese kein einheitliches Bildungssystem haben); dass die Gleichsetzung von Schülerleistung mit Schulsystemleistung nicht gerechtfertigt ist (weil es außer dem Schulsystem eine ganze Reihe anderer Eingangsgrößen gibt); dass ein Systemvergleich nur Denkanstöße, aber keine politischen Handlungsempfehlungen liefern kann (Bank 2008). Konkret kann man zum Beispiel die Vorbildfunktion des finnischen Schulsystems in Zweifel ziehen, wenn man die Eingangsgröße „Migrantenanteil“ herausrechnet und nicht mit einem fiktiven gesamtdeutschen Schulsystem, sondern konkret mit dem sächsischen oder bayerischen vergleicht (Bender 2006). Wenn man auf die PISA-Erfolge in Relation zu den Bildungsausgaben setzt, erscheint das finnische System sogar als vergleichsweise ineffizient (Bank 2008).

Das von PISA postulierte Bildungsziel „literacy“ führt zu einer Verwischung der Grenze zwischen den einzelnen Testgebieten. Die Ergebnisse sind hochkorreliert. Deshalb argumentiert Heiner Rindermann (2006), dass man PISA in guter Näherung als einen Intelligenztest deuten kann.

Weitere Analysen

Das kriminologische Forschungsinstitut Niedersachsen e. V. stellte fest, dass jene Gruppen bei PISA am schlechtesten abschnitten, die sich durch den höchsten Medienkonsum auszeichnen^[31]. Siehe dazu auch: Kindheit und Jugend in Deutschland#Mediennutzung

Siehe auch

• Fremdsprachenlehr- und -lernforschung

Weiterführende Artikel

• Methodik der PISA-Studien
• Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds
• Kritik an den PISA-Studien

andere Schulstudien

• TIMSS (Trends in Mathematics and Science Study)
• IGLU/PIRLS-Studie
• CIVIC Education Study zur Politischen Bildung 14- bis 19-Jähriger (1999-2000)
• DESI-Studie

Literatur

PISA-Studien, International

• OECD (1999): Measuring Student Knowledge and Skills. A New Framework for Assessment. Paris: OECD, ISBN 92-64-17053-7 Download Englische Version Download Französische Version Download Spanische Version
• OECD (2001): Lernen für das Leben. Erste Ergebnisse der internationalen Schulleistungsstudie PISA 2000. Paris: OECD, ISBN 92-64-59671-2
• OECD (2003a): The PISA 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Knowledge and Skills. Paris: OECD, ISBN 978-92-64-10172-2 Download Englische Version Download Französische Version Download Spanische Version
• OECD (2004a): Learning for Tomorrow's World. First Results from PISA 2003. Paris: OECD, ISBN 978-92-64-00724-6
• OECD (2004b): Problem Solving for Tomorrow's World. First Measures of Cross-Curricular Competencies from PISA 2003. Paris: OECD, ISBN 978-92-64-00642-3
• OECD (2005): PISA 2003 Technical Report. Paris: OECD, ISBN 978-92-64-01053-6

PISA-Studien, Deutschland

• J. Baumert u. a.: PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich. Deutsches PISA-Konsortium. Leske + Budrich, Opladen 2001, ISBN 3-8100-3344-8
• M. Prenzel u. a. (Hrsg.): PISA 2003. Ergebnisse des zweiten internationalen Vergleichs. Deutsches PISA-Konsortium. Zusammenfassung. Leibniz-Institut für die Pädagogik der Naturwissenschaften, Kiel 2004 (Kurzfassung)
• M. Prenzel u. a. (Hrsg.): PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs. Waxmann, Münster 2004, ISBN 3-8309-1455-5
• M. Prenzel u. a. (Hrsg.) PISA 2006. Die Ergebnisse der dritten internationalen Vergleichsstudie. Waxmann, Münster u.a. 2007, ISBN 978-3-8309-1900-1
• OECD (2008) PISA 2006 - Schulleistungen im internationalen Vergleich - Naturwissenschaftliche Kompetenzen für die Welt von morgen Bielefeld, W. Bertelsmann Verlag, ISBN 978-3-7639-3582-6

Übersicht Schulleistungsstudien

• Heiner Rindermann: Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz? in: Psychologische Rundschau. Göttingen 57.2006, 69-86. ISSN 0033-3042
• Detlef Rost: Interpretation und Bewertung pädagogisch-psychologischer Studien. Beltz, Weinheim 2005, ISBN 3-407-25379-6

Zusammenfassungen, Rezensionen, Kritiken

• Volker Bank: Vom Wert des Vergleichs, Chemnitzer Europastudien 8, 257-274 (2008).
• Peter Bender: Was sagen uns PISA & Co., wenn wir uns auf sie einlassen? in: Jahnke, Meyerhöfer (2006), S. 281–337.
• Armin von Bogdandy, Matthias Goldmann: The Exercise of International Public Authority through National Policy Assessment. The OECD’s PISA Policy as a Paradigm for a New International Standard Instrument. In: International Organizations Law Review 5, 241-298 (2008 (2009)), online verfügbar als NYU Institute for International Law and Justice Working Paper
• Hans Brügelmann: Fieber genau zu messen ist noch keine Diagnose, Fieber erfolgreich zu senken keine Therapie. Wie Leistungstests in ihren Leistungsmöglichkeiten durch PISA & Co überfordert werden. Beitrag zum Forum „Schule ist mehr als PISA – Zur Bedeutung reformpädagogischer Ansprüche an die schulische Bildung von heute“ der ZEIT-Stiftung in Hamburg am 6./7. März 2008.
• Hans Brügelmann, Hans Werner Heymann: PISA – Befunde, Deutungen, Folgerungen. In: Pädagogik. Berlin 54.2002, H.3, S.40–43. ISSN 0233-0873
• Hans Freudenthal: Pupils achievements internationally compared --- the IEA. in: Educational studies in mathematics (Educ. Stud. Math.). Dordrecht 6.1975, 127-186. ISSN 0013-1954 (Kritik am grundsätzlichen Ansatz internationaler Vergleichsstudien)
• Stefan Hopmann, Gertrude Brinek, Martin Retzl (Hrsg.): PISA zufolge PISA. PISA According to PISA. LIT-Verlag, Wien 2007, ISBN 3-8258-0946-3 (Zweisprachiger Sammelband mit Beiträgen von siebzehn Forschern)
• Thomas Jahnke, Wolfram Meyerhöfer (Hrsg.): PISA & Co – Kritik eines Programms. Franzbecker, Hildesheim 2007 (2.Aufl.), ISBN 978-3-88120-464-4 (Sammelband mit Beiträgen von neun Forschern)
• Josef Kraus: Der PISA Schwindel. Unsere Kinder sind besser als ihr Ruf. Wie Eltern und Schule Potentiale fördern können. Signum, Wien 2005, ISBN 3-85436-376-1 (Bewusst polemische Streitschrift)
• Volker Ladenthin: PISA – Recht und Grenzen einer globalen empirischen Studie. Eine bildungstheoretische Betrachtung. In: Vierteljahrsschrift für wissenschaftliche Pädagogik. Paderborn 79(3)354–375 (2003). Online unter http://www.messen-und-deuten.de/pisa/Ladenthin03.pdf.
• Erich Neuwirth, Ivo Ponocny, Wilfried Grossmann (Hrsg.): PISA 2000 und PISA 2003. Vertiefende Analysen und Beiträge zur Methodik. Leykam, Graz 2006, ISBN 3-7011-7569-1 (Umfassendes Erratum zu den Österreichischen Ergebnissen aus PISA 2000)
• W. Potthoff, J. Schneider, F. Schrage: Impulse für die aktive Schule. Vorschläge zur besseren Zentrierung und Profilierung des Bildungswesens nach PISA, Reformpädagogischer Verlag, Freiburg 2004, ISBN 3-925416-27-7
• Joachim Wuttke: Die Insignifikanz signifikanter Unterschiede. Der Genauigkeitsanspruch von PISA ist illusorisch. In: T.Jahnke, Meyerhöfer: PISA & Co – Kritik eines Programms. Franzbecker, Hildesheim (2.Aufl. 2007). Online unter http://www.messen-und-deuten.de/pisa/Wuttke2007b.pdf.
• Joachim Wuttke: PISA: Nachträge zu einer nicht geführten Debatte. Mitteilungen der Gesellschaft für Didaktik der Mathematik 87, 22-34 (2009).
• Hoymann, Tobias : Umdenken nach dem PISA-Schock. Das gesamtdeutsche Zentralabitur als Motor für den Wettbewerb im Bildungsföderalismus. Marburg: Tectum-Verlag 2005.

Weblinks

International

• Deutschsprachige PISA-Webseite der OECD (Ergebnisse aus PISA 2000, 2003, 2006 und 2009, alle Zusatzstudien, alle technischen Berichte sowie alle freigegebenen Aufgaben)
• PISA 2009 - Ergebnisse
• PISA 2009 - Ergebnisse - Lesen
• PISA 2009 - Ergebnisse - Naturwissenschaften
• PISA 2009 - Ergebnisse - Mathematik

Deutschland (siehe auch: PISA-E und PISA-International-Plus)

• Deutschland 2000 (Max-Planck-Institut für Bildungsforschung, Berlin)
• Deutschland 2003, 2006 (IPN, Kiel; dort finden sich insbesondere ein Kurzbericht und viele freigegebene Aufgabenbeispiele)

Österreich

• PISA in Österreich

Schweiz

• PISA-Internetpräsenz des Bundesamtes für Statistik der Schweizerischen Eidgenossenschaft

Südtirol

• PISA in Südtirol

andere Teilnehmerstaaten

• PISA in Finnland

Kritik

• Joachim Wuttke: Kritische Online-Bibliographie
• Gesellschaft für Bildung und Wissen e.V.

Einzelnachweise

1. ↑ Organisation für wirtschaftliche Zusammenarbeit und Entwicklung
2. ↑ Deutsche Projektleitung 2003 und 2006 – IPN an der Uni Kiel Deutsche Projektleitung 2009 am Deutschen Institut für Internationale Pädagogische Forschung
3. ↑ Internationale Grundkonzeption laut deutscher Projektleitung 2000
4. ↑ OECD-Veröffentlichung mit Aufgabenbeispielen. Es ist nicht ganz klar, ob die Lizenzbedingungen der OECD ein Einbinden in die WP gestatten würden.
5. ↑ Für Details siehe Methodik der PISA-Studien.
6. ↑ Quellen: OECD-Berichte „First Results“ 2001, 2004 (für PISA 2000 bzw. 2003); für die Ergebnisse von PISA 2006: „PISA 2006. Science Competencies for Tomorrow's World.“; für die Ergebnisse von PISA 2009:„Eckhard Klieme, Cordula Artelt, Johannes Hartig, u.a. (2010): PISA 2009 - Bilanz nach einem Jahrzehnt. Waxmann Verlag“ . Abkürzungen: „k. T.“ = keine Teilnahme; „disq.“ = disqualifiziert wegen zu geringer Teilnahmequote. Dies sind die ursprünglich veröffentlichten Daten; die 2006 für die österreichischen Ergebnisse aus 2000 veröffentlichte Korrektur ist nicht berücksichtigt. Die Zahl hinter dem „±“-Zeichen ist der offizielle Standardfehler, der die stochastische Unsicherheit der Stichprobenziehung sowie der Item-Response-Modellierung angibt; in den Originalberichten ist auch die erste Nachkommastelle angegeben.
7. ↑ Ramm et al. 2004: Ramm et al.: Soziokulturelle Herkunft: Migration. In: PISA 2003: Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs. Münster: Waxmann, ISBN 3-8309-1455-5, S. 269/270.
8. ↑ :PISA-Konsortium Deutschland: PISA 2003: Ergebnisse des zweiten internationalen Vergleichs - Zusammenfassung. S. 20-21.
9. ↑ OECD: PISA 2009 Ergebnisse: Zusammenfassung.. OECD, Paris 2010, S. 7.
10. ↑ E. Klieme et al.: PISA 2009 Bilanz nach einem Jahrzehnt - Zusammenfassung. S. 16.
11. ↑ OECD: Geschlechtsbezogene Vorurteile beeinflussen die Bildungsergebnisse von Jungen und Mädchen Abgerufen am 22. Dezember 2010.
12. ↑ OECD: Equally prepared for life? How 15-year-old boys and girls perform in school. OECD, Paris 2010.
13. ↑ Official PISA site data. bzgl. der Liste siehe "Executive Summary"
14. ↑ Klieme et al. (2010). PISA 2009: Bilanz nach einem Jahrzehnt. Münster: Waxmann.
15. ↑ [1] PISA 2006: Naturwissenschaftliche Kompetenzen für die Welt von Morgen. OECD Briefing Note für Deutschland; [http://pisa.ipn.uni-kiel.de/zusammenfassung_PISA2006.pdf Zusammenfassung der deutschen Ergebnisse durch das Kieler IPN
16. ↑ E. Neuwirth, I. Ponocny, W. Grossmann W (Hrsg.): PISA 2000 und PISA 2003: Vertiefende Analysen und Beiträge zur Methodik. Graz: Leykam 2006.
17. ↑ Vgl. den diesbezüglichen Artikel in der Online-Fassung der liberalen österreichischen Tageszeitung Der Standard: Stichprobenfehler verursachte «Pisa-Absturz». Abgerufen am 19. April 2011.
18. ↑ Siehe S. 135 des PISA-Berichtes PISA 2009 RESULTS: LEARNING TRENDS. Change in Student Performance since 2000. Vol. V. Abgerufen am 18. April 2011.
19. ↑ Vgl. den Artikel «Und dann sind wieder die Lehrer schuld“» in der Tiroler Tageszeitung, Sonntags-Ausgabe vom 10. Mai 2009, Nr. 128, S. 2.
20. ↑ Die Regionen Piemont, Lombardei, Toskana, Venetien sowie die autonomen Provinzen Trient und Bozen nahmen dieses Angebot wahr.
21. ↑ OECD, Learning for tomorrow’s world. First resualts from PISA 2003. Paris: OECD 2004
22. ↑ Siniscalco, Maria Teresa (Hrsg.): Das Kompetenzniveau der Fünfzehjährigen im Bereich der Mathematik, des Lesens, der Naturwissenschaften und des Problemlösens. PISA 2003. Ergebnisse Südtirols. Bozen: Pädagogisches Institut (2005)
23. ↑ Die Schulpflicht wurde in Italien, und damit auch in Südtirol, mit dem Gesetz vom 27. Dezember 2006, Nr. 296 von 9 auf 10 Jahre angehoben.
24. ↑ Siniscalco, Maria Teresa (Hrsg.): Das Kompetenzniveau der Fünfzehjährigen im Bereich der Naturwissenschaften, des Lesens und der Mathematik. PISA 2006. Ergebnisse Südtirols (erscheint demnächst)
25. ↑ Gesetzesvertredendes Dekret vom 15. April 2005, Nr. 76
26. ↑ Vgl. Rudolf Meraner: Schule muss nicht die soziale Selektion fördern – Befunde und Analysen am Beispiel der deutschen Schule in Südtirol. In: Erziehung und Unterricht 158 (2008), S. 607-615
27. ↑ [2] McKinsey-Studie zu PISA September 2007 (englisch)
28. ↑ T. Jahnke: Die PISA-Unternehmer. Forschung & Lehre, 15, 26–27 (2008).
29. ↑ K. P. Liessmann: Theorie der Unbildung. Die Irrtümer der Wissensgesellschaft. Wien: Paul Zsolnay 2006.
30. ↑ [3] „Dachboden“ statt „Boden des Dachgeschosses“ für „attic floor“, „Hemisphäre“ statt „Erdhälfte“ für „hemisphere“, „Forschung“ für „scientific experiments“ – vgl. Wuttke (2007) und in der Berliner Zeitung („Pisa – ein teurer Zufallsgenerator“)
31. ↑ [4] Christian Pfeiffer et al.: „Die PISA-Verlierer – Opfer des Medienkonsums“ KFN Hannover