Kritik der PISA-Studien

Die PISA-Schulleistungsstudien der OECD haben nicht nur ein außergewöhnliches Medienecho, sondern auch heftige wissenschaftliche Debatten ausgelöst. Dieser Artikel fasst Kritik an Zielsetzung, Methodik und Interpretation der PISA-Studien zusammen.

Der Status von PISA: zwischen Wissenschaft und Politik

PISA hat hunderte, wenn nicht tausende sekundäre Arbeiten ausgelöst, die den skalierten Datensatz (Kompetenzwerte und Hintergrundvariable) unter verschiedensten Aspekten näher auswerten. Viele dieser Arbeiten sind in begutachteten wissenschaftlichen Fachzeitschriften erschienen. Paradoxerweise hat PISA selbst keine solche Qualitätskontrolle hinter sich: PISA stellt sich als interessensgeleitete bzw. sogar -gebundene Auftragsforschung dar, von den einzelnen Regierungen der teilnehmenden Länder finanziert und von privatwirtschaftlichen Instituten (insbesondere ACER Australien) durchgeführt, und die Ergebnisse werden im Eigenverlag der OECD ohne vorherige externe Begutachtung veröffentlicht. Neuerdings werden sogar die Datensätze der wissenschaftlichen Öffentlichkeit vorenthalten. Eine Primärveröffentlichung in Fachzeitschriften wäre auch kaum möglich, denn die Testaufgaben (in der Sprache der Psychologie: die „Instrumente“) werden mehrheitlich geheim gehalten, was einen offenkundigen Verstoß gegen wissenschaftliche Standards darstellt.

Dass PISA keine im strengen Sinne wissenschaftliche Arbeit ist, erschwert die Kritik, denn es gibt kein zentrales, internationales Publikationsorgan, das die Auseinandersetzung bündeln könnte. Kritische Arbeiten sind bisher in sehr unübersichtlicher Weise an teilweise recht entlegenen Orten publiziert worden. Erst mit einigen Jahren Verzögerung finden sich Wissenschaftler zusammen, um ihre PISA-Kritik in konzertierter Form vorzutragen (insbesondere Jahnke/Meyerhöfer 2006; Hopmann/Brinek/Retzl 2007).

Aufgrund der Komplexität des Gegenstands ist die Kritik ein interdisziplinäres Unterfangen, an dem sich nicht nur Bildungsforscher, sondern auch Pädagogen, Psychologen und andere Wissenschaftler mit statistischer Fachkunde (Mathematiker, Physiker, Ökonomen) beteiligen.

Die Reaktion der PISA-Verantwortlichen auf öffentliche Kritik beschreiben Hopmann und Brinek so:^[1]

• Schweigen, um Kritikern keine öffentliche Resonanz zu verschaffen;
• wenn das nicht mehr ausreicht, den Kritikern Kompetenz absprechen und unlautere Motivation unterstellen;
• nötigenfalls isolierte Probleme zugestehen, aber behaupten, dass diese keine nennenswerten Auswirkungen haben;
• schließlich behaupten, dass die Kritik altbekannt und längst widerlegt sei.

Zielsetzung von PISA

Das utilitaristische Bildungsziel von PISA wird insbesondere von frankophonen Autoren kritisiert: es bewirke zunächst einmal eine Verzerrung der Testergebnisse zugunsten angelsächsischer Staaten und sodann einen Druck, Lehrpläne in Richtung auf unmittelbar alltagsrelevante Fertigkeiten anzupassen. Das bedrohe zum Beispiel die Spezifität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt. In diesem Zusammenhang wird auf die ökonomische Zielsetzung der OECD und auf die Intransparenz und mangelnde demokratische Legitimität der Entscheidungsprozesse in PISA hingewiesen (Cytermann in DESCO 2003). Ein ähnlicher Einwand lautet, dass PISA mit seinen Schwerpunkten Mathematik, Muttersprache, Naturwissenschaften die Marginalisierung gesellschaftswissenschaftlicher und musischer Fächer forciert.

Jahnke (in Jahnke/Meyerhöfer 2006) kritisiert den Grundgedanken, Bildung »standardisieren« zu wollen (vgl. Bildungsstandards) und deutet PISA auch als Markterschließung der Testindustrie.

Kritik an der Methodik

Curriculare Validität der Testaufgaben

Über die curriculare Validität, also die Übereinstimmung der Testaufgaben mit dem Lehrplan der getesteten Schulen, bestehen unterschiedliche Anschauungen. Während der Leiter der PISA 2000, Baumert, diese noch kategorisch ablehnte, wird die curriculare Validität von seinem Nachfolger Prenzel kategorisch postuliert. Wie allerdings curriculare Validität angesichts der überwiegend geheim gehaltenen Aufgaben festgestellt wurde, außer durch so genanntes Expertenurteil, ist bislang ungeklärt.

Qualität der Testaufgaben

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der Instrumente in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele als teilweise fehlerhaft oder irreführend kritisiert.

Der Mathematikdidaktiker Meyerhöfer (2005) argumentiert, dass PISA dem Anspruch, mathematische Leistungsfähigkeit bzw. speziell „Mathematische Literalität“ zu testen, nicht gerecht werde: Mittels Interpretation (Methode: Didaktische Analyse und Objektive Hermeneutik) zeigt er verschiedene Problemkreise auf:

• Oftmals gibt es so viele Möglichkeiten, zur gewünschten Lösung (die nicht in jedem Fall die richtige Lösung ist) zu gelangen, dass man nicht benennen kann, welche Fähigkeit die Aufgabe eigentlich misst. Das Konstrukt „mathematische Leistungsfähigkeit“ wird damit zu einem zufälligen.
• Es werden Komponenten von Testfähigkeit mitgemessen. Als Kernkompetenz von Testfähigkeit stellt sich heraus, weder das gestellte mathematische Problem noch die angeblichen realen Probleme ernst zu nehmen, sondern sich stattdessen auf das zu konzentrieren, was die Tester angekreuzt oder hingeschrieben sehen wollen. Prinzipiell erweist es sich als günstig, mittelmäßig zu arbeiten, auf intellektuelle Tiefe in der Auseinandersetzung mit den Aufgaben also zu verzichten.
• Man kann bei Multiple-Choice-Tests raten. Die PISA-Gruppe behauptet zwar, dieses Problem technisch überwinden zu können, dies erweist sich aber als Fehleinschätzung.
• Die vorgeblich verwendeten didaktischen und psychologischen Theorien sind lediglich theoretische Mäntel für eine theoriearme Testerstellung.
• Die Tests werden nicht durch Operationalisierungen von Messkonstrukten erstellt, sondern durch systematisches Zusammenstückeln von Aufgaben.
• Bei PISA sollte „Mathematical Literacy“ getestet werden. Verkürzt sollte das die Fähigkeit sein, „die Rolle, die Mathematik in der Welt spielt, zu erkennen und zu verstehen, begründete mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als eines konstruktiven, engagierten und reflektierten Bürgers entspricht“ (PISA-Eigendarstellung). Von all dem kann angesichts der Aufgaben keine Rede sein.
• Es zeigt sich ein mathematikdidaktischer Habitus, der unter dem Stichwort der „Abkehr von der Sache“ zusammengefasst wird. Er umfasst folgende Elemente: Manifeste Orientierung auf Fachsprachlichkeit bei latenter Zerstörung des Mathematischen, Illusion der Schülernähe als Verblendung, Kalkülorientierung statt mathematischer Bildung, Misslingen der „Vermittlung“ von Realem und Mathematischem bei realitätsnahen Aufgaben. Letzteres gründet in der Nichtbeachtung der Authentizität sowohl des Realen als auch des Mathematischen.

Zweifel an der interkulturellen Vergleichbarkeit

Das Übersetzungsproblem

Das seit den allerersten vergleichenden Schulstudien ungelöste Übersetzungsproblem bewirkt auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche:

• Herkunft der Aufgaben (überwiegend aus dem angelsächsischen Bereich und den Niederlanden).
• Unterschiedliche Lesbarkeit verschiedener Sprachen (die reine Textlänge variiert schon um 10% oder mehr).
• Texte werden beim Übersetzen tendenziell länger.
• Wenn Übersetzer die Aufgabe verstehen, neigen sie dazu, Hilfen zu geben (Freudenthal 1975).
• Wenn Übersetzer nicht alle Fußangeln erkennen, kann die Aufgabe erheblich schwerer geraten.

Vertrautheit mit dem Aufgabenformat

Ein weiteres Problem ist die unterschiedliche Vertrautheit mit dem Aufgabenformat. Meyerhöfer spricht hier von „Testfähigkeit“; in den USA wird schon lange über die Bedeutung von „testwiseness“ diskutiert. Wuttke (2006) hat entdeckt, dass bis zu 10% der deutschsprachigen Schüler das Multiple Choice-Format nicht verstehen und mehr als eine Antwortalternative ankreuzen, wo implizit war, dass genau eine Antwort richtig ist.

Motivation der Testteilnehmer

Aus inneramerikanischen Studien ist bekannt, dass der Unterschied zwischen low-stakes- und high-stakes-Tests eine halbe Standardabweichung und mehr betragen kann.

Sjoeberg^[2] kontrastiert die unbedingte Leistungsmotivation in Taiwan und Korea, wo vor der Testsitzung die Nationalhymne gesungen wird, mit der Mentalität norwegischer und dänischer Schüler, die sich fragen, was der Test ihnen persönlich bringt, und die spätestens dann, wenn die Testaufgaben keinen Spaß machen, sich nicht mehr ernsthaft anstrengen.

Statistische Mängel

Bei der Auswertung von PISA und ähnlichen Studien stellt sich das Grundproblem, dass Leistungsunterschiede innerhalb eines jeden Staats wesentlich größer sind als typische Unterschiede zwischen Staaten. Es ist deshalb eine Messgenauigkeit im unteren Prozentbereich erforderlich, um statistisch signifikante Aussagen über solche Unterschiede treffen zu können. In PISA wird das formal durch die Verwendung sehr großer Stichproben (rund 5000 Schüler pro Staat) erreicht. Die offiziellen Standardfehler berücksichtigen jedoch nicht mögliche systematische Verzerrungen.^[3]

Solche Verzerrungen werden unter anderem bewirkt durch:

• Pisa testete 15-Jährige. In diesem Alter sind in vielen Ländern besonders schwache Schüler schon nicht mehr in der Schule. In der Türkei zum Beispiel besuchen in diesem Alter nur noch 54 Prozent die Schule, in Mexiko 58 Prozent, in Deutschland aber 96,3 Prozent. Das bedeutet: Besonders schwache Schüler drückten hier das Niveau, während sie in anderen Ländern als Schulabgänger schon gar nicht mehr vertreten waren - sehr wohl aber für die allgemeine Leistungsfähigkeit eines Schulsystems stehen.
• Unzuverlässige Ausgangsdaten (es gibt keine Urlisten mit allen Fünfzehnjährigen; die Stichprobenziehung ist extrem kompliziert und nicht überprüfbar).
• Leistungsabhängige Teilnahmequoten.
  • Die USA haben die Mindest-Schulteilnahmequote von 65% ungestraft unterschritten.
  • In Südtirol wurden nur 83% aller Fünfzehnjährigen als Schüler erfasst, obwohl dort in diesem Alter noch Schulpflicht herrscht. Wahrscheinlich sind Berufsschulen weitestgehend von der Testung ausgeschlossen worden, was das Spitzenergebnis dieses Landes als ein statistisches Artefakt erklären würde.
  • In Österreich mussten sämtliche Ergebnisse aus PISA 2000 wegen ungenügender Berücksichtigung von Berufsschülern Jahre später deutlich nach unten korrigiert werden .
• Uneinheitlicher Ausschluss von lernbehinderten Schülern. Nur in sieben Ländern, darunter auch Deutschland, wurden Sonderschüler in Kurztests getestet. Würde man diese Tests aus PISA herausrechnen, wäre Deutschland bei Pisa 2003 mit der Leseleistung seiner Schüler vom 18. auf den 12. Rang unter 29 Staaten vorgerutscht. Andere Staaten haben keine Sonderschulen für Lernbehinderte, konnten aber bis zu 4,5% der Grundgesamtheit auf Schulebene ausschließen.
  • Dänemark, Finnland, Griechenland, Irland und Polen haben Legastheniker vom Test ausgeschlossen.
  • In Dänemark wurden auch Schüler mit Rechenschwäche ausgeschlossen.
  • Verstoß gegen internationale Regeln: Kanada, Dänemark, Neuseeland, Spanien und die USA haben mehr als die erlaubten 5% der Zielpopulation ausgeschlossen.
• Einzelheiten der Stichprobenziehung und Testdurchführung sind völlig unkontrollierbar und bei entsprechendem politischem Interesse beliebig manipulierbar.

Regelverstöße durch Projektbeteiligte

Der Leiter der wissenschaftlichen Begleitkommission der Laborschule Bielefeld, Prof. Dr. Tillmann, ist zugleich Mitglied des nationalen PISA-Konsortiums. Dies wurde vom Deutschen Lehrerverband kritisiert. Die Laborschule Bielefeld wurde auf eigenen Wunsch ein Jahr nach dem PISA-Hauptdurchlauf nachgetestet. Zu diesem Zeitpunkt war ein Teil der PISA-Aufgaben bereits bekannt.^[4]

Auswertung für einzelne Schulen sind nur als Rückmeldung an den Schulleiter gedacht; sie sind aus statistischen Gründen nicht für seriöse Vergleiche brauchbar. Deshalb wurden die Schulleiter zu Vertraulichkeit verpflichtet. Nichtsdestoweniger gelangten Ergebnisse einzelner Schulen, zum Teil aus durchsichtigen politischen Gründen, an die Öffentlichkeit.

Interpretation

Ist Pisa eine Schulleistungsuntersuchung?

In der Öffentlichkeit wird PISA ganz überwiegend als eine Untersuchung der Leistungsfähigkeit des Schulwesens wahrgenommen. Das ist konsistent mit der Wahrnehmung von PISA als Länderwettkampf, da die Grundstruktur des Schulwesens von Land zu Land unterschiedlich ist. Dieser Deutung von PISA als Schulleistungsuntersuchung liegen Annahmen zugrunde, die selten klar benannt werden:

(1) PISA testet eine Alters-, nicht eine Klassenstufe. Das lasse sich rechtfertigen, wenn man Leistung als Ergebnis bis zu einem bestimmten Lebensalter auffasst. PISA benachteiligt Schulsysteme, in denen ein nennenswerter Teil der Schüler durch späte Einschulung, Sitzenbleiben oder freiwillige Wiederholungen niedrigere Klassenstufen aufweist. Deshalb sei der PISA-Ansatz ungeeignet, die Leistungsfähigkeit von Schülern „nahe am Ende der Pflichtschulzeit“ (near the end of compulsory education) zu vergleichen. Man kann allerdings auch fragen, ob Rückstellungen etc. pädagogisch sinnvolle Maßnahmen darstellen. Allerdings hat eine wissenschaftliche Studie die Aufgabe, ihre eigenen Maßstäbe klar und transparent zu definieren und sich einer Wertung, die sich bereits in der Wahl der Stichprobendefinition implizit findet, zu enthalten.

(2) PISA messe nicht den Zuwachs kognitiver Fähigkeiten im Verlauf der Schulzeit, sondern allein den Ist-Zustand in einer bestimmten Altersgruppe. Aus den Leistungsdaten von PISA ist nicht zu erschließen, inwieweit die Leistungsfähigkeit der schulischen Ausbildung zu verdanken ist und inwieweit sie auf unterschiedliche Anlagen und Umwelteinflüsse zurückgeht.

Dieses Argument unterschlägt, dass es zahlreiche weitere Untersuchungen gibt, auch als Längsschnitt wie z. B. die LAU-Untersuchungen in Hamburg. Die Frage nach Anlage oder Umwelt stellt sich für die Schule nicht. Entscheidend ist, ob etwas verändert werden kann und ob man dazu genügend Zeit hat, was durch die frühe Selektion nach der Klasse 4 fraglich ist.

Jedoch - so die Kritik weiter - erlaube PISA, Leistungsdaten mit sozialen Kenndaten zu korrelieren. Die Ergebnisse zeigen, dass sich soziale Bedingungen in verschiedenen Ländern verschieden stark auf die kognitive Leistungsfähigkeit auswirken. Das in Deutschland meistzitierte Beispiel sind Migrantenkinder, die in Deutschland stärker zurückblieben als in anderen Ländern. In Ostdeutschland ist eine höhere Quote von Migrantenkindern auf Gymnasien zu finden als in Westdeutschland. So besuchen etwa in Thüringen Kinder vietnamesischer Abstammung zu 63% ein Gymnasium. Dies wird mit dem wesentlich besseren Krippen- und KiTa-System in Ostdeutschland und einer sehr hohen Wertschätzung der Bildung in der vietnamesischen Kultur erklärt.

(3) Die Ergebnisse von PISA würden circa zwei Jahre nach der Erhebung veröffentlicht. Deshalb seien Rückschlüsse auf die schulpolitische Situation zum Veröffentlichungszeitpunkt nicht statthaft (was aber in der Berichterstattung getan wird). Dieses Argument geht aber von schnellen Änderungen im System aus, etwas, was bisher kaum belegt ist.

Was messen PISA-Aufgaben? Womöglich Intelligenz?

Heiner Rindermann, Volkmar Weiss^[5] und Siegfried Lehrl argumentieren, PISA sei ein Unternehmen zur Messung der Allgemeinen Intelligenz, und zwar das aufwendigste und beste international je unternommene. Die Länder-Ergebnisse von PISA stimmten, so die Autoren, auf plus oder minus drei IQ-Punkte mit den IQ-Daten (und -Schätzungen) im Buch IQ and the Wealth of Nations (Lynn und Vanhanen, 2002) überein. Die gefundenen Korrelationen, die auf Grund der meist „vorzüglichen Repräsentativität“ der Stichproben höher seien als zwischen den bisher üblichen IQ-Tests, bewiesen für die Befürworter von IQ-Tests die grundlegende Übereinstimmung von PISA-Ergebnissen mit den Ergebnissen von einem Jahrhundert klassischer Intelligenzforschung und die Brauchbarkeit bewährter, standardisierter IQ-Tests, ebenso wie die sehr hohen Korrelationen zwischen PISA-Werten und IQ mit den Ergebnissen der TIMSS-Studie und der IGLU-Studie. Allerdings korrelieren die Ergebnisse der PISA-Studien mit denen der IGLU-Studie nicht, da beide Studien unterschiedliche Stichprobendefinitionen aufweisen. Während die PISA-Studie sich am Lebensalter der Probanden orientiert (15 Jahre), testet die IGLU-Grundschulstudie Schülerinnen und Schüler einer bestimmten Klassenstufe (zumeist 4. Klasse). Deshalb können die Ergebnisse beider Studien auch nicht korrelieren und insofern auch nicht die „Ergebnisse von einem Jahrhundert klassischer Intelligenzforschung“ bestätigen.

Einzelnachweise

1. ↑ Hopmann/Brinek/Retzl 2007, S. 14f.
2. ↑ in Hopmann u.a. 2007, S. 220-223
3. ↑ Wuttke in Jahnke/Meyerhöfer 2006
4. ↑ Lehrerverband.de
5. ↑ Pisa3

Literatur

Sammelbände

• Stefan Hopmann, Gertrude Brinek, Martin Retzl (Hrsg.): PISA zufolge PISA. PISA According to PISA. Hält PISA, was es verspricht? - Does PISA keep, what it promises? LIT-Verlag, Wien 2007. ISBN 3-8258-0946-3 (Zweisprachiger Sammelband mit Beiträgen von siebzehn Forschern)
• Thomas Jahnke, Wolfram Meyerhöfer (Hrsg.): PISA & Co – Kritik eines Programms. Franzbecker, Hildesheim 2007 (2.Aufl.). ISBN 3-88120-464-4 (Sammelband mit Beiträgen von neun Forschern)

Einzelveröffentlichungen

• Hans Brügelmann, Hans Werner Heymann: PISA – Befunde, Deutungen, Folgerungen. In: Pädagogik. Weinheim 54.2002, H.3, 40-43. ISSN 0933-422x
• Évaluation des connaissances et des compétences des élèves de 15 ans: questions et hypothèses formulées à partir de l'étude de l'OCDE. Rencontres de la DESCO. Direction générale de l'Enseignement scolaire, Ministère de l'Éducation nationale. 31 mai 2002. DESCO 2003.
• Hans Freudenthal: Pupils achievements internationally compared. in: IEA. Educational studies in mathematics. Dortrecht 6.1975, 127-186. ISSN 0013-1954 (Vernichtende Kritik einer der ersten vergleichenden Schulleistungsuntersuchungen; in Teilen immer noch aktuell)
• Frank Gaeth: Dissertation. FU-Berlin 2005. (siehe: Diskussion:Kritik_an_den_PISA-Studien)
• Josef Kraus: Der PISA Schwindel. Unsere Kinder sind besser als ihr Ruf. Wie Eltern und Schule Potentiale fördern können. Signum, Wien 2005. ISBN 3-85436-376-1
• Volker Ladenthin: PISA - Recht und Grenzen einer globalen empirischen Studie. Eine bildungstheoretische Betrachtung. In: Vierteljahrsschrift für wissenschaftliche Pädagogik. Paderborn 79.2003, H.3. S.354-375. ISSN 0507-7230
• Siegfried Lehrl: PISA - ein weltweiter Intelligenz-Test. In: Geistig Fit. Ebersberg 2005, Nr.1, 3-6. ISSN 0941-0767
• Wolfram Meyerhöfer: Tests im Test - Das Beispiel PISA. Barbara Budrich, Opladen 2005. ISBN 3938094125
• Heiner Rindermann: Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz? In: Psychologische Rundschau. Göttingen 57.2006, 69-86. ISSN 0033-3042

Weblinks

• Volker Hagemeister: Falsche Akzente durch PISA.
• Joachim Wuttke: Kritische Online-Biographie
• Das Kind hinter PISA. Erkenntnisgrenzen und notwendige Ergänzungen.