Multiple Choice

Multiple Choice (deutsch: Mehrfachauswahl) ist ein in Prüfungen, Tests und Umfragen verwendetes Format, bei dem zu einer Frage mehrere vorformulierte Antworten zur Auswahl stehen.

Unterschiedliche Formate und Begrifflichkeiten

In manchen Disziplinen wird neben „Multiple Choice“ auch der Begriff „Single Choice“ verwendet; „Single Choice” steht dann für Fragen, bei denen nur eine Antwort ausgewählt werden soll, während bei „Multiple Choice“ auch mehrere Antworten richtig sein können (unter gewissen Umständen sogar alle oder keine).

In den meisten Kontexten gilt die Verabredung, dass bei Multiple-Choice-Aufgaben immer nur eine Antwort richtig sein kann, als so selbstverständlich, dass darauf gar nicht explizit hingewiesen wird; so zum Beispiel bei Prüfungen an Schulen und Hochschulen in den USA oder Australien.

Wenn die Antwortvarianten verschiedene Grade einer Bewertung darstellen (z. B. „sehr zufrieden“ bis „sehr unzufrieden“), spricht man in der Sozialforschung nicht von Multiple Choice, sondern von einem skalierten Frage-Verfahren.

In speziellen Anwendungen müssen Kreuze in einer Matrix gesetzt werden. So kann man mehr Kombinationsmöglichkeiten realisieren.

Zweistufige Testaufgaben

Im Medizinstudium war bis vor einigen Jahren ein Multiple-Choice-Format gebräuchlich, in dem zunächst verschiedene Aussagen vorgeschlagen werden, von denen eine beliebige Anzahl zutreffen kann:

1. Aussage 1
2. Aussage 2
3. Aussage 3
4. Aussage 4

Anschließend folgt die eigentliche Frage, bei der nur eine Antwort die richtige ist:

A) Aussagen 1 und 2 treffen zu.

B) Keine Aussage trifft zu.

C) Alle Aussagen treffen zu.

D) Aussagen 1, 3 und 4 treffen zu.

E) Nur Aussage 4 trifft zu.

Bewertung von Testleistungen

Für die Punktevergabe in Leistungstests mit Multiple-Choice-Fragen gibt es vor allem zwei Varianten, die hauptsächlich angewandt werden. Entweder werden nur richtige Antworten gewertet und falsch gesetztes Ankreuzen wird ignoriert, oder aber die falschen Kreuze führen zu einem Punktabzug. Um zu vermeiden, dass ein Teilnehmer Antworten nur errät, wird die zweite Methode in der Regel bevorzugt. Normalerweise wird jedes Kästchen mit einem Punkt gewertet; man kann einen Multiple-Choice-Test aber auch gewichten, indem man schwereren oder wichtigeren Fragen mehr Punkte zuweist. Der Schwierigkeitsgrad kann trotz der eingeschränkten Wahlmöglichkeiten stark variieren.

Vorteile

Mit diesen Tests können die meisten Lernziele (mit Ausnahme von kreativen Leistungen) abgefragt werden. Darüber hinaus lassen sie sich in der Regel maschinell auswerten. Sie werden deshalb sehr häufig eingesetzt (z. B. beim IQ-Test, bei der Führerscheinprüfung und verschiedenen Qualifikationsprüfungen). Auch Prüfungen an Schulen und Universitäten werden manchmal auf diese Weise abgehalten. Bei Auswahlverfahren von Unternehmen ist dieser Test ebenfalls beliebt, nicht zuletzt wegen der leichten Auswertbarkeit: Man benötigt lediglich eine Lösungsschablone.

Nachteile

Die Fähigkeit, bei unvollständigem Fachwissen aus rein formalen Hinweisen die richtige Lösung zu erschließen oder zumindest einzelne Distraktoren zu eliminieren, wird in den USA unter dem Begriff testwiseness („Testfähigkeit“) diskutiert (Millman et al. 1965). Bei schlecht konstruierten Tests half früher die Faustregel, im Zweifel die längste Antwort anzukreuzen. Einen parodistischen Test, der nur durch rein formales Schließen gelöst werden kann, hat die New Yorker Schulbehörde veröffentlicht: [1]

Kubinger (2005) schreibt zur oft unterschätzten Auswirkung des Rateeffekts auf die diagnostische Validität von MC-Tests: „Die Wahrscheinlichkeit, dass ein Item eines Tests [Frage im MC-Test; Anm. d. Verf.] nur zufällig richtig beantwortet und insofern „gelöst“ wird, ist offensichtlich umso größer, je weniger Antwortmöglichkeiten geboten werden. Im heute verfügbaren Testinventar der psychologischen Diagnostik sind es zumeist fünf, nämlich die Lösung samt vier „Distraktoren“. Für solche Tests beträgt die A-priori-Ratewahrscheinlichkeit 1/5 = 20 %, d. h., auch Testpersonen ohne jede entsprechend vorausgesetzte Fähigkeit würden durchschnittlich 1/5 aller Items „lösen“. Verschärft wird das Problem dadurch, dass für Testpersonen mit wenigstens minderer Fähigkeit nicht alle Antwortmöglichkeiten gleich plausibel sind, so dass von den fünf häufig eine, zwei, manchmal drei gemäß Falsifikationsstrategie [entspricht hier sinngemäß in etwa: Ausschlussverfahren, siehe Falsifizierung; Anm. d. Verf.] richtiger Weise außer Betracht geraten, was die Ratewahrscheinlichkeit pro Item individuell bis auf 50 % erhöhen kann.“

Maßnahmen gegen das Raten

An deutschen Universitäten sind Multiple-Choice-Klausuren sehr verbreitet. Um die Studenten vom Raten abzuhalten, wird ein negatives Punktesystem eingeführt. Hierfür gibt es mehrere Varianten; die hier vorgestellten setzen voraus, dass es jeweils nur die Antwort „wahr“ oder „falsch“ gibt oder dass nur eine Antwort richtig ist und das bekannt ist.
Die einfachste und verbreitetste ist, dass eine richtige Antwort dieselbe positive Wertung erzielt wie eine falsche die negative.
Beispiel: richtige Antwort +1; falsche Antwort -1
Alternativen, die die positive Wirkung der testwiseness weiter reduzieren sollen, führen zu einer betraglich höheren negativen Wertung bei falschen Antworten als die positive Wertung bei richtigen Antworten.
Beispiel: richtige Antwort +0,5; falsche Antwort -1
Oft gilt, dass Aufgaben, die negative Wertungen verwenden, im schlechtesten Fall mit 0 Punkten bewertet werden. Dieses gewährleistet, dass keine negativen Punkte aus einer Aufgabe in die Gesamtwertung miteinfließen. So kann der Notenspiegel positiv gehalten werden. Allerdings setzt das eine Aufgabenstellung voraus, in der eine Aufgabe aus mehreren Multiple-Choice-Fragen besteht. Solche Aufgaben werden auch oft in Prüfungen verwendet, die an sich keine reinen Multiple-Choice-Prüfungen sind, sondern auch normale Aufgaben enthalten.

Multiple-Choice in internationalen Vergleichen

Multiple Choice-Aufgaben werden auch in internationalen Schulleistungsvergleichen wie TIMSS, PIRLS oder PISA eingesetzt. Dabei wird das US-amerikanische Standardformat verwendet, in dem in aller Regel vier bis fünf Antworten vorgegeben werden, von denen genau eine als richtig gewertet wird. Im deutschen Sprachraum aber, wo dieses Aufgabenformat wenig gebräuchlich ist, haben in den ersten PISA-Runden über 10% der Schüler bei einzelnen Aufgaben mehr als eine Antwort angekreuzt.^[1]

Eine kanadische Studie zeigt, dass sich der Vorteil nordamerikanischer Studenten, die aus ihrer Schulzeit her MC-Tests gewohnt sind, auch in studienbegleitenden Prüfungen noch nachweisen lässt.^[2]

Weitere Probleme

Multiple-Choice-Tests fördern (partielles) Faktenwissen statt Fachwissen. Die Personen lernen das Verifizieren von Antworten statt des Lösens von Aufgaben. Eine Person, die zuverlässig die richtige Antwort aus fünf möglichen findet, kann trotzdem nicht in der Lage sein, die gestellte Aufgabe zu lösen.
Beispiel: Die Testperson löst die Aufgabe so lange, bis ihre Lösung mit einer der vorgegebenen Lösungen übereinstimmt. Macht die Testperson dabei nicht die Fehler, die die Ersteller der MC-Lösungen absichtlich gemacht haben, um die falschen Antworten zu generieren, kann die Testperson die richtige Lösung herausfinden, ohne die Aufgabe selbst eigenständig lösen zu können.

Ein weiteres Problem ist, dass die richtige Lösung in der Aufstellung der MC-Lösungen nicht selten fehlt oder eine vermeintlich falsche Lösung für den, der sich mit der Materie auskennt, die richtige Lösung ist. In diesem Fall ist das Frustationspotential für die Testperson sehr groß. Im MC-Test unter Beispiel für Multiple Choice in der Tontechnik sind zumindest die Antworten auf die ersten sieben Fragen so ungenau, dass man problemlos eine weitere Antwort hinzufügen könnte, die die offiziell richtige Antwort als eindeutig falsch deklassieren würde.

Ein drittes Problem ist das richtige Verstehen von Aufgabenstellungen, entweder durch Mehrdeutigkeiten wie auch durch fehlende linguistische Fähigkeiten der Testperson. Man testet immer eine Mischung aus Fachwissen und der Beherrschung der Sprache, in der die Aufgabe gestellt wurde, selbst wenn letzteres in der Praxis keine Rolle spielen würde, weil die Aufgabe normalerweise aus dem Kontext und nicht aus einer Aufgabenstellung heraus in der Praxis gestellt wird.

Beispiele

Welche Politiker waren in der Brandt-Regierung Bundesminister?

1. Karl Schiller
2. Herbert Wehner
3. Rainer Barzel
4. Georg Leber
5. Erich Mende

Die Anzahl richtiger Antworten ist nicht vorgegeben. Richtig sind 1. und die 4. Antwort. 2, 3 und 5 dienen als Distraktoren.

Welches ist der größte Binnensee, der vollständig in Deutschland liegt?

1. Der Bodensee
2. Die Müritz
3. Das Steinhuder Meer

Aus dem Fragetext ist klar, dass nur eine Antwort richtig sein kann (die 2.).

Literatur

• K. D. Kubinger: Objektive psychologisch-diagnostische Verfahren. In: H. Weber, T. Rammsayer (Hrsg.): Handbuch der Persönlichkeitspsychologie und Differentiellen Psychologie aus Handbuch der Psychologie. Hogrefe, Göttingen 2005, S. 158-165
• J. Millman, C. H. Bishop, R. Ebel: An Analysis of Test-Wiseness. In: Educational Psychological Measurement. Band 25, 1965, S. 707–726.

Weblinks

• Richtlinien zur Erstellung von einfachen Multiple Choice-Aufgaben

Quellenangaben

1. ↑ Joachim Wuttke: Die Insignifikanz signifikanter Unterschiede. In: T. Jahnke, W. Meyerhöfer: PISA & Co – Kritik eines Programms. Zweite Auflage. Franzbecker, Hildesheim 2007, S. 171 ff.
   Auch http://www.messen-und-deuten.de/pisa/Wuttke2007b.pdf. Wuttke weist darauf hin, dass das den Test über die unmittelbar betroffenen Aufgaben hinaus verzerrt, denn es kostet viel mehr Zeit, vier oder fünf Antwortvarianten auf richtig/falsch zu prüfen, statt unter ihnen die plausibleste auszuwählen.
2. ↑ A. Mahamed et al.: “Testwiseness” Among International Pharmacy Graduates and Canadian Senior Pharmacy Students. In: American Journal of Pharmaceutical Education. Band 70. S. 131.