Signalentdeckung

Die Signalentdeckungstheorie wurde von John A. Swets und David M. Green entwickelt und erstmals 1966 in ihrem Buch Signal Detection Theory and Psychophysics vorgestellt. Sie analysiert die Detektion von schwer zu entdeckenden Signalen und liefert einen Maßstab für die Qualität des mit dieser Detektion beauftragten Menschen oder Systems. Den ersten Anstoß zu dieser Forschung lieferte im Dezember 1941 der japanische Luftangriff auf Pearl Harbor, der weder vom Radar, noch von der Funküberwachung der US-amerikanischen Abwehr entdeckt worden war. Daher stammt auch der Name receiver operator characteristic (s.u.).

Originalexperiment

Green und Swets spielten ihren Probanden viele Geräuschproben vor, die zum Teil nur Rauschen enthielten, zum anderen Teil zusätzlich einen kaum vernehmbaren Ton. Die Versuchspersonen gaben an, ob sie einen Ton gehört haben oder nur Rauschen. Wie schon bei den meisten früheren psychophysischen Experimenten zeigte sich, dass ihre Leistung nicht nur vom Signal-Rausch-Abstand (also wie deutlich der Ton sich vom Rauschen abhob) und ihrer tatsächlichen Detektionsleistung abhing, sondern von vielen zusätzlichen Faktoren beeinflusst wurde, u. a. Motivation, Vigilanz/Müdigkeit, Ablenkung durch Störeinflüsse, Information wie viel Prozent der Geräuschproben Töne enthielt usw. Green und Swets besonderes Interesse galt jedoch der Antworttendenz, die die Probanden zeigten, wenn sie sich unsicher waren: Manche entschieden sich häufiger für „ja, ich habe einen Ton gehört“ (sogenanntes liberales Kriterium), während andere im Zweifelsfall eher „nein, ich habe keinen Ton gehört“ antworteten (konservatives Kriterium). Die tatsächliche Detektionsleistung kann nur ermittelt werden, wenn die Antworttendenz herausgerechnet wird, wie folgendes Beispiel zeigt:
Zwei Medizinstudenten sollen je 20 Röntgenaufnahmen begutachten, von denen, was sie aber nicht wissen, 10 einen Tumor zeigen. Student A möchte möglichst nichts übersehen und entscheidet sich bei 13 Aufnahmen für die Diagnose „Tumor“. Davon sind 9 richtig erkannt und 4 falsch. Student B hingegen möchte sich ganz sicher sein und entscheidet sich bei 7 Aufnahmen für „Tumor“. Davon sind 6 richtig und 1 falsch. Beide haben also die gleiche Leistung (9 – 4 = 6 – 1), nur dass Student A ein liberaleres Antwortkriterium als B hat.

Maßzahlen

Das Signal kann vorhanden sein oder nicht, und die Testperson (oder das Detektionssystem) kann eine Entdeckung melden oder nicht, sodass vier Kombinationen möglich sind:

	Signal vorhanden	kein Signal vorhanden
entdeckt	Treffer (engl. hit)	falscher Alarm (falsch positiv, engl. false alarm)
nicht entdeckt	Verpasser (falsch negativ, engl. miss / false rejection)	korrekte Ablehnung (engl. correct rejection)

Um das Sensitivitätsmaß d' zu berechnen ermittelt man zunächst die relativen Häufigkeiten der Treffer und der falschen Alarme, führt mit diesen Werten eine z-Transformation durch und bildet abschließend die Differenz:
d' = z(Treffer) - z(falscher Alarm)

Eine weitere, seltener verwendete Maßzahl ist die Antworttendenz (auch Reaktionsneigung genannt):
c = −0.5*(z(falscher Alarm) + z(Treffer)).

Beispiel: Ein junger Drogensuchhund hat eine relative Häufigkeit an Treffern von 0.89 und eine relative Häufigkeit an falschen Alarmen von 0.59. Daraus errechnet sich eine Sensitivität von d' = 1 und eine Antworttendenz von −0.73. Nach einigen Jahren „Berufserfahrung“ hat der Hund eine Trefferquote von 96 % und schlägt nur noch in 39 % der Fälle falschen Alarm. Daher verbessert sich seine Detektionsleistung d' auf 2.03, während seine Antworttendenz c mit −0.74 gleich geblieben ist (was von einem Hund auch zu erwarten ist).

Theoretische Annahmen

Während ursprünglich mit „Rauschen“ tatsächlich das Rauschen im Kopfhörer des „Receiver Operators“ gemeint war, fasst man heute unter diesem Begriff all jene inneren und äußeren Einflüsse zusammen, die den Diagnostiker dazu bewegen können, „ja“ zu sagen, obwohl überhaupt kein Signal vorhanden ist. Die Wahrscheinlichkeit, dass das Rauschen einen Falschalarm hervorruft, wird als normalverteilt angenommen (im Bild die obere Glockenkurve). Gegen dieses Hintergrundrauschen, das immer vorhanden ist, muss sich das Signal „durchsetzen“, d. h. es wird zum Rauschen dazu addiert. Dadurch wird die Wahrscheinlichkeitsverteilung nach rechts verschoben (im Bild die untere Glockenkurve).
Bei schweren Aufgaben (geringer Signal-Rauschen-Abstand) sind die Kurven flach und breit und überlappen stark (so wie hier im Bild), bei leichten Aufgaben sind sie steil und schmal und überlappen nur wenig.

Ob der „Operator“ nun tatsächlich „ja“ sagt, hängt von seinem Antwortkriterium ab. Im Bild liegt die Schwelle eher rechts (mehr „Nein“- als „Ja“-Antworten), er fährt also eine eher konservative Strategie.

Anwendungen

Die Signalentdeckungstheorie kann bei jeder Art von Diagnostik zur Anwendung kommen; einige ihrer Anwendungsfelder sind:

• empirische Wissenschaften (vgl. Fehler 1. Art, Fehler 2. Art)
• Medizin (u. a. Beurteilung von Röntgenbildern, PET- und fMRI-Scans, Labortests usw.)
• Qualitätsmanagement
• Flugsicherung
• Gepäckkontrolle (z. B. in Flughäfen)
• Zutrittskontrolle zu Sportstadien, Diskos usw.

In solch realen Situationen kommt ein weiterer gewichtiger Einfluss auf die Detektionsleistung zum Tragen, nämlich wie groß der Nutzen von Treffern und insbesondere wie gefährlich die Folgen von Verpassern sind.

ROC

Eine häufig genutzte grafische Darstellung dieser Maßzahlen ist die Isosensitivitäts- oder ROC-Kurve, wobei ROC für Receiver Operator Characteristic steht (die beiden Medizinstudenten aus obigem Beispiel sind isosensitiv). Dazu wird die relative Häufigkeit der Treffer aufgetragen gegen die relative Häufigkeit der Falschalarme. Alle Diagnostiker mit demselben Detektionsvermögen liegen also auf derselben ROC-Kurve:
Wer immer nur rät (hit-Rate = miss-Rate = 0.5, d' = 0) liegt auf einer Geraden der Steigung 1. Gute (mehr Treffer als Falschalarme, d' > 1) und sehr gute Diagnostiker (viel mehr Treffer als Falschalarme, d' > 2) liegen auf mehr oder weniger stark konvex gewölbten Kurven. Die ROC-Kurven sind also vom Antwortverhalten unabhängig. Sollten unsere beiden Medizinstudenten ihre Reaktionsneigung, z. B. durch einen neuen Chef ermuntert, völlig umstellen, würden sie dennoch auf ihrer ROC-Kurve bleiben. Dies lässt sich lediglich durch Training ändern. Auf jeder ROC-Kurve liegen die konservativ Antwortenden (wenige Treffer und wenige Falschalarme) im linken (unteren) Bereich, die liberal Antwortenden (viele Treffer und viele Falschalarme) im rechten (oberen) Bereich.

Siehe auch

• Beurteilung eines Klassifikators
• Sensitivität
• Spezifität
• Relevanz
• Segreganz

Literatur

• Swets, J.A. (Hrsg.) (1964) Signal detection and recognition by human observers. New York: Wiley
• Green, D.M., Swets J.A. (1966) Signal Detection Theory and Psychophysics. New York: Wiley, ISBN 0-471-32420-5
• Velden, M. (1982) Die Signalentdeckungstheorie in der Psychologie. Stuttgart: Kohlhammer, ISBN 3-17-004936-4

Weblinks

• interaktives Tutorial (englisch)
• Berechnen und Zeichnen einer ROC-Kurve (englisch)
• Anleitung zur Analyse von ROC-Kurven (englisch)