Standards für Evaluation

Evaluationen setzen bestimmte Standards voraus, damit sie vom Ergebnis her objektiv verglichen werden können. Die Homogenität der Ergebnisse soll durch die verschiedenen Auswertungen der Daten gewährleistet werden. Die DeGEval - Gesellschaft für Evaluation e.V. - hat für diesen Vorgang die bestimmten Standards einer Evaluation herauskristallisiert. Diese gliedern sich unter den Schlagwörtern der "Nützlichkeit", "Durchführbarkeit", "Fairness" und "Genauigkeit". Diesen Standards kommt eine konfliktpräventive Funktion zu. Um die Kommunikation zwischen Evaluatoren und Evaluierten zu festigen, werden diese genannten Oberkategorien durch bestimmte Unterkategorien präzisiert. Dieses Vorgehen setzt objektive Indikatoren voraus, die den Vergleich unterschiedlicher Einrichtungen und Personen ermöglichen.^[1]

Jeder der Standards beschreibt eine spezifische, normative Aussage darüber, wie eine Ausgestaltung der Evaluation hinsichtlich einer möglichst hohen Qualität durchgeführt werden sollte. Die Standards dienen aber lediglich einer Empfehlung und verlangen keine strikte Einhaltung.^[2]

Nützlichkeitsstandards

Die Aufgabe der Nützlichkeitsstandards ist sicherzustellen, dass sich die Evaluationen an den geklärten Zielen und am Bedarf von Informationen der vorgesehenen Nutzer/-innen ausrichten.^[3]

Eine Identifikation der Evaluatoren und Evaluierten ist Voraussetzung, damit die jeweiligen Interessen der Beteiligten herausgefiltert und beachtet werden können.^[4]

Die Zwecke der Evaluation sollten klar bestimmt sein, so dass alle Beteiligten die Möglichkeit haben, sich darauf zu beziehen und die Evaluatoren somit ein eindeutiges Ziel verfolgen können.^[5]

Die persönliche Vertrauenswürdigkeit sowie die fachliche und methodische Kompetenz der Evaluatoren sollte gewährleistet sein, damit die Ergebnisse ein Höchstmaß an Akzeptanz erzielen.^[6]

Die erhobenen Informationen dienen der Behandlung sachdienlicher Fragestellungen zum Evaluationsprogramm. Gleichzeitig sollen diese die Interessen und Bedürfnisse aller Beteiligten berücksichtigen.^[7]

Die Bewertungsgrundlagen werden erst dann klar ersichtlich, wenn die Perspektiven, Verfahren und Gedankengänge der Beteiligten, auf denen die Interpretationen der Ergebnisse beruhen, klar aufgezeigt werden.^[8][9]

Evaluationsberichte dienen der vereinfachten Beschreibung der Evaluation bezüglich der Verfahren, Ziele und Befunde. Der gesamte zeitliche Ablauf der Evaluation sollte so gewählt sein, dass die erzielten Ergebnisse in laufende Prozesse zur Entscheidungs- und Verbesserungshilfe einbezogen werden können.^[10]

Die Planung, Durchführung und Berichterstattung der Evaluation sollen die Beteiligten zu aufmerksamer Kenntnisnahme und Nutzung der Ergebnisse animieren.^[11]

Durchführbarkeitsstandards

Die Regeln der Durchführbarkeitsstandards dienen dazu, Schaden vom Evaluationsgegenstand abzuwenden und dadurch Belastungen der Beteiligten zu reduzieren, und schließlich dem Kosten - Nutzen - Verhältnis der Evaluation ein ausgewogenes Maß zukommen zu lassen.^[12] Durchführbarkeitsstandards sollen somit eine gut geplante, realistische, diplomatische und kostenbewusste Ausführung einer Evaluation gewährleisten.^[13]

Angemessene Verfahren

Die Verfahren der Evaluation sind so zu wählen, dass Störungen minimiert und erforderliche Informationen beschafft werden können.^[14] Die Belastungen gegenüber dem Gegenstand der Evaluation und allen Beteiligten sollte in einem befriedigenden Verhältnis zum erwartenden Nutzen stehen.^[15] Die Verfahren sind Handlungen zur Informationsgewinnung und Nutzung, damit ein Programm der Güte nach beurteilt werden kann. Darunter zählen z.B. Vereinbarungen mit dem Auftraggeber, die Wahl der Evaluationsinstrumente und die Erschließung von Datenquellen sowie deren Sammlung, Aufzeichnung, Speicherung und Abrufung. Die Verfahren sollten hinsichtlich der Verfügbarkeit von Zeit, Budget und Personal realistisch durchführbar sein. Bei Nichteinhaltung dieser Theorieverfahren kommt es unweigerlich zu einer Verschwendung von Ressourcen, ohne dass man wertvolle oder brauchbare Ergebnisse erlangt.^[16] Die häufigsten Fehler sind die Umsetzung von der Theorie zur Praxis und das Versäumnis der Gegenüberstellung von Durchführbarkeit und Genauigkeit.^[17]

Richtlinien für angemessene Verfahren

Um brauchbare Ergebnisse zu erzielen, sollten folgende Richtlinien befolgt werden:^[18]

• Qualifiziertes Evaluationspersonal
• Vertretbare und durchführbare Verfahren
• Berücksichtigung des zeitlichen Rahmens und der Verfügbarkeit der Teilnehmer
• Integration von Evaluationstätigkeiten in Routinevorgängen
• Entwicklung von Alternativen zur Ausweichung bei auftretenden Problemen
• Realistischer Zeitplan und praktikable Instrumente
• Pilotprojekt zur Überprüfung des Verfahrens (zum Zweck der praktischen Nutzung)

Diplomatisches Verfahren

Die Planung und Durchführung von Evaluationen sollte so gewählt werden, dass sie möglichst von vielen Beteiligten bzw. Betroffenen in Bezug auf das Vorgehen und die dadurch erzielbaren Ergebnisse akzeptiert werden. Wichtig hierbei ist eine gezielte Berücksichtigung der Interessen der jeweiligen Teilnehmer, um diese nicht einzuschränken oder zu verzerren. Ein diplomatisches Vorgehen fördert somit die Akzeptanz, Zustimmung und Kooperation zwischen den Interessengruppen im Rahmen der gesamten Durchführung. Eine Voraussetzung für das spätere Benutzen der erzielten Ergebnisse ist die politische Tragfähigkeit und die Kompromissfähigkeit in Bezug auf das politische und organisatorische Umfeld. Jedoch werden öfter gerade im politischen Umfeld Evaluationen in Auftrag gegeben, um die schwierige Verantwortung der Entscheidung abzuwälzen oder bestehende Entscheidungen im Nachhinein zu legitimieren. Das Evaluationsteam hat besonders in solchen Fällen die Aufgabe, den Dialog zwischen den Beteiligten, Betroffenen und den Entscheidungsträgern zu fördern. Dies würde sich dann positiv auf die allgemeine Bereitschaft auswirken, sich am Prozess der Evaluation maßgeblich zu beteiligen und die gewonnenen Ergebnisse förderlich zu nutzen.^[19]

In einer Forschungsevaluation ist vor allem eine spezielle Differenzierung und Genauigkeit von hoher Bedeutung, denn gerade in größeren Departments mit ihren jeweiligen Strukturen geht es nicht nur um pauschale Forschungsberichte, sondern um differenzierende Bewertungen, die einer gezielten Beachtung stärkerer bzw. schwächerer Arbeitseinheiten bedürfen. Darum gilt es, eventuell schwächere Arbeitseinheiten zu stärken.^[20]

Diplomatische Verfahren bedeuten ebenfalls, dass alle unterschiedlichen Beteiligten einer Evaluation gehört werden und gleichberechtigt in die Bewertung mit einbezogen werden.^[21]

Richtlinien für diplomatisches Verfahren

Folgende Richtlinien sollten befolgt werden:^[22]

• Garantie einer fairen Evaluation durch Anhörung aller beteiligten Interessengruppen
• Vertragliche Festlegung der Evaluationsbedingungen und Rechte der Teilnehmer
• Ständige Unterrichtung des aktuellen Standes, um die Erwartungshaltung der Auftraggeber nicht zu enttäuschen
• Ermittlung der Standpunkte aller Beteiligten sowie deren Bewertung für den Evaluationsbericht
• Bei nicht abzuwendenden politischen Streitpunkten sollte im Sinne aller Beteiligten ein Abbruch vorgenommen werden; jedoch das Recht der Öffentlichkeit auf Informationen nicht untergraben werden.

Effizienz von Evaluationen

Für die Effizienz von Evaluationen ist es wichtig, dass der Aufwand in einem vernünftigen Verhältnis zum Nutzen steht. Es gestaltet sich zwar meist schwierig, am Anfang und Ende einer Evaluation genaue Aussagen über den Kosten und den Nutzen zu machen, dies darf jedoch nicht dazu führen, dass solche Überlegungen erst gar nicht aufkommen. Besonders als Entscheidungshilfe für die Durchführung der Evaluation sind die Abschätzungen von Kosten und Nutzen von großer Wichtigkeit. Die Evaluationsplanung sollte stets nachvollziehbare mögliche Aufwände von Kosten und Nutzen beinhalten.^[23]

Der Betrag aller benötigten Ressourcen umfasst die gesamten Kosten einer Evaluation. Beispiele hierfür können z.B. sein: Honorare, Zeiteinsatz, Kosten für Material und mögliche Reisen, sowie alle ausstehenden sonstigen Kosten. Die Quantifizierung des Nutzens hingegen kann oftmals nur geschätzt werden. Aus direkten wie indirekten, aus absichtlichen wie nichtgeplanten Evaluationswirkungen können Nutzen entstehen.^[24]

Richtlinien für die Effizienz von Evaluationen

Folgende Richtlinien gelten für die Effizienz von Evaluationen:^[25]

• Gründliche Überprüfung der vorab aufstellbaren Kosten
• Aufstellung eines Haushaltsplans samt aller Kosten
• Vermeidung von evaluationstechnisch verursachten Störungen
• Auflistung der nützlichen Effekte der Evaluation
• Erwartete Kosten sollten gegenüber dem angestrebten Nutzen für den Arbeitgeber abgewogen werden, bevor eine Durchführungsentscheidung über eine Evaluation getroffen wird
• Eine Durchführung der Evaluation sollte stets mit möglichst geringen Kosten verbunden sein
• Die Evaluationsmittel sollen in einem akzeptablen Verhältnis zum Mitteleinsatz des Programms stehen

Fairnessstandards

Innerhalb einer Evaluation sollen die Standards der Fairness gewährleisten, dass der Umgang zwischen den beteiligten Personen fair und respektvoll abläuft.^[26]

Die Durchführung von Evaluationen sollte stets so geplant werden, dass für alle beteiligten Personen der Schutz der Sicherheit, Würde und Rechte gewährleistet ist.^[27]

Die Stärken und Schwächen des Evaluationsgegenstandes sollen möglichst gesamt und fair vom Evaluationsteam kontrolliert und dargestellt werden. Somit können dann die Stärken vermehrt und die Schwachstellen vermindert werden.^[28]

Der gesamte Evaluationsprozess soll durch das Evaluationsteam unparteiisch vollzogen werden. Persönliche Gefühle und Ansichten dürfen daher keinen Einfluss auf den Prozess haben.^[29]

Jeder Beteiligte bzw. Betroffene soll weitestgehend die Möglichkeit besitzen, die Ergebnisse der Evaluation einzusehen.^[30]

Genauigkeitsstandards

Die Aufgabe von Genauigkeitsstandards ist sicherzustellen, dass Evaluationen fachlich angebrachte Informationen über die Güte und die Möglichkeit der Verwendung des evaluierten Programms hervorbringen und übermitteln.^[31]

Der Gegenstand der Evaluation sollte stets genau beschrieben und abgefasst werden, damit er exakt identifiziert werden kann und zugänglich wird.Der Programmkontext sollte stets detailliert kontrolliert werden, damit aufkommende Programmbeeinflussungen schnellstmöglich identifiziert werden können.^[32]

Es sollte stets eine genaue Dokumentation und Beschreibung der Ziele und des Vorgehens erfolgen, so dass diese erfasst und gedeutet werden können.Die Quellen der Informationen sollten stets genauestens dokumentiert werden, damit der Verlässlichkeits- und Angemessenheitsgrad eingeschätzt werden kann.

Die Handhabungen zur Datengewinnung sollten stets so entwickelt und angewandt werden, dass die Gültigkeit dieser Daten für die Beantwortung von Fragestellungen innerhalb der Evaluation nach fachlichen Maßstäben gewährleistet ist. Diese Maßstäbe sollen sich an den Gütekriterien qualitativer und quantitativer Sozialforschung richten.

Die aufkommenden Informationen innerhalb einer Evaluation sollten stets eine systematische Fehlerprüfung durchlaufen.

Nach den fachlichen Maßstäben sollen die quantitativen und qualitativen Informationen gezielt analysiert werden, damit bestimmte Fragestellungen innerhalb der Evaluation einer sinnvollen Beantwortung zuteilwerden.

Schlussfolgerungen einer Evaluation sollten stets begründet werden, damit jeder Teilnehmer sie einschätzen kann.^[33]

Die Evaluation selbst sollte einer Evaluation unterzogen werden, so dass die Durchführung entsprechend angeleitet werden kann. Ein weiterer Vorteil dieses Vorgangs ist, dass beim Evaluationsabschluss die Stärken und Schwächen der Beteiligten und Betroffenen exakt überprüft werden können.

Literatur

• Deutsche Gesellschaft für Evaluation e.V. (Hrsg.): Standards für Evaluationen. Redaktion: Dr. Wolfgang Beywl, Zimmermann-Medien, Köln 2002, ISBN 3-00-009022-3.
• Hans Merkens (Hrsg.): Evaluation in der Erziehungswissenschaft. Schriftenreihe der DGFE, VS Verlag für Sozialwissenschaften/GWV Fachverlage GmbH, Wiesbaden 2004, ISBN 3-531-14470-7.
• James R. Sanders (Hrsg.): Handbuch der Evaluationsstandards. Die Standards des „Joint Committee on Standards for Educational Evaluation“. 2. Auflage, Leske + Budrich Verlag, Opladen 2000, ISBN 3-8100-2766-9.

Einzelnachweise

1. ↑ Vgl. Hans Merkens, S. 17
2. ↑ Vgl. James R. Sanders, S. 7–8
3. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 8
4. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 8
5. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 8
6. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 8
7. ↑ Vgl. James R. Sanders, S. 47
8. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 8
9. ↑ Vgl. James R. Sanders, S. 47
10. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 9
11. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 9
12. ↑ Vgl. Hans Merkens, S. 29
13. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 9
14. ↑ Vgl. James R. Sanders, S. 87
15. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 9
16. ↑ Vgl. James R. Sanders, S. 89
17. ↑ Vgl. James R. Sanders, S. 90
18. ↑ Vgl. James R. Sanders, S. 89–90
19. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 26–27
20. ↑ Vgl. Hans Merkens, S. 93
21. ↑ Vgl. Hans Merkens, S. 93
22. ↑ Vgl. James R. Sanders, S. 95–96
23. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 27
24. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 27
25. ↑ Vgl. James R. Sanders, S. 102
26. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 9
27. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 28
28. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 29
29. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 29
30. ↑ Vgl. Deutsche Gesellschaft für Evaluation e.V., S. 29
31. ↑ Vgl. James R. Sanders, S. 155
32. ↑ Vgl. James R. Sanders, S. 155
33. ↑ Vgl. James R. Sanders, S. 156

Siehe auch

• Evaluation Assurance Level
• Evaluation Freiheitsentziehender Maßnahmen in der Jugendhilfe
• Evaluation in der Kriminalprävention
• Evaluation von Schulsozialarbeit
• Evaluationstheorie