Evaluation

Evaluation oder Evaluierung (von lat. valere: gesund, stark, geeignet sein; vermögen; gelten) bedeutet allgemein die Beschreibung, Analyse und Bewertung von Projekten, Prozessen und Organisationseinheiten. Dabei können Kontext, Struktur, Prozess und Ergebnis einbezogen werden. Es werden unterschiedliche Methoden und Theorien der Evaluation diskutiert und angewendet. Anwendungsbereiche sind etwa Bildung, Soziale Arbeit, Verwaltung, Wirtschaft oder Politikberatung.

Wortherkunft

Das Wort Evaluation (Bewertung) wurde zuerst im 19. Jahrhundert im Französischen verwendet, mit Beginn des 20. Jahrhunderts auch im Englischen. In den USA ist es im modernen Verständnis seit den 1930er-Jahren gebräuchlich (seit der Eight-Years-Study 1933-1941 von Ralph W. Tyler u. a.).^[1] Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 60er-Jahre aus dieser amerikanischen Tradition übernommen; wichtig dafür wurde eine von Christoph Wulf herausgegebene Sammlung von Übersetzungen englischsprachiger Publikationen v.a. im Kontext der Curriculumsforschung.^[2] Die Wortbedeutung „Bewertung“ wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 30er-Jahren). Inzwischen wird, wie in den USA seit langer Zeit, auch in anderen sozialen Handlungsbereichen in Deutschland „evaluiert“.

Abgrenzungen

Die Beurteilung von Personen oder Institutionen, die mit (oftmals negativen) Sanktionen verbunden ist, ist zu unterscheiden von der Beurteilung von Maßnahmen, die auf ihre Wirksamkeit hin untersucht werden und als Evaluation im eigentlichen Sinne bezeichnet werden können. Auf der Basis einer Zielvereinbarung wird eine Ausgangserhebung durchgeführt, es werden daraufhin Maßnahmen geplant, mit denen die Ziele erreicht werden sollen. Dann müssen Messinstrumente / Beurteilungskriterien entwickelt werden, mit denen man überprüfen kann, ob die Maßnahmen zum Erfolg geführt haben. Eventuell nach Zwischenerhebungen während der Durchführung wird in einer Schlusserhebung der Erfolg der Maßnahme überprüft, um daraus neue Zielvereinbarungen zu treffen und erneut in den Kreislauf einzutreten. Betroffene sollen zu Beteiligten werden, so dass der Prozess konsensual verläuft und nicht durch fremde Interessen und unklare Kriterien bestimmt wird.

Zentrale Methoden und Begriffe der Evaluation

Das Handlungsfeld der Evaluationsforschung ist groß und somit auch die Bandbreite der Methoden, die zur Durchführung gewählt werden können. Zentrale Techniken/Methoden zur Datengewinnung und/oder Datenverarbeitung sind:

• Assessment
• Beobachtungsmethoden
• Experiment
• Fallstudie
• Fragebogen
• Interview
• Klinische Studie
• Qualitative Methoden
• Quantitative Methoden
• Statistische Methoden

Bortz & Döring unterscheiden drei Typen von Methoden:

• Explorative Methoden. Sie „dienen der Erkundung von Interventionsprozessen und deren Wirkungen. Sie zielen auf die Formulierung bzw. Konkretisierung von Wirkhypothesen ab und tragen dazu bei, die relevanten Variablen zu identifizierten und zu operationalisieren.“
• Populationsbeschreibende Methoden. Sie „ermöglichen eine Abschätzung der Verbreitung und der Hintergründe eines Sachverhaltes und erleichtern die Definition der Zielpopulation.“
• Hypothesenprüfende Methoden. Sie „testen den Einfluss der untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien.“^[3]

Andreas Gruschka formuliert 1976 anlässlich eines Kollegstufenversuchs in Nordrhein-Westfalen, was seither in die Handbücher Eingang gefunden hat: „Gütekriterien der Evaluation sind nicht mehr primär Validität, Reliabilität und Objektivität, sondern Kommunikation, Intervention, Transparenz und Relevanz.“^[4]

Wichtige Anwendungsbereiche von Evaluation

Evaluation und Qualitätsmanagement

Evaluation hat im Qualitätsmanagement (TQM, ISO 9000, 2Q, Q2E) schon lange einen festen Platz. Im EFQM-Modell wird Evaluation z. B. gefordert, um die Ergebnisse (der Arbeit) bei Kunden, Mitarbeitern und der Gesellschaft zu erfassen. Evaluation fungiert hier als Rückkopplungselement für die Prozesssteuerung im Rahmen der Organisations- und Qualitätsentwicklung. Es wird dabei überprüft, ob die Interventionen auch tatsächlich die gewünschten Ergebnisse bzw. Wirkungen produzieren (Ursache-Wirkungs-Beziehung). Erfasst werden sowohl subjektive Daten über die Wahrnehmung der Betroffenen, also der Mitarbeiter und Kunden, als auch objektive Leistungsindikatoren, die intern im Unternehmen erfasst werden können.

Neben der Evaluation der Ergebnisse fordert das EFQM-Modell auch die direkte Evaluation der Abläufe, Interventionen und Maßnahmen in den Bereichen Führung, Strategie und Personal. Hier kommt die Methode der Selbstevaluation zur Anwendung, um die Prozesse zu bewerten und schließlich zu verbessern. Die Führungskräfte und Mitarbeiter des Unternehmens evaluieren sich, ihre Teams und ihre Organisation selbst anhand vorgegebener Kriterien. Sie nutzen dazu eigens für das Qualitätsmanagement (QM) entwickelte, möglichst objektive, verlässliche und valide Instrumente und Methoden. Auf Basis der gewonnenen Daten, Einschätzungen und Belege werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet.

Sowohl die Selbst- als auch Fremd-Evaluationen können durch Benchmarking ergänzt und damit aussagekräftiger gemacht werden. Als Benchmarks dienen Daten aus anderen vergleichbaren Organisationen. Sie liefern Maßstäbe für die Bewertung und die Interpretation der eigenen Werte und damit der eigenen Situation. Im Idealfall kann auch die konkrete Kontaktaufnahme mit den Besten der Branche ein gemeinsames Lernen ermöglichen.

Neben diesen rein internen Evaluationen werden zu Zertifizierungszwecken auch externe Evaluationen gefordert: externe unabhängige Auditoren evaluieren die Organisation anhand derselben Kriterien und geben ihre Bewertung ab. Die traditionellen Ansätze von EFQM oder ISO9000 beruhen meist auf sehr linearen Ursache-Wirkungsmodellen. Beispiele für andere Herangehensweisen sind zum Beispiel die kybernetischen Ansätze von Fredmund Malik.

Evaluation im Bildungsbereich

Als pädagogischer bzw. andragogischer Fachbegriff meint Evaluation „das methodische Erfassen und das begründete Bewerten von Prozessen und Ergebnissen zum besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion.“^[5] Gegenstand von Evaluation können Prozesse und Ergebnisse aus dem Bereich der Mikrodidaktik sowie der Makrodidaktik sein. Des Weiteren können gesamte Programme evaluiert werden.

Für eine Evaluation werden Daten methodisch organisiert erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen. Standardverfahren zur internen und externen Datenerfassung sind Befragung, Beobachtung, Test, Fragebogen, und Materialanalyse. Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten, operationalisierten und begründeten Soll-Werten anhand festgelegter Indikatoren. Soll-Werte können Akzeptanzkriterien, Lernkriterien, Transferkriterien oder Ergebniskriterien sein. Evaluation muss bestimmte Gütekriterien erfüllen: neben den Grundvoraussetzungen Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung. Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von didaktischen Situationen und Prozessen. Man unterscheidet prozessbegleitende Formative Evaluation, produktbewertende Summative Evaluation und Lernzielbasierte Evaluation. Mit der Forschung verbindet Evaluation das Bemühen um empirische Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist stark praxisorientiert.

Evaluationen im Umweltbereich

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluationsforschung. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten (zu den Ausnahmen in Deutschland gehören die Arbeiten des CEval an der Universität Saarbrücken).

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewusstseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewusstsein und Umweltbewusstsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, dass Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie z. B. die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagementsystemen (z. B. EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluationsforschung in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes (CEval) und dem Centre for Sustainable Management (CSM) der Universität Lüneburg.

Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für sozial-ökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IOEW) zu erwähnen. Darüber hinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

Evaluation in der internationalen Entwicklungszusammenarbeit

Evaluationen in der Entwicklungszusammenarbeit (EZ) haben bereits eine lange Tradition. Der Schwerpunkt liegt dabei auf Evaluationen von Projekten und Programmen.

Die ausgeprägte Evaluationskultur innerhalb der EZ ist vor allem darin begründet, dass die im Rahmen von Projekten und Programmen eingesetzten Mittel stets gegenüber den Geldgebern gerechtfertigt werden mussten und müssen.

Evaluationsansätze in der EZ werden darüber hinaus stark durch internationale Abmachungen, insbesondere der Milleniumserklärung und der Pariser Erklärung geformt. Die sog. „Harmonisierung“ als durchgängiges Prinzip der EZ schlägt sich beispielsweise in der Forderung nach Gemeinschaftsevaluierungen der Akteure nieder. In Deutschland haben sich staatliche EZ-Organisationen der „EZ aus einem Guss“ verpflichtet und streben auch bei Evaluationen ein einheitliches Vorgehen an. Partnerländer übernehmen zunehmend die Rollen des Auftraggebers und des Durchführenden von Evaluation.

Was die Evaluationsgegenstände betrifft, so verlagert sich der Fokus immer mehr von der Output-Evaluation als Leistungsnachweis hin zu Evaluation der Wirkungen (Outcomes und Impacts) von EZ-Projekten und -Programmen. Man arbeitet mit Wirkungsketten und ausgefeilten Evaluationsdesigns, wie z. B. der Logical Framework Matrix („Logframe“).

Traditionelle Evaluationskonzepte- und methoden, die auf linearen Kausalitätsmodellen beruhen, werden jedoch zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder gar verdrängt. Eine ähnliche Entwicklung, wie sie derzeit auch im Bereich der Organisationsentwicklung und –evaluation stattfindet.

Neben den Evaluationsabteilungen großer meist staatlicher EZ-Organisationen, wie z. B. der GTZ sind im deutschsprachigen Raum vor allem auch Forschungsorganisationen, wie die Ceval oder die proEval in Österreich an der Professionalisierung der Evaluation in der EZ beteiligt. Neben der Suche nach innovativen (Selbst-)Evaluationsmethoden (z. B. Lernhelix) erscheint die (Weiter-)Entwicklung wissenschaftlich fundierter Konzepte als Grundlagen für Evaluation, wie z. B. das Dienstleistungsqualitäts- oder das Lebensqualitätskonzept erscheint dabei besonders wichtig. Im Vergleich zu anderen Branchen, wie z. B. dem Bildungs- oder dem Gesundheits- und Sozialwesen, findet in der EZ vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) Eingang in die Evaluation.

Organisationen

Die 1997 gegründete Deutsche Gesellschaft für Evaluation (DeGEval) – 2005 in DeGEval-Gesellschaft für Evaluation umbenannt – hat zahlreiche Arbeitskreise, unter anderem für Evaluation an Schulen, an Hochschulen, in der beruflichen und betrieblichen Bildung, im Umweltbereich, von Entwicklungspolitik, von Forschungs-, Technologie- und Innovationspolitik, von Strukturpolitik, im Gesundheitswesen und in der Wirtschaft. 2002 hat sie Standards der Evaluation herausgegeben, 2003 Empfehlungen für die Aus- und Weiterbildung von Evaluatoren, 2004 Empfehlungen zur Selbstevaluation sowie weitere Handreichungen zur Planung und Durchführung von Evaluationen. Ihre Mitglieder stammen überwiegend aus Deutschland und Österreich.

Im internationalen Bereich haben Organisationen wie UN, EU, OECD, IWF, etc. eigene Evaluations-Abteilungen, welche jeweils neben der Bearbeitung konkreter Fragestellungen auch allgemeine Standards und Methoden sammeln, entwickeln und aufbereiten.

Literatur

• Beywl, Wolfgang: Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation, Peter Lang, Frankfurt a. M. 1984.
• Bortz, Jürgen & Döring, Nicola: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler, Springer, Berlin 4., überarbeitete Auflage 2006.
• Brown, Robert D.: Program Evaluation: Agendas for Discussion of Issues and for Future Research, in: John A. Glover / Royce R. Ronning (Hg.): Historical foundations of educational psychology, Plenum, New York 1987, S. 239-258.
• Freeman, H. / Rossi, P. H. / Sandefur, G. D. (Hgg.): Workbook for evaluation. A systematic approach, Sage, Thousand Oaks 1993.
• Kromrey, H.: Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24 (2001), 105-129.
• Lee, B.: Theories of Evaluation. In: Stockmann, Reinhard (Hg.): Evaluationsforschung, Leske und Budrich, Opladen 2000, S. 127-164.
• Nadeau, Marc-André: L'évaluation de programme, théorie et pratique, Presses Université Laval, Québec-Ottawa 2. A. 1988.
• Rossi, P. H. / Lipsey, M. W. / Freeman, H. E. (Hgg.): Evaluation. A systematic approach, Sage, Thousand Oaks 7. A. 2004.
• Ruep, M./ Keller, G.: Schulevaluation. Frankfurt am Main 2007.
• Sanders, James R.: Handbuch der Evaluationsstandards. Die Standards des „Joint Committee on Standards for Educational Evaluation“, Übersetzt von Beywl, W. & Widmer, T. Wiesbaden 3. Auflage 2006.
• Stockmann, Reinhard (Hg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Waxmann, Münster u. a. 2007.
• Stufflebeam, D. L. / Madaus G. F. / Kellaghan T. (Hgg.): Evaluation models. Viewpoints on educational and human services evaluation. Kluwer, Boston 2001.
• Tennyson, Robert D. / Anderson, Ronald O.: Evaluation and educational technology. A selected bibliography, Educational Technology, New Jersey 1990.
• Wottawa, H. / Thierau, H.: Lehrbuch Evaluation, Hans Huber, Bern 2. A. 1998.
• Wottawa, H.: Evaluation. In: Krapp, A. / Weidenmann, B. (Hgg.): Pädagogische Psychologie, Beltz, Weinheim 2001, S. 649-674.

Weblinks

 Commons: Evaluation – Sammlung von Bildern, Videos und Audiodateien

• Centrum für Evaluation (CEval) der Universität des Saarlandes
• Eval-Wiki: Glossar der Evaluation, hg. Univation, Institut für Evaluation
• Jan Hense: Wörterbuch Evaluation, LMU München 2010.
• Jan Hense: Evaluation und Qualitätssicherung im Bildungswesen, Auswahlbibliographien, LMU München 2006.
• Andreas Lohr: Die Lebenslüge im Erziehungssystem Systemtheoretische Analyse der Evaluation im Schulsystem
• Christine Schwarz: Evaluation als modernes Ritual, Vortrag, Heinrich Böll Stiftung, Berlin 2004.

Einzelnachweise

1. ↑ Vgl. Craig Kridel & Robert V. Bullough: Stories of the Eight-Year Study, State University of New York Press, New York 2007; Peter Hlebowitsh: Ralph W. Tyler (1902–1994). Contribution to Testing and Curriculum Development, Advisory Role, in: Education Encyclopedia, StateUniversity.com.
2. ↑ C. Wulf (Hg.): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen. Erziehung in Wissenschaft und Praxis 18, Piper, München 1972 (Inhaltsverzeichnis).
3. ↑ Bortz & Döring 2005, S. 118.
4. ↑ Andreas Gruschka (Hg.): Ein Schulversuch wird überprüft. Das Evaluationsdesign für Kollegstufe NW als Konzept handlungsorientierter Begleitforschung, Kronberg 1976, S. 142-151; vielfach zitiert oder reformuliert, z. B. bei Bortz & Döring 2006 oder Reinhard Stockmann: Evaluation in Deutschland, in: Ders. (Hg.): Evaluationsforschung: Grundlagen und ausgewählte Forschungsfelder, Waxmann, Münster 3. A. 2006, S. 15-46, hier S. 23.
5. ↑ Jost Reischmann: Weiterbildungs-Evaluation. Lernerfolge messbar machen, Grundlagen der Weiterbildung Arbeitshilfen, Luchterhand, Neuwied 2003, S. 18; Augsburg 2. A. 2006.