Evaluieren

Evaluation (Evaluierung) (auch: Validierung und Verifizierung, Funktionsprüfung, Qualitätskontrolle oder Praxistest) bedeutet allgemein die zweckgerichtete Untersuchung, ob ein sinnlich wahrnehmbares oder bloß gedachtes Ding (Objekt) durch sein Sein oder sein Verhalten die Voraussetzungen im Hinblick auf etwas Gemeintes (Intension beziehungsweise Intention) und/oder etwas Gesagtes beziehungsweise Gesetztes (Spezifikation) erfüllt. Damit entspricht sie einer funktionalen Prüfung oder (Objekt-)Funktions-Analyse. Sie trennt sich in Gültigkeits- oder Wirkungs-Prüfung (Prüfung gegen die Intention; Validierung; Vertikales Messen; Inhaltliche Prüfung; Argumentation) und Wahrheits-Prüfung (Prüfung gegen die Spezifikation; Verifizierung; Horizontales Messen, Formale Prüfung; Abgleich). Eine Wahrheits-Prüfung gegen die Intention ist nur im Rahmen einer Widerlegung (Falsifikation) möglich (vgl. Karl Popper). Eine Funktions-Prüfung gegen sich selbst sowie gegen die Funktions-Prüfung ist möglich und im allgemeinen notwendig und sinnvoll. Erster Evaluationsgegenstand sollten daher immer die Evaluation selber sein. Methoden der Evaluation sollten grundsätzlich fachübergreifend widerspruchsfrei oder ergänzend und allgemein möglichst exakt und in Übereinstimmung mit grundlegenden wissenschaftlichen Erkenntnisgrundsätzen sein (Modellbildung, Hypothesenbildung, Untersuchungsaufbau und -ablauf, Testverfahren). Im Gegensatz zum idealerweise zweckfreien Erkenntnisinteresse der Wissenschaft steht bei Untersuchungen im Rahmen von Evaluationen der zielgerichtete Handlungszweck im Vordergrund.

Begriffsklärung

Im üblichen Sprachgebrauch meint Evaluation die Beschreibung, Analyse und Bewertung von Objekten, Funktionen und Systemen sowie Projekten, Prozessen und Organisationseinheiten. Ziel von Evaluationsverfahren ist die Informationsgewinnung über Nutzen (Validierung) beziehungsweise Entsprechung zu Erwartung oder Vereinbarung jeweiliger Funktionen (Verifizierung) sowie Effektivität und Effizienz des auf sie entfallenden Einsatzes. Evaluationen dienen damit der Wirkungsüberprüfung und stellen ein wichtiges Instrument zu der Optimierung von Normen, Regeln und Prozessen dar. Evaluationsverfahren können sich sowohl auf den Kontext, die Struktur, den Prozess als auch auf das Ergebnis beziehen.

Evaluation ist im Allgemeinen Führungsaufgabe im Zuge der Validierung und Controlling-Aufgabe im Rahmen der Verifizierung. In beiden Fällen kann die Hinzuziehung zusätzlicher Beurteiler oder Schätzer mit anderen Blickwinkeln sinnvoll sein (360°-Ansatz). In der Praxis hat die Wirkungs-Prüfung i.d.R. die Form einer hierarchischen Nutzen-Messung (Nutzwert-Analyse, Analytic Hierarchy Process, Analytic Network Process, Pyramid Principle), die Wahrheits-Prüfung die Form eines Soll-Ist-Vergleichs beziehungsweise einer Abweichungsanalyse. Effektivität und Effizienz des Einsatzes werden unter anderem mit der Wertanalyse, der Funktions(-kosten)-Analyse beziehungsweise einem Quervergleich (Benchmarking) ermittelt. Der Gesamtverhältnis zwischen Nutzen und Einsatz wird durch Input-Output-/Outcome-Rechnungen wie die Kosten-Nutzen-Analyse, Deckungsbeitragsrechnung (Nutzen = Umsatz/Erlöse) etc. dargestellt. Für Modellierung und Analyse lassen sich die Objektorientierung / -basierung und Modelle zur System-Modellierung (Sysmod, UML, Petri-Netz, EPK, etc.) nutzbringend anwenden.

Management- oder Qualitäts-Management-Systeme lassen bei Mängeln im Bereich der Wirksamkeit oder Effizienz oder bei Abweichungen zwischen Soll und Ist in der Regel Innovations-, Anpassungs- oder Kostensenkungs-Initiativen und die Festlegung und Umsetzung von Maßnahmen mit nachfolgender Umsetzungs-, Wirkungs- und Institutionalisierungs-Kontrolle folgen (Maßnahmen-Controlling/-Management) bzw. helfen, diese an der Schnittstelle zwischen Nachfrager und Anbieter bereits vorausschauend zu entwickeln (Quality Function Deployment). Gelingt es, den Zusammenhang der Funktionen im Zeitablauf im Hinblick auf das Gemeinte (Sinn und Zweck) ebenso proaktiv und dynamisch zu verändern (Validierung), wie die Güte-Anforderungen an der jeweiligen Schnittstelle statisch wiederholt (über-)zu erfüllen (Verifizierung), entsteht das, was der Begriff Qualität (Flow, Coolness, Outperformance, etc.) umschreibt (vgl. Robert M. Pirsig), wobei Sinn und Zweck jeweils auch Sinn- und Zweck-Freiheit sein kann. Qualität ist in diesem Zusammenhang der Zustand, in dem ein Gegenstand dem Leben „…mehr Raum und Möglichkeiten“ bzw. allgemein mehr individuelle Freiheit verschafft („Metaphysik der Qualität“), Evaluation die entsprechende Prüfung und Moral das daraus abgeleitete Prinzip.

Validierung wird landläufig auch als die Frage „Machen wir das Richtige?“ verstanden, während Verifizierung den Punkt „Machen wir es richtig?“ meint. Der umfassende Zusammenhang von Ideen beziehungsweise Aussagen über Gültigkeit, Wirksamkeit und Wahrheit im Hinblick auf Sinn und Zweck beziehungsweise Qualität wird auch durch die Begriffe „Konzept“ oder „Story“ gekennzeichnet (beispielsweise Equity Story, Customer Story). Hinsichtlich des Verhältnisses zwischen Intention und Einsatz wird unter den allgemeinen Umweltbedingungen der Knappheit und der Energieentwertung (Entropie) grundsätzlich ein Optimum angestrebt, welches abhängig von den Präferenzen des Funktions-Empfängers unterschiedliche Ausprägungen annehmen kann. Als Extrema dieser Optimierungs-Maxime bestehen das Maximal-Prinzip (Maximaler Nutzen bei gegebenem Einsatz oder Qualitätsführerschaft) beziehungsweise das Minimal-Prinzip (Minimaler Einsatz bei gegebenem Nutzen oder Kostenführerschaft).

Evaluationsverfahren gelangen in vielen Bereichen zur Anwendung, zum Beispiel im Bildungsbereich, in der Sozialen Arbeit, in der Gesundheitsförderung, der Entwicklungshilfe, der Verwaltung, der Marktforschung oder der Wirtschaft. Allgemein lässt sich jedoch feststellen, dass es bisher nicht in notwendigem und befriedigendem Umfang gelungen ist, Evaluation als Methode der praxisbezogenen und handlungsorientierten Analyse gegenüber anderen Bereichen wie Wissenschaft, Systemanalyse, Controlling, Management, QM, Beratung, Informationssuche, Dokumentation etc. einerseits und als ebensolche Querschnitts-Disziplin fach-, branchen- und bereichsübergreifend andererseits systematisch funktional und methodisch genau hinreichend zu definieren und integrieren bzw. abzugrenzen.

Wortherkunft

Das Wort Evaluation (Bewertung) wurde zuerst im 19. Jahrhundert im Französischen verwendet, mit Beginn des 20. Jahrhunderts auch im Englischen. In den USA ist es im modernen Verständnis seit den 30er-Jahren gebräuchlich (seit der Eight-Years-Study von R. W. Tyler). Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 60er-Jahre aus dieser amerikanischen Tradition übernommen (vgl. Wulf 1972). Die Wortbedeutung „Bewertung“ wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 30er-Jahren). Inzwischen wird, wie in den USA seit langer Zeit, auch in anderen sozialen Handlungsbereichen in Deutschland „evaluiert“.

Zentrale Methoden und Begriffe der Evaluation

Das Handlungsfeld der Evaluationsforschung ist groß und somit auch die Bandbreite der Methoden, die zur Durchführung gewählt werden können. Zentrale Techniken/Methoden zur Datengewinnung und/oder Datenverarbeitung sind:

• Assessment
• Beobachtungsmethoden
• Experiment
• Fallstudie
• Faktoranalyse
• Fragebogen
• Interview
• Klinische Studie
• Qualitative Methoden
• Quantitative Methoden
• Statistische Methoden

Nach Bortz/Döring unterscheidet man drei methodische Gruppen:

„Explorative Methoden dienen der Erkundung von Interventionsprozessen und deren Wirkungen. Sie zielen auf die Formulierung bzw. Konkretisierung von Wirkhypothesen ab und tragen dazu bei die relevanten Variablen zu identifizieren und zu operationalisieren.

Populationsbeschreibende Methoden ermöglichen eine Abschätzung der Verbreitung und der Hintergründe eines Sachverhaltes und erleichtern die Definition der Zielpopulation.

Hypothesenprüfende Methoden testen den Einfluss der untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien.“

„Gütekriterien der Evaluation sind nicht mehr primär Validität, Reliabilität und Objektivität, sondern Kommunikation, Intervention, Transparenz und Relevanz.“ Dieser Aspekt ist nicht als Widerspruch zu den bereits zuvor erläuterten Qualitätsstandards zu sehen, sondern bei der Methodenauswahl und bereits bei den Evaluationsvorüberlegungen einfließen sollten.

Funktionen der Evaluation

Evaluationen besitzen grundsätzlich funktionelle Elemente. Diese können in Abhängigkeit von der Interessenslage von unterschiedlicher Bedeutung sein. Allgemein können vier verschiedene Funktionen benannt werden, die als teilweise zusammenhängende Aufgabenbereiche der Evaluation betrachtet werden können.

Erkenntnisfunktion

Die Erkenntnisfunktion beschreibt die Zusammenstellung entscheidungsrelevanter Daten innerhalb einer Evaluation. Hierbei wird zum Beispiel – um nur vier wichtige Punkte zu nennen – aufgezeigt, welche Bedürfnisse die Zielgruppe der Evaluation hat und inwieweit das Programm von dieser Personengruppe akzeptiert wird. Weiterhin wird kontrolliert, ob die Auftraggeber fähig sind das Evaluationsprogramm wirtschaftlich und zielgerichtet in die Tat umzusetzen. Ferner sollen die äußeren Bedingungen der Evaluation auf eventuelle Veränderungen überprüft werden. Die so gewonnenen Informationen werden im Zuge wichtiger Entscheidungen, welche die Steuerung des weiteren Evaluationsverlaufs betreffen, genutzt.

Kontrollfunktion

Diese Funktion beschreibt die Tatsache, dass eine Evaluation immer direkt oder indirekt mit einer Art von Kontrolle zusammenhängt. Die beschriebene Sachlage erkennt man daran, dass bei der Betrachtung eines Programmes und seiner Effekte immer auch Informationen über die Ausführung bestimmter Aufgaben von Probanden gewonnen werden.

Dialogfunktion

Evaluationsergebnisse bieten verschiedenen Stakeholdern (Durchführungsorganisatoren, Zielgruppen, Mittelgebern und sonstigen Beteiligten und Betroffenen) eine solide Basis für eine wechselseitige Kommunikation. Die Dialogfunktion dient der Findung einer gemeinsamen Bewertung der Kooperation während der Evaluation und soll sowohl positive als auch negative Faktoren aufdecken. Hieraus sollen Konsequenzen für die weitere Zusammenarbeit gezogen werden.

Legitimitätsfunktion

Diese Funktion gewährleistet, dass die gewonnenen Daten der Evaluation fundiert nachgewiesen werden können. Mit Hilfe der Legitimitätsfunktion wird überprüft, welcher Output bzw. welche Wirkungen mit dem betreffenden Input erzielt wurden. Bei der Verwendung von Ex-post-Evaluationen lässt sich die nachhaltige Wirkung des Programmes überprüfen. Dadurch können die Stakeholder die Effizienz ihrer Finanzmethoden aufzeigen. Eine Evaluation etwa unter dem Aspekt der Legitimation betrieblicher Weiterbildung hätte die Aufgabe, die positiven und negativen Ergebnisse während und nach einer Weiterbildungsmaßnahme zunächst sichtbar zu machen. Später kann eine intensivere und detailliertere Erfassung und Bewertung der Ursachen Gegenstand der Evaluation sein. Oftmals werden Evaluationen auch taktisch beispielsweise von Politikern benutzt, um bereits getroffene Entscheidungen zu legitimieren („taktische Funktion“). Diese Methode stimmt allerdings nicht mit dem eigentlichen Ziel einer Evaluation überein. Aufgrund dessen nimmt die taktische Funktion keinen eigenen Platz innerhalb der Evaluationen betreffenden Funktionen ein.

Weitere Modelle

Verschiedene Autoren haben sich mittlerweile mit der Frage einer ablauforganisatorischen Gestaltung von Evaluationen auseinandergesetzt, deren Ergebnisse unter anderem auch aus siebenschrittigen Evaluationsansätzen bestanden. Siebenschrittige Modelle von Evaluationsfunktionen bestehen aus der Informationsfunktion, der Legitimationsfunktion (Bewertung der Durchführung einer Maßnahme dem Grunde nach), der Steuerungs- und Optimierungsfunktion (Bewertung der Maßnahmen nach Art und Ausmaß), der Intensivierungsfunktion, der Entscheidungsfunktion, der Kontrollfunktion, sowie der Innovationsfunktion.

Wichtige Anwendungsbereiche von Evaluation

Evaluation und Qualitätsmanagement

Evaluation hat im Qualitätsmanagement (TQM, ISO 9000, 2Q, Q2E) schon lange einen festen Platz. Im EFQM-Modell wird Evaluation z. B. gefordert, um die Ergebnisse (der Arbeit) bei Kunden, MitarbeiterInnen und der Gesellschaft zu erfassen. Evaluation fungiert hier als Rückkopplungselement für die Prozesssteuerung im Rahmen der Organisations- und Qualitätsentwicklung. Es wird dabei überprüft, ob die Interventionen auch tatsächlich die gewünschten Ergebnisse bzw. Wirkungen produzieren (Ursache-Wirkungs-Beziehung). Erfasst werden sowohl subjektive Daten über die Wahrnehmung der Betroffenen (MitarbeiterInnen, KundInnen,...) als auch objektive Leistungsindikatoren, die intern im Unternehmen erfasst werden können.

Neben der Evaluation der Ergebnisse fordert das EFQM-Modell auch die direkte Evaluation der Abläufe im Interventionen und Maßnahmen in den Bereichen Führung, Strategie, Mitarbeiter, Prozesse und Partnerschaften. Hier kommt die Methode der Selbstevaluation zur Anwendung, um die Prozesse zu bewerten und schließlich zu verbessern. D. h. die Akteuere des Unternehmens, Führungskräfte und MitarbeiterInnen evaluieren sich, ihre Teams und ihre Organisation selbst anhand vorgegebener Kriterien mit eigens für das Qualitätsmanagement (QM) entwickelten und möglichst objektiven, reliablen und validen Instrumenten und Methoden. Auf Basis der gewonnenen Daten (Einschätzungen, Belege,...) werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet.

Sowohl die Selbst- als auch Fremd-Evaluationen können durch Benchmarkingvergleiche ergänzt und damit aussagekräftiger gemacht werden. Als Benchmarks dienen Evaluationsdaten aus anderen vergleichbaren Organisationen. Sie liefern Anhaltspunkte/Maßstäbe für die Bewertung und die Interpretation der eigenen Werte und damit der eigenen Situation. Im Idealfall kann auch die konkrete Kontaktaufnahme mit den Besten der Branche ein gemeinsames Lernen ermöglichen.

Neben diesen rein internen Evaluationen werden zu Zertifizierungszwecken auch externe Evaluationen gefordert: externe unabhängige Auditoren evaluieren die Organisation anhand derselben Kriterien und geben ihre Bewertung ab.

Evaluation im Rahmen des Qualitätsmanagements nimmt eine zunehmend prominente Stellung ein. Qualitätsmanagement kann im Grunde genommen als umfangreiches Evaluationsdesign begriffen werden, das der Organisations- und Personalentwicklung dient. Die Professionalität und der Erfolg von Evaluation hängt dabei stets von den eingesetzten Instrumenten ab. Gesellschaften wie die DeGEval ist bestrebt, Standards zu entwickeln bzw. die Evaluierenden zu befähigen und zu supportieren. Die traditionellen Ansätze von EFQM oder ISO9000 beruhen meist auf sehr linearen Ursache-Wirkungsmodellen. Sie werden in Zukunft von moderneren Ansätzen verdrängt werden. Jüngste Beispiele sind die kybernetischen Ansätze von Fredmund Malik oder die Lernhelix von proEval.

Evaluation im Bildungsbereich

Als pädagogischer bzw. andragogischer Fachbegriff meint Evaluation gemäß der Definition von J. Reischmann "das Erfassen und Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion im Bildungsbereich."

Gegenstand von Evaluation können Prozesse (Untersuchungsfrage: Wie läuft etwas ab?) und Outcomes (Untersuchungsfrage z. B. Was kommt heraus? Wie ist das Ergebnis?) aus dem Bereich der Mikrodidaktik ebenso wie der Makrodidaktik sein. Auch gesamte Programme können evaluiert werden, meist in Form der Ex-Post-Evaluation.

Für eine Evaluation werden Daten methodisch organisiert erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen.

Standardverfahren zur Datenerfassung sind Befragung, Beobachtung, Test, Fragebogen, und Materialanalyse. Als Datenquellen stehen interne (sind Teile des evaluierten Systems) und externe (stehen außerhalb) zur Verfügung.

Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten und begründeten Soll-Werten (anzustreben sind dabei operationalisierte Zielformulierungen) anhand nachvollziehbar festgelegter Indikatoren. Dabei unterscheidet man Akzeptanzkriterien (Wie sind die Inhalte bei den Teilnehmern angekommen?), Lernkriterien (Kann der Inhalt von den Teilnehmern korrekt wiedergegeben werden?), Transferkriterien (Führt das Gelernte zu merkbaren Verhaltensänderungen der Teilnehmer?) und Ergebniskriterien (Kann man Veränderungen am Output der Teilnehmer feststellen?).

Evaluation soll bestimmte Gütekriterien erfüllen: neben den Grundvoraussetzungen didaktische Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung. Mit der Forschung verbindet Evaluation das Bemühen um intersubjektive Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist stark praxisorientiert.

Evaluation dient der rückblickenden Wirkungskontrolle (z. B.: Zeigt eine Bildungsmaßnahme den angestrebten Erfolg?), der vorausschauenden Steuerung (Wie muss die Fortsetzung eines Kurses gestaltet, was an der Teilnehmer-Auswahl verändert oder wie der Dozent werden?) und / oder der Reflexion und dem Verständnis von didaktischen Situationen, Prozessen und Problemen.

Programmevaluation ist die systematische Gewinnung von Informationen über Merkmale, Aktivitäten oder Ergebnisse eines Programms, um dessen Bewertung zu ermöglichen, sei es als Grundlage, um das Programm zu beurteilen, seine Wirksamkeit zu verbessern oder die künftige Programmentwicklung zu orientieren (vgl. Hojnik 1998, unveröffentlichtes Skriptum).

Merkmale

• Formative Evaluation ist prozessbegleitend. Bildungsmaßnahmen werden kontinuierlich während des gesamten Entwicklungsprozesses getestet.

• Summative Evaluation ist produktbewertend. Die Qualität einer Bildungsmaßnahme soll abschließend bewertet werden.

• Lernzielbasierte Evaluation, deren Hauptmerkmal ist die exakte Formulierung von verhaltensbasierten Lernzielen vor der Durchführung der Bildungsmaßnahme. Der Erfolg wird an der Erreichung dieser Lernziele gemessen.

Evaluationen im Umweltbereich

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluationsforschung. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten (zu den Ausnahmen in Deutschland gehören die Arbeiten des CEval an der Universität Saarbrücken, siehe http://www.ceval.de).

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewußtseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewußtsein und Umweltbewußtsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, dass Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie z. B. die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagementsystemen (z. B. EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluationsforschung in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes (CEval) und dem Centre for Sustainable Management (CSM) der Universität Lüneburg.

Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für sozial-ökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IOEW) zu erwähnen. Darüber hinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

Evaluation in der internationalen Entwicklungszusammenarbeit

Evaluationen in der Entwicklungszusammenarbeit (EZ) haben bereits eine lange Tradition. Der Schwerpunkt liegt dabei auf Evaluationen von Projekten und Programmen.

Die ausgeprägte Evaluationskultur innerhalb der EZ ist vor allem darin begründet, dass die im Rahmen von Projekten und Programmen eingesetzten Mittel stets gegenüber den Geldgebern gerechtfertigt werden mussten und müssen.

Evaluationsansätze in der EZ werden darüber hinaus stark durch internationale Abmachungen, insbesondere der Milleniumserklärung und der Pariser Erklärung geformt. Die sog. „Harmonisierung“ als durchgängiges Prinzip der EZ schlägt sich beispielsweise in der Forderung nach Gemeinschaftsevaluierungen der Akteure nieder. In Deutschland haben sich staatliche EZ-Organisationen der „EZ aus einem Guss“ verpflichtet und streben auch bei Evaluationen ein einheitliches Vorgehen an. Partnerländer übernehmen zunehmend die Rollen des Auftraggebers und des Durchführenden von Evaluation.

Was die Evaluationsgegenstände betrifft, so verlagert sich der Fokus immer mehr von der Output-Evaluation als Leistungsnachweis hin zu Evaluation der Wirkungen (Outcomes und Impacts) von EZ-Projekten und -Programmen. Man arbeitet mit Wirkungsketten und ausgefeilten Evaluationsdesigns, wie z. B. der Logical Framework Matrix („Logframe“).

Traditionelle Evaluationskonzepte- und methoden, die auf linearen Kausalitätsmodellen beruhen, werden jedoch zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder gar verdrängt. Eine ähnliche Entwicklung, wie sie derzeit auch im Bereich der Organisationsentwicklung und –evaluation stattfindet.

Neben den Evaluationsabteilungen großer meist staatlicher EZ-Organisationen, wie z. B. der GTZ sind im deutschsprachigen Raum vor allem auch Forschungsorganisationen, wie die Ceval oder die proEval in Österreich an der Professionalisierung der Evaluation in der EZ beteiligt. Neben der Suche nach innovativen (Selbst-)Evaluationsmethoden (z. B. Lernhelix) erscheint die (Weiter-)Entwicklung wissenschaftlich fundierter Konzepte als Grundlagen für Evaluation, wie z. B. das Dienstleistungsqualitäts- oder das Lebensqualitätskonzept erscheint dabei besonders wichtig. Im Vergleich zu anderen Branchen, wie z. B. dem Bildungs- oder dem Gesundheits- und Sozialwesen, findet in der EZ vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) Eingang in die Evaluation.

Organisationen

Die 1997 gegründete Deutsche Gesellschaft für Evaluation (DeGEval) - 2005 in DeGEval-Gesellschaft für Evaluation umbenannt - hat zahlreiche Arbeitskreise, u.a. für Evaluation an Schulen, an Hochschulen, in der beruflichen und betrieblichen Bildung, im Umweltbereich, von Entwicklungspolitik, von Forschungs-, Technologie- und Innovationspolitik, von Strukturpolitik, im Gesundheitswesen und in der Wirtschaft. 2002 hat sie Standards der Evaluation herausgegeben, 2003 Empfehlungen für die Aus- und Weiterbildung von Evaluatoren, 2004 Empfehlungen zur Selbstevaluation sowie weitere Handreichungen zur Planung und Durchführung von Evaluationen. Ihre Mitglieder stammen überwiegend aus Deutschland und Österreich.

Literatur zum Thema Evaluation

Evaluation in der Pädagogik

• Bauer., K.-O. (2007): Evaluation an Schulen. Theoretischer Rahmen und Beispiele guter Evaluationspraxis. Weinheim und München
• Brügelmann, H. (1976): Curriculumevaluation - eine Dienstleistung für die Unterrichtspraxis.
• Brügelmann, H. (1983): Unterstützung der pädagogischen Praxis durch naturalistische Evaluation.
• Holtappels, H.G. (2003): Schulqualität durch Schulentwicklung und Evaluation. Konzepte, Forschungsbefunde, Instrumente. München
• Landwehr N. (2003): Steiner P.:Q2E - Qualität durch Evaluation und Entwicklung. Bern
• Lück, Kerstin (2006): Evaluationsmethoden der Bildungsforschung. Ludwigsfelde: LISUM
• Merkens, Hans (Hg.)(2004): Evaluation in der Erziehungswissenschaft. [DGfE] Wiesbaden.
• Pfleging, Bettina (2006): Multimediales Lernen. Hagen
• Ruep, M./ Keller, G. (2007): Schulevaluation. Frankfurt am Main
• Wulf, Ch. (Hg.)(1972): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen, München.

Evaluation und Qualitätsmanagement

• Blank, Stefan (2004): Evaluation im Kontext des organisationalen Lernens. Der Beitrag reflexiver Bewertungsoperationen zur Entwicklung lernender Systeme. Zum Buch
• Bülow-Schramm, Margret (2003): Evaluation auf dem Weg zum Qualitätsmangement. in: Hochschulrektorenkonferen (Hg.): Evaluation und ihre Konsequenzen. Beiträge zur Hochschulpolititk 2/2003. Bonn: HRK, 13-14.
• Stockmann, Reinhard (2006): Evaluation und Qualitätsentwicklung - Eine Grundlage für wirkungsorientiertes Qualitätsmanagement; Aus der Reihe sozialwissenschaftliche Evaluationsforschung, Band 5; © Waxmann Verlag GmbH, Münster 2006. mehr Infos zum Buch
• Wiepcke, Claudia: Qualitätsmanagement im E-Lerning durch 360-Grad Evaluation. In: Hohenstein, A./ Wilbers, K.: Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis, Neuwied 2007.

Evaluationsforschung

• Bortz, Jürgen & Döring, Nicola (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4., überarbeitete Auflage). Berlin: Springer.
• DFG, Deutsche Forschungsgemeinschaft (2002): Reform des Begutachtungssystems
• Heinrich, Lutz J.; Häntschel, Irene (2000) (Hg.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. München / Wien: Oldenbourg Wissenschaftsverlag.
• Stockmann, Reinhard (Hrsg., 2006): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder (3.). Wiesbaden/Opladen: VS-Verlag.
• Weiss, Carol H. (1974): Evaluierungsforschung. Opladen: Westdeutscher Verlag.

Evaluationsmethodik

• Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? - Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik. mehr Infos zum Buch
• Beywl, W. (1988): Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation. Frankfurt a.M. u.a. mehr Infos zum Buch sowie redigitalisierte PDF
• Cook, Thomas D. / Reichardt, Charles S. (Eds.) (1979): Qualitative and quantitative methods in evaluation research. Beverly Hills, CA: Sage.
• Kuckartz, Udo; Dresing, Thorsten; Rädiker, Stefan; Stefer, Claus (2007): Qualitative Evaluation. Der Einstieg in die Praxis. Wiesbaden. mehr Infos
• Stockmann, Reinhard (Hg.) (2007): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster u.a.: Waxmann.mehr Infos zum Buch

Standards für Evaluation

• Deutsche Gesellschaft für Evaluation (2002): Standards für Evaluation. Köln. mehr Infos
• Sanders, James R. (2006): Handbuch der Evaluationsstandards - Die Standards des "Joint Committee on Standards for Educational Evaluation" (3. Auflage). Übersetzt von Beywl, W. & Widmer, T. Wiesbaden.

Andere Bereiche

• Bank, V. & Lames, M.: Über Evaluation. Kiel 2000
• Bergmann, M. et al. (2005): Qualitätskriterien transdisziplinärer Forschung. Ein Leitfaden für die formative Evaluation von Forschungsprojekten. ISOE-Studientexte, Nr. 13.
• Bussmann, Werner / Klöti, Ulrich, Knoepfel, Peter (Hg.) (1997): Einführung in die Politikevaluation. Basel: Helbing & Lichtenhahn. Redigitalisierte Fassung 2004 als PDF[1]
• Gollwitzer, Mario & Jäger, Reinhold S. (2007). Evaluation - Workbook. Weinheim: Beltz
• Haas, Oliver (2002): Wirkungsbeobachtung von Trainingsmaßnahmen für Klein(st)unternehmer. Berlin, Verlag für Wissenschaft und Forschung.
• Heiner, Maja (1988): Von der forschungsorientierten zur praxisorientierten Selbstevaluation. Entwurf eines Konzeptes. In: dies. (1988) (Hg.): Selbstevaluation in der Sozialen Arbeit. Fallbeispiele zur Dokumentation und Reflexion beruflichen Handelns. Freiburg i.B.
• Kromrey, Helmut (2002): Empirische Sozialforschung. Opladen: Leske + Budrich.
• Münch & Müller: Evaluation in der betrieblichen Weiterbildung als Aufgabe und Problem. In: Dürr, W. et al , Personalentwicklung und Weiterbildung in der Unternehmenskultur, Baltmansweiler 1988
• Univation (Hg.) (2004): Das A-B-C der wirkungsorientierten Evaluation. Glossar - Deutsch / Englisch - der wirkungsorientierten Evaluation. Köln. www.univation.org
• Weiss, C.J. (1998): Evaluation (2nd Ed.): Upper Saddle River, NJ: Prentice Hall.
• Wholey, J.S. / Hatry, H.P/Newcomer, K.E. (Eds.) (1994): Handbook of Practical Program Evaluation. San Francisco, CA: Jossey-Bass.
• Widmer, Thomas (1996): Meta-Evaluation. Kriterien zur Bewertung von Evaluationen. Bern u.a.: Haupt.
• Wiepcke, Claudia 2006: Computergestützte Lernkonzepte und deren Evaluation in der Weiterbildung, Hamburg,
• Wottawa, H./Thierau, H. (2003): Lehrbuch Evaluation. (3. Aufl.). Bern: Hans Huber.

Fußnoten

Weblinks

• Umfangreiches Glossar zum Thema Evaluation
• Umfangreiches mehrsprachiges Portal zum Thema Evaluation
• Evaluation und Qualitätssicherung im Bildungswesen - enthält ein umfangreiches Online-Wörterbuch zum Themenbereich Evaluation
• Kriterien der Evaluation (engl.)
• Qualität in der Unterrichtspraxis - Vortrag von Helmut Heid, Prof.em.Dr., Universität-Regensburg - pdf
• Selbstevaluation - was ist das? - Demokratie-Bausteine
• Die Lebenslüge im Erziehungssystem Systemtheoretische Analyse der Evaluation im Schulsystem
• Evaluation als modernes Ritual - pdf