evaluiert (E-Book)

3 Evaluationsprozess und Auftrag

Nachdem Evaluation als wissenschaftliche Dienstleistung definiert und abgegrenzt worden ist, soll nun geklärt werden, wie eine Evaluation systematisch geplant und durchgeführt wird, und wie entsprechende Vereinbarungen zwischen den beteiligten Parteien festzuhalten sind.

Erarbeitung eines Evaluationsplans

Wie im einleitenden Kapitel herausgearbeitet, sind die Erarbeitung eines Evaluationsplans und seine Umsetzung herausfordernde Aufgaben. Jede Evaluation findet in einem zu identifizierenden organisatorischen, kulturellen und politischen Umfeld statt. In sie werden oft gegensätzliche Interessen und Wertpositionen aufgenommen, und daraus muss ein jeweils einzigartiges Vorgehen entwickelt werden.

Es wird vielfach gefordert, Evaluationen, wie in Verfahrensanweisungen des Qualitätsmanagements beschrieben, zu standardisieren, indem fixe Musterabläufe festgelegt werden. Hiervon erhofft man sich, Kosten für die Evaluationsplanung zu senken. Darüber hinaus soll es dadurch möglich werden, dass weniger umfangreich ausgebildete Evaluierende eine Evaluation nach engen Vorgaben sicher durchführen können. Auf dem Markt sind einige solcher Evaluationssysteme z.B. für Schulen, die Hochschulbildung oder die betriebliche Weiterbildung erhältlich. Allerdings widerspricht diese Idee einer «Evaluation von der Stange», so attraktiv sie aus Kostenüberlegungen auch sein mag, der Grundannahme, dass Evaluationen Einzelanfertigungen sein müssen – eventuell unter Nutzung einiger vorgefertigter Einzelteile –, um nützliche Ergebnisse für die jeweiligen Adressatengruppen in jeweils einzigartigen Praxissettings zu erzeugen (vgl. Stake, 2004).

Schrittfolgen zur Evaluationsdurchführung als Anhaltspunkt

Um zur Planung maßgeschneiderter Evaluationen systematisch anzuleiten, haben sich in der Praxis sechs- bis zwölfstufige Schrittfolgen bewährt. Das nachfolgend vorgeschlagene Schema greift Erfahrungen auf, wie sie z.B. in Beywl (2007) und Balzer (2005) beschrieben sind. Damit werden Anhaltspunkte für konkrete Planungsarbeiten gegeben. Das Schema darf allerdings nicht als rigides, immer exakt in dieser Abfolge anzuwendendes Strickmuster missverstanden werden. Vielmehr ist es in der konkreten Ausgestaltung den spezifischen Rahmenbedingungen des konkreten Evaluationsprojektes anzupassen. Dabei ist es möglich, einzelne Schritte parallel mit anderen zu planen und durchzuführen, oder während der Bearbeitung einen früheren Schritt nochmals aufzugreifen und an diesem Anpassungen vorzunehmen.

Keine Bevorzugung bestimmter Evaluationsmodelle und Methoden

Die in diesem Buch dargestellte Vorgehensweise favorisiert kein bestimmtes Evaluationsmodell, keine bestimmte Methodik (z.B. qualitativ oder quantitativ) und keine bestimmten Evaluationsgegenstände. Es wird davon ausgegangen, dass Evaluationen je nach spezifischem Gegenstand und Kontext auf unterschiedliche Kombinationen erkenntnistheoretischer und methodologischer Zugänge zurückgreifen müssen. Der Gegenstand und sein Kontext, der Zweck der Evaluation und die Evaluationsfragestellungen entscheiden darüber, wie die skizzierte Schrittfolge konkret angewendet wird, und welchen relativen Stellenwert der jeweilige Schritt hat. Die effektive Vorgehensweise darf nicht vorab aufgrund der Verpflichtung auf bestimmte – aus welchen Gründen auch immer – bevorzugte Evaluations- und Forschungsparadigmen festgelegt werden. Evaluationsplanung verlangt eine aktive, adaptive und dialogische Auseinandersetzung der Evaluierenden mit dem jeweiligen Evaluationsgegenstand in seinem sozialen, ökonomischen und organisatorischen Kontext.

BEISPIEL 1

Es soll ein standardisierter eintägiger Computerkurs zum Thema «Betriebssystem» evaluiert werden. Dieser wird zum einen für Nutzende verschiedener Programmversionen aus Steuerberatungsbüros aus der Innenstadt Frankfurts und zum anderen für Leiterinnen und Leiter von Mikrofinanzagenturen im Süden Sri Lankas angeboten. In beiden Fällen soll untersucht werden, in welchem Maße die Teilnehmenden das im Lernfeld erworbene Wissen im Transferfeld tatsächlich einsetzen, welche Transferhindernisse es gibt und wie diese durch ein optimiertes Transfermanagement im Kurs vermindert werden können.

Anmerkung: In diesem Beispiel liegt ausnahmsweise ein stark standardisierter/standardisierbarer Evaluationsgegenstand vor. In vielen Bildungssettings sind die Evaluationsgegenstände einmalig, erstmalig (Pilotvorhaben oder Modelle), oder es handelt sich um Anpassungen mit starken lokalen Besonderheiten – in all diesen Fällen sind maßgeschneiderte Evaluationen umso mehr erforderlich.

➞ Lösung auf Seite 231

Schrittfolgen sind kein Rezeptbuch

Mit dem nachfolgenden Schema wird ein großer Bogen über die Hauptschritte eines Evaluationsprozesses gespannt, die je nach Kontext und Situation unterschiedliche Bedeutungen und Prioritäten haben. Die Auseinandersetzung mit den einzelnen Schritten wird dabei helfen, begründete Entscheidungen darüber zu treffen, welcher Schritt im spezifischen Fall mit welchem Gewicht zu bearbeiten ist.

Evaluationsprozess

Einen Überblick über den Evaluationsprozess gibt ➞ Abbildung 1. Die detaillierte Darstellung erfolgt in den nachfolgenden Kapiteln.

Abbildung 1: Der Evaluationsprozess

Evaluationsauftrag

Um den Evaluationsprozess ist zumeist ein formaler Rahmen gespannt: der Evaluationsauftrag, ohne den es zu keiner Evaluation kommt. Wenn die Evaluation an einen externen Dienstleister vergeben wird («externe Evaluation», ➞ Kapitel 5.7), kommt es zumeist zu einem schriftlich fixierten Vertrag zwischen Auftraggebenden und Auftragnehmenden. Dies ist z.B. der Fall, wenn die Qualitätsbeauftragte einer Weiterbildungseinrichtung ein Evaluationsbüro mit einer Evaluation zu einem Zertifikatskurs beauftragt. Auch interne Evaluationen werden in Auftrag gegeben; allerdings geschieht dies (leider) oft informell. Dabei kann ein Auftrag viel sicherer durchgeführt werden, wenn beide Seiten einen Konsens über dessen Details erzielt haben und dies auch schriftlich fixieren. Ein Sonderfall ist die Selbstevaluation (➞ Kapitel 5.6), in der eine programmzuständige Person sich selbst den Auftrag gibt, die eigene Maßnahme zu evaluieren.

Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren

Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.

Wie kommt ein Evaluationsauftrag zustande?

Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden (Adressierten) wie auch die geplante Nutzung der Evaluationsergebnisse, manchmal sogar die Evaluationskriterien, zugängliche Dokumente, bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).

Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.

Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).

Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation

Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:

SCHLÜSSELAUSSAGE

Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.

Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.

Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).

Auftraggebende wünschen sich oft gleichzeitig eine formative und eine summative Evaluationsrolle. Werden diese gleichrangig und zeitgleich eingenommen, können die Durchführbarkeit und Genauigkeit (zu diesen beiden von insgesamt vier Bewertungsdimensionen ausführlicher in ➞ Kapitel 13) einer Evaluation gefährdet werden, da z.B. Mitarbeitende angesichts anstehender Grundsatzentscheidungen taktisch antworten und es damit erschwert wird, die verbesserungsbedürftigen Schwächen eines Programms zu entdecken. Es empfiehlt sich daher, entweder klare Prioritäten zu setzen oder aber eine Phaseneinteilung vorzuschlagen, indem zunächst die formative und dann die summative Evaluationsrolle eingenommen wird.

Finanzierung

Die notwendigen Mittel stammen zumeist von der ausschreibenden Institution; manchmal stehen den Evaluierenden eigene Haushaltsmittel zur Verfügung. Auch eine komplette Fremdfinanzierung über Stiftungs- oder sonstige Fördermittel ist möglich. In besonderen Fällen (z.B. bei Qualifizierungsarbeiten) steht kein Budget zur Verfügung, und der Aufwand muss entsprechend klein gehalten werden.

Abschließende Auftragsklärung und schriftliche Fixierung

Sind die Evaluierenden ausgewählt, kommt es zur mündlichen Auftragsklärung mit den Auftraggebenden. Es werden Details des in den folgenden Kapiteln geschilderten Evaluationsprozesses besprochen und möglichst schriftlich fixiert. Dies wird zugleich Bestandteil des rechtsverbindlichen oder im Innenverhältnis gültigen Vertrages.

Die Aushandlung eines Vertrages ist sorgfältig vorzunehmen. Hier treffen erstmals die Vorstellungen der Auftraggebenden (die sich auch innerhalb dieser Gruppe unterscheiden können) auf diejenigen der Auftragnehmenden über das zukünftige Evaluationsprojekt.

Verantwortlichkeiten

Es ist wichtig festzuhalten, dass nach Auftragsvergabe die Verantwortung und Entscheidungskompetenz für die Durchführung der Evaluation bei den Auftragnehmenden liegen. Dies ist von entscheidender Bedeutung dafür, dass Letztere aus einer unabhängigen Position handeln können und der Evaluation und ihren Ergebnissen hohe Glaubwürdigkeit zugemessen werden kann.

In Bezug auf die verschiedenen Evaluationsschritte gibt es solche, bei denen die Evaluierenden aufgrund ihrer fachlichen Kompetenz Vorrang und letztinstanzliche Entscheidungsbefugnis haben sollen. Dies gilt insbesondere für die Schritte «Auswahl von Erhebungsdesign und -methoden» (➞ Kapitel 8), «Durchführung der Erhebungen» (➞ Kapitel 9), «Datenauswertung, Interpretation und Bewertungssynthese» (➞ Kapitel 10) sowie «Berichterstattung» (➞ Kapitel 11), wobei hinsichtlich der Ergebnisvermittlung die Auftraggebenden wiederum stärker einzubeziehen sind.

Hingegen sind die Interessen und Bedarfe der Auftraggebenden, aber auch weiterer Akteure bei den anderen Schritten vorrangig zu berücksichtigen; die Evaluierenden treten hierbei in eine Moderations- oder Beratungsrolle zurück.

Ein guter Evaluationsauftrag braucht Zeit

Je mehr bereits im Vertrag an Vorarbeit zu den verschiedenen Punkten geleistet worden ist, desto weniger Klärungsbedarf entsteht im Verlauf der Evaluation. Damit weiterhin genügend Flexibilität erhalten bleibt – denn schnell kann sich Grundlegendes im Evaluationsgegenstand selbst (z.B. Neukonzeption eines fehlgeschlagenen Teilkurses) oder seinem Kontext (z.B. neue Förderrichtlinien der Arbeitsagentur für Qualifizierungsmaßnahmen) ändern –, müssen Öffnungsklauseln enthalten sein: Wann können Neuverhandlungen begonnen werden und durch wen werden sie ausgelöst? Wie kurzfristig verpflichten sich die Vertragsparteien, auf dringende Anfragen zu reagieren? In jedem Fall muss für die Phase der Auftragsklärung und -fixierung genügend Zeit eingeplant werden.

Konkrete Vertragsinhalte als Fixierung des Auftrages

Konkret sind die folgenden Punkte Bestandteil eines Evaluationsvertrages, der den Evaluationsauftrag fixiert (vgl. auch die «Checkliste für den Abschluss eines Evaluationsvertrages» in Farrokhzad & Mäder, 2014, S.129):

❙ Bestimmung des Evaluationsgegenstandes (➞ Kapitel 4)

❙ Bestimmung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6)

❙ Bereits verfügbare Informationen bzw. Zugang zu ihnen

❙ Auswahl von Erhebungsdesign und -methoden (➞ Kapitel 8)

❙ Ein Arbeitsplan/Pflichtenheft mit einer chronologischen Abfolge der einzelnen Arbeitsschritte von Auftragsbeginn bis zum Ende der Evaluation und dem damit verbundenen Arbeitsaufwand sowie den Verantwortlichkeiten, sowohl aufseiten der Auftragnehmenden als auch der Auftraggebenden, mit Meilensteinterminen

❙ Ein Finanzplan, der alle Personal-, Sach- und sonstigen Kosten aufführt. Dieser Plan setzt eine differenzierte Kalkulation voraus, die die Evaluierenden mit großer Sorgfalt durchzuführen haben, da sie als Bestandteil des Auftrages für alle Beteiligten bindend wird und die zur Verfügung stehenden Ressourcen bestimmt

❙ Absprachen über die Formen der Berichterstattung (➞ Kapitel 11.4)

Schriftliche Form des Evaluationsauftrages

Nach einer Einigung zwischen den Vertragsparteien sind die getroffenen Vereinbarungen formal, schriftlich und für alle Beteiligten verbindlich zu fixieren (Vedung, 2004, S.121). Ein solcher schriftlicher (in seltenen Fällen mündlicher, aber in jedem Fall rechtsverbindlicher) Vertrag ist bei der Weiterarbeit für die beteiligten Parteien bindend; Nachbesserungen bedürfen Nachverhandlungen.

VERTIEFUNGSLITERATUR

❙ Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.

❙ DeGEval – Gesellschaft für Evaluation e.V. (2007). Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung. Mainz: DeGEval.

4 Bestimmung des Evaluationsgegenstandes

Bestimmung von Evaluationsgegenstand und dessen Zielen

Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).

Zu einem Evaluationsgegenstand kann alles Mögliche werden

Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben (➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.