- -
- 100%
- +
Der Evaluationsgegenstand muss konkret bestimmt werden
Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.
Wie bestimmt man einen Evaluationsgegenstand?
Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.
Merkmale des Evaluationsgegenstandes
Relevante Beschreibungsdimensionen sind dabei:
❙ Name, Träger, Abschlusstyp
❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende
❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)
❙ fachwissenschaftliche Bezüge
❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)
❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)
❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen
❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis
❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)
❙ Kennzahlen (z.B. Anzahl Teilnehmende, realisierte Teilnehmendenstunden/-tage, Anzahl und Art der Abschlüsse, Abbruchquoten und -gründe, Umsatzzahlen)
❙ «History» (Veränderungen z.B. bezüglich Rechtsgrundlagen oder Zielen/Inhalten/Workload sowie Darstellung überwundener Schwächen früherer Durchführungen)
❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)
Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.
Teil- oder Gesamtevaluation?
Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,
❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder
❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.
Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:
❙ Beim Evaluationszweck (➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.
❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.
❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.
Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.
➞ Lösung auf Seite 233
Übungsaufgabe 6:«Kurzbeschreibung eines zu evaluierenden Studiengangs»Lösen Sie nun die Übungsaufgabe 6: Stellen Sie sich vor, ein Studiengang sei zu evaluieren. Erstellen Sie eine Kurzbeschreibung dieses Evaluationsgegenstandes auf ein bis zwei Seiten. Nutzen Sie hierfür die zu Beginn von ➞ Kapitel 4 aufgelisteten «relevanten Beschreibungsdimensionen». Übertragen Sie diese in die linke Spalte einer zweispaltigen Tabelle und notieren Sie in der rechten Spalte jeweils Stichworte. Halten Sie zu denjenigen Dimensionen, zu denen Sie nichts oder wenig formulieren können, fest, welche die nächsten Schritte sein könnten, um diese Lücken zu schließen.Ziele des Evaluationsgegenstandes
Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1 –, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.
BEISPIEL 2
Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.
Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.
Ein allgemeines Leitziel von Lernen
Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).
Ziele im Konzept und der Weg zur Zielerreichung
Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.
Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.
Zielklärung
Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug der Zielklärung verfügen. Patton (2012, S.215ff.) konkretisiert dies mit den folgenden zehn Prinzipien für bedeutsame und nützliche Ziele:
1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.
2) Unterscheide klar zwischen Outcomes und Aktivitäten.
3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.
4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.
5) Outcome-Formulierungen sollen leicht verständlich sein.
6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.
7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.
8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. (➞ Kapitel 7)
9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.
10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.
Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.
Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.
Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)
Leitziel
Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.
Mittlerziel
Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.
Detailziel
Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.
BEISPIEL 3
Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.
Leitziel der Weiterbildungseinrichtung einer Hochschule:
«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»
Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:
«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»
Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:
«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»
Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).
Perspektivenwechsel bei der Zielbestimmung
Die konkrete Zielbestimmung ist zudem herausfordernd, wenn die Perspektive gewechselt wird, aus der man auf einen Evaluationsgegenstand schaut (was immer, zumindest probehalber, getan werden sollte).
BEISPIEL 4
Wird der Evaluationsgegenstand IT-Schulung aus der Sicht von Verantwortlichen einer Fortbildungsinstitution betrachtet, so kann der Lernerfolg einer gesamten Lerngruppe im Vordergrund stehen. Aus der Warte eines einzelnen Teilnehmenden kann dessen Lernerfolg (oder der einer bestimmte Teilgruppe) viel wichtiger sein, sodass Fragen der individuellen oder gruppenspezifischen Wirkungen einer Schulung in den Vordergrund rücken. Ist der Auftraggeber einer IT-Schulungsevaluation ein Verlag, der IT-Schulungsmaterialien zur Verfügung stellt, so kann sich der Fokus erneut verändern. Zwar ist auch hier Lernerfolg wünschenswert, aber es geht stärker um Einführungs- und Nutzungsbedingungen sowie die Bewertung der Materialien.
Intendierte Ziele des Evaluationsgegenstandes sowie ungewollte und unerwartete Resultate
Wie weiter oben schon beschrieben, ist darauf zu achten, dass eine ausschließliche Bestimmung der intendierten Ziele des Evaluationsgegenstandes zu kurz greift. Darüber hinaus müssen auch Vorstellungen über ungewollte und unerwartete Resultate sowie unerwünschte, aber bekannte Nebenresultate entwickelt werden.
BEISPIEL 5
Eine erfolgreiche Vermittlung von IT-Wissen als ein wichtiges Ziel einer IT-Schulung kann von vielen erwünschten wie auch unerwünschten/unvorhergesehenen Folgen begleitet werden. Handelt es sich bei einem Schulungszentrum z. B. um eine firmeninterne Fortbildungsinstitution, kann sich das Qualifikationsgefüge innerhalb der Firma dergestalt verschieben, dass Gehaltsbegehrlichkeiten geweckt werden, dass neuer Schulungsbedarf hinsichtlich einer Vertiefung des Gelernten entsteht, dass Schulungsbedarf für die noch nicht geschulten Mitarbeitenden gefordert wird oder dass für bestimmte Arbeitsbereiche ein Mangel an Fachkräften resultiert, da sich diese für andere Tätigkeiten weiterqualifiziert haben. Ein schlecht geplantes Fortbildungsprogramm kann die gesamte Organisationsstruktur eines Betriebes durcheinanderbringen. Eventuell kann dieselbe ebenfalls in den Fokus einer Evaluation geraten, wenn die Schulung betreffende Zufriedenheitsaspekte eine Rolle spielen. So mögen Teilnehmende zwar viel gelernt haben, was einem wichtigen Ziel der Schulung entspräche, aber gleichzeitig kann eine Reihe neuer Probleme auftauchen und eine sich in der Evaluation widerspiegelnde Unzufriedenheit erzeugt werden. Darüber hinaus kann eine langweilige Schulung demotivierend statt motivierend wirken, oder Streit zwischen Teilnehmenden kann Kommunikationskanäle nicht öffnen, sondern für lange Zeit verschließen. Und was würde ein Bildungsträger sagen, wenn das eingesetzte Schulungsmaterial derartig gut wäre, dass niemand mehr eine Schulung bucht, dafür aber jeder das Begleitheft erwirbt?
Unübersichtlichkeit bei komplexen Evaluationsgegenständen
Die Erstbeschreibung und das Zielsystem sind Kernelemente einer Gegenstands- oder Programmbeschreibung. Bei größeren, auf längere Zeit angelegten Bildungsmaßnahmen können beide so zahlreiche Daten und Informationen so liefern, dass diese sowohl für die Programmmitarbeitenden als auch für die Evaluierenden schwer zu fassen sind und die Programmbeschreibung unübersichtlich werden kann.
Logische Modelle als Visualisierungen von Evaluationsgegenständen
Um dieser Herausforderung zu begegnen, sind textlich-visuelle Darstellungen entwickelt worden, welche es ermöglichen, die wesentlichen Bestandteile des Programms und ihre Hauptverbindungen auf einen Blick zu sehen. In der Evaluationsfachsprache werden diese als «Logische Modelle» bezeichnet. Der Begriff bringt zum Ausdruck, dass ein (vereinfachtes) Abbild des Programms «modelliert» wird, und dass die gedachte Logik der Abläufe oder des Ineinandergreifens der Programm-Elemente sichtbar gemacht werden soll. Hoch gegriffen kann auch von der «Wirklogik» des Programms gesprochen werden, wobei eine solche Bezeichnung zusätzlich theoretisch begründete und empirisch bewährte Aussagen über die Wirkmechanismen erfordert, welche dazu führen, dass die Interventionen (unter bestimmten, anzugebenden Bedingungen) die angestrebten Zielzustände tatsächlich auslösen. Solche im Vergleich zu Logischen Modellen anspruchsvolleren «Programmtheorien» schließen deren wesentliche Elemente mit ein und sind dabei umfassender und differenzierter ausgearbeitet. Insbesondere werden die für den gedachten Programmablauf und die Verbindungen zwischen den Programmelementen relevanten Annahmen expliziert. Solche Wirkmechanismen werden möglichst durch vorliegende Forschungs- oder Evaluationsergebnisse bzw. für den Evaluationsgegenstand einschlägige Theorien begründet (vgl. Giel, 2013; Haubrich, 2009).
Giel (2013, S. 230) schreibt dazu: «Außerdem ist auch bestehendes Wissen einzubeziehen und auf bereits überprüfte Hypothesen zurückzugreifen. Eine Strategie, die oftmals vernachlässigt wird.» Dabei bieten auf den Bildungsbereich spezialisierte Online-Forschungsdatenbanken leichten Zugang zu einschlägigen Berichten und Fachartikeln. Beispielsweise genannt seien der Deutsche Bildungsserver, das Fachportal Pädagogik und pedocs für Deutschland, die Datenbank der Schweizerischen Koordinationsstelle für Bildungsforschung in der Schweiz, schule.at in Österreich, Eurydice für die EU und das Education Resources Information Center ERIC für den englischsprachigen Raum.
Neben Logischen Modellen und Programmtheorien existieren weitere Wirkmodelle. Balthasar und Fässler (2017) vergleichen z. B. «Logic Model», «Theory of Change» und den «realistischen Evaluationsansatz» miteinander.
Ein sehr einfaches Logisches Modell nutzt Michael Patton in seinen Workshops und Präsentationen. Ein Programm kann stark vereinfacht mit drei Elementen dargestellt werden:
Ein einfaches Logisches Modell für die Planungsphase des Programms
Abbildung 3: Einfaches Logisches Modell nach Patton in der Planungsphase des Programms
Bei Bildungsprogrammen ist die Ausgangslage oft dadurch charakterisiert, dass die Lerneingangssituation bei den Zielgruppen des jeweiligen Bildungsprogramms (IST) gegenüber den gesellschaftlich, von den Finanzierenden des Bildungsprogramms oder von den Teilnehmenden selbst gesetzten Zielen (SOLL) eine Lücke aufweist. Diese wird auch als «Bildungsbedarf» bezeichnet. Um diese Lücke zu schließen oder zumindest zu verkleinern, werden Interventionen geplant – also Bildungsmaßnahmen mit auf die Ziele zugeschnittenen Inhalten und Methoden. Eine wichtige Voraussetzung für einen Programmerfolg ist, dass die drei Elemente gut aufeinander abgestimmt sind, wofür die Programmverantwortlichen ihr Fachwissen zum jeweiligen Bildungsgebiet sowie pädagogisches Fachwissen (u.a. Lerntheorien, didaktische Theorien) einsetzen. Evaluation hat hier die Aufgabe, die Passung der Ziele auf die Bedarfe, die Passung der Interventionen auf die Ziele und die Gesamtkonsistenz des Programmkonzeptes samt seiner grundsätzlichen Umsetzbarkeit zu beschreiben und zu bewerten (vgl. proaktive und klärende Evaluation in ➞ Kapitel 6.1.1)
Ein einfaches Logisches Modell für die Realisierungsphase des Programms
Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:
Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms
Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).