- -
- 100%
- +
Nutzen der einfachen Logischen Modelle
Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.
In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).
Der Programmbaum als anschauliches Logisches Modell
Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm bereitstellt. Das Konzept schließlich enthält den genetischen Code für das Programm (der allerdings – im Gegensatz zu einem echten Baum – verändert werden kann). Ähnlich den beiden Drei-Elemente-Modellen ist die Baummetapher eine starke Vereinfachung gegenüber dem tatsächlichen Programm. Dieses läuft in der Praxis nämlich nicht nur linear von unten nach oben ab, sondern es gibt immer wieder – auch unvorhergesehene – Rückschleifen, Unterprogramme, eingebettete Programme oder hintereinander geschaltete Programme (sogenannte Kaskadenprogramme). Es handelt es sich also um ein notwendigerweise unvollständiges Modell, das nicht mit der Realität des Programms zu verwechseln ist.
Abbildung 5: Programmbaum
Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:
Elemente des Programmbaums
❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).
❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).
❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.
❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.
Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).
Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.
Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik
ElementKurzdefinitionBeispieleKontextSystemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller und anderer Aspekte, die sich langfristig und unabhängig vom Programm selbst ändernGesetze (Schulgesetze, Kinder- und Jugendhilfegesetz, Sozialgesetzbuch IV etc.), Verfügbarkeit Neuer Medien (Multimedia-PCs, Smartphones, drahtloser Internetzugang in der Öffentlichkeit, Verbreitung des Internets sowie dessen Image in kulturellen Milieus oder sozialen Schichten)StrukturMittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands etc.Rechtsform, Kapital- und IT-Ausstattung, Kooperationsvielfalt und -dichte des Bildungsträgers (z.B. Schule, Jugendzentrum), LeitbildIncomesVoraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm ‹hineinkommen›, insbesondere Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Auswahl der Teilnehmenden beeinflussbar)Lerneingangsbedingungen (Vorwissen, Lernkompetenzen, Intelligenzarten und -niveaus), Medienkompetenzen, Mediennutzungsgewohnheiten, Sozialkompetenzen, Wünsche und Bedarfe der Lernenden (u.U. systematisch durch Diagnoseverfahren bestimmt)InputsFinanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbarPersonal- und Sachaufwendungen, Hard- und Softwareausstattung für Lernende und Lehrende, Qualifikationen der LehrpersonenKonzeptGedanklicher Entwurf, welche Resultate bis wann, wo/bei wem ausgelöst werden sollen (Zielsystem), und welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan)Förderantrag für ein Medienprojekt, Curriculum für eine Jugendbildungsmaßnahme, Aktionspläne; einschließlich Lernzielen, Annahmen zu Wirkmechanismen von medienpädagogischen InterventionenAktivitätenHandlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei der Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten)Interventionen: Blended Learning zu Audio- oder Videoapplikationen; geführte Diskussionen zur OnlinespieleNutzung. Hilfsaktivitäten: Mitarbeiterführung, Teamaufbau, technische Betreuung der Online-Lernplattform. Zielgruppenaktivitäten: Lernen, Prüfungen ablegen etc.OutputsDurch die Interventionen erzeugte Resultate wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Nutzenden/Zielgruppen mit den InterventionenVerteilte Einladungen zu Seminaren, abonnierte Newsletter; Hits und Verweildauer auf der Website; Anzahl der Beiträge in einem Forum, Gruppenstunden, Beratungsgespräche, Teilnehmertage/TeilnahmestundenOutcomesIntendierte Resultate von Aktivitäten/Interventionen des Programms bei/Vorteile für Mitglieder der Zielgruppe (unterscheidbar nach kurz-, mittel- und langfristig)Erhöhtes Wissen, verbesserte Fähigkeiten im Umgang mit Medien, selbstsicheres Verhalten, Erweiterung des eigenen Handlungsspektrums z.B. auch bei bewusster MedienabstinenzImpactsResultierende Merkmale sozialer Systeme, insbesondere von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen etc.), von Sozialräumen (Nachbarschaften, Kommunen, Regionen etc.) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes etc.)Verschiebung der Anteile und durchschnittlichen Nutzung verschiedener Medienarten in der Gesellschaft; verbesserte Marktchancen für «serious games» und LernsoftwareNicht-intendierte ResultateResultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms (können nachträglich positiv oder negativ bewertet werden)Evaluationsteilnehmende Jugendliche werden durch die Präventionskampagne «Mediale Gewalt im Internet» auf gewaltverherrlichende Spiele erst aufmerksam und spielen sie (vermehrt); Mädchen nutzen noch weniger Neue Medien
VERTIEFUNGSLITERATUR
❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).
❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.
❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.
5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden
Lernziele von Kapitel 5:❙ Unterschiedliche Positionen von Evaluierenden unterscheiden können❙ Kompetenzen für Evaluierende benennen können❙ Vorteile einer frühen Einbindung von Akteuren erläutern können❙ Verschiedene Arten von Akteuren benennen und ihre Rollen in Bezug auf den Evaluationsgegenstand einerseits und auf die Evaluation andererseits zuordnen können❙ Den Begriff «Stakeholder» erläutern und Beispiele für «Stakes» verschiedener Akteursgruppen geben können
Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation
Wenn der Evaluationsgegenstand und dessen Ziele skizziert sind, werden im nächsten Schritt die Akteure bestimmt, die Interessen in Bezug auf den Evaluationsgegenstand und/oder an der Evaluation selbst haben. Zu unterscheiden sind also zwei Ebenen, auf die Personen, Personengruppen oder Organisationen ihre Interessen richten (Fitzpatrick, Sanders & Worthen, 2012, S.260): Auf der einen befindet sich der Evaluationsgegenstand (z.B. ein Bildungsprogramm), auf der anderen, der Beobachtungsebene, die Evaluation. Es gibt Akteure, die ausschließlich am Evaluationsgegenstand oder an der Evaluation interessiert sind. Oft hat aber ein und dieselbe Person auf beiden Ebenen Interessen, nimmt also auf beiden eine Rolle ein (vgl. die Beispiele in der folgenden ➞ Tabelle 2). Diesen Akteuren fällt es bisweilen schwer, zwischen den beiden Rollen und den daraus resultierenden Interessen zu unterscheiden, was z.B. für die Klärung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6) erforderlich ist. Wichtig ist, dass die Evaluierenden beide Rollen kennen und differenziert behandeln.
Stakeholder haben Interessen in Bezug auf den Evaluationsgegenstand
a) Akteure, die Interessen in Bezug auf den Evaluationsgegenstand haben, werden «Stakeholder» (vom englischen «holding stakes», Einsätze halten, z.B. bei einem Wettspiel, bei dem etwas zu gewinnen oder zu verlieren ist) genannt. Im Deutschen nennt man diese auch «Beteiligte und Betroffene». «Beteiligte» sind Personen, Gruppen oder auch Organisationen, die in Bezug auf den Evaluationsgegenstand aktiv und/oder einflussreich sind, also z.B. Finanzierende des Programms wie auch Akteure, die das Programm steuern (Programmverantwortliche) oder die im Rahmen des Evaluationsgegenstandes gegen Entgelt oder ehrenamtlich tätig sind (Mitarbeitende). «Betroffene» sind insbesondere Personen mit wenig Einfluss. Sie finden sich oft unter den Zielgruppen eines Programms, oder es sind von der Inanspruchnahme eines Programms Ausgeschlossene oder durch das Programm Benachteiligte, mitunter ohne von der Existenz des Programms zu wissen. So kann es z.B. sein, dass durch eine Fördermaßnahme für eine bestimmte Gruppe eher bildungsferner Personen durch die Förderrichtlinien Ausgeschlossene benachteiligt werden. Im Rahmen partizipativer Evaluationsansätze kann angestrebt sein, Betroffene zu Beteiligten zu machen. Die Trennlinie zwischen Beteiligten und Betroffenen ist oft nicht scharf zu ziehen (König, 2003, S.84).
Potenziell Nutzende haben Informationsinteressen in Bezug auf die Evaluation
b) Akteure, die Informationsinteressen in Bezug auf die Evaluation hegen, sind «potenziell Nutzende» der Evaluation und ihrer Ergebnisse. Diejenigen, die die Evaluierenden gemäß Evaluationsplan mit Informationen bedienen wollen, sind «Adressierte» oder «vorgesehene Nutzende» (intended users; Patton, 2008). Adressierte, die Ergebnisse später nutzen, sind dann tatsächlich Nutzende. Zudem gibt es Personen, die die Ergebnisse einer Evaluation nutzen (wollen), aber nicht zum eigentlich anvisierten Adressatenkreis gehören.
Diese Personenkreise überschneiden sich oft: Mitarbeitende von Organisationen, in denen evaluiert wird, sind in der Regel beteiligt und betroffen, können gleichzeitig Adressierte der Evaluation sein und diese dann auch tatsächlich nutzen. Ein Gegenbeispiel ist eine Stiftung, die Evaluationen fördert und eine Adressatin des Schlussberichtes ist, die jedoch keine eigenen Interessen am Evaluationsgegenstand hat. Ähnlich verhält es sich, wenn die allgemeine oder die wissenschaftliche Öffentlichkeit Adressatin ist.
Wichtigkeit der Rollenklärung
Bei den Rollenzuweisungen handelt es sich um analytische Trennungen. Sie signalisieren, ob Personen/Personenmehrheiten/Organisationen in Bezug auf den Evaluationsgegenstand und/oder in Bezug auf die Evaluation und ihre Ergebnisse involviert oder zu involvieren sind. Dadurch sollen die Evaluationsverantwortlichen angeregt werden zu klären, wer in welcher Rolle durch die verschiedenen Aktivitäten im Rahmen der Evaluation zu berücksichtigen ist.
Aus dem Gesagten ergibt sich ein Dreiecksverhältnis zwischen Stakeholdern des Evaluationsgegenstandes, vorgesehenen Nutzenden der Evaluationsergebnisse (Adressierten) und schließlich den Evaluierenden. Letztgenannte müssen die Interessen der Programmstakeholder klären, Informationsinteressen an der Evaluation herausarbeiten und Interessen- und Wertspannungen transparent machen. Schließlich müssen sie ihre eigene Position in diesem Interessenspiel klar benennen.
Rollen im Überblick
In ➞ Tabelle 2 wird dies für Rollen in der Bildungsevaluation nochmals dargelegt:
Tabelle 2: Typische Rollen in der Bildungsevaluation
➞ Tabelle 2 kann auch als Checkliste dienen, um in die Evaluation einzubeziehende oder zu berücksichtigende Akteure zu identifizieren.
Bei kleinen Trägern/Programmen können die Rollen (1) bis (6) von einer Person wahrgenommen werden. Anders bei einem bundesfinanzierten Programm (3): Umgesetzt und getragen von einem Trägerverbund (4) und geleitet durch eine Programmleiterin (5) kann die Evaluation durch einen vom Bund beauftragten Projektträger ausgeschrieben werden (2), wobei das Geld für die Evaluation vom Bundesministerium kommt (1). In manchen Fällen finanzieren Stiftungen oder Forschungsfonds Evaluationen (1), ohne dass sie eigene Interessen in Bezug auf das evaluierte Programm haben.
Bei überwiegend bis vollständig teilnehmenden-finanzierten Bildungsmaßnahmen sind (3) und (7) identisch. Wenn die Eltern finanzieren, trifft dies bei (3) und (8), wenn die Arbeitgebenden finanzieren, bei (3) und (9) zu.
Stakeholder und Adressierte
Es besteht in der Literatur keine Einigkeit über den Begriff der Stakeholder. An manchen Orten werden darunter nicht nur diejenigen gezählt (wie in diesem Text), die Interessen am Evaluationsgegenstand haben, sondern auch diejenigen, die – eventuell sogar ausschließlich – an der Evaluation und ihren Ergebnissen interessiert sind. Beides sind unterschiedliche, sich eventuell auch überlappende Interessensphären, wie aus ➞ Tabelle 2 ersichtlich ist.
BEISPIEL 6
So haben z.B. Programmleitende Interesse an ihrem Programm wie auch einen bestimmten Informationsbedarf, den sie durch die Evaluation abgedeckt sehen wollen. Teilnehmende sind hingegen stark an ihrer Weiterbildung interessiert, nicht aber an den Evaluationsergebnissen, und dies besonders dann nicht, wenn die Ergebnisse für ihre konkrete Weiterbildung gar keinen Nutzen haben (z.B. weil mögliche Verbesserungen erst dem nächsten Kurs zugutekommen). Hingegen haben vielleicht selbst zahlende Teilnehmende ein Interesse an einer kurzfristig wirksamen formativen Evaluation. Vorgesetzte mögen ein starkes Interesse an den summativen Evaluationsergebnissen haben, beeinflussen diese doch ihre künftigen Entscheidungen zur Entsendung von Mitarbeitenden in das entsprechende Angebot.
In der Bildung gibt es zahlreiche und sehr unterschiedliche Stakeholder und vorgesehene Nutzende (Adressierte). Dies macht eine sorgfältige und frühzeitige Bestimmung der Akteure, ihrer Rollen und Interessen erforderlich.
Nachfolgend werden verschiedene Akteure in der Bildungsevaluation näher betrachtet: Geld- und Auftraggebende der Evaluation (➞ Kapitel 5.1), Finanzierende und Träger des Bildungsangebots (➞ Kapitel 5.2), Programmleitende und -mitarbeitende (➞ Kapitel 5.3), Teilnehmende (➞ Kapitel 5.4), Vorgesetzte, Arbeitgebende, Arbeitskollegen (➞ Kapitel 5.5) sowie sonstige Akteure (➞ Kapitel 5.6). ➞ Kapitel 5.7 widmet sich den Evaluierenden. In ➞ Kapitel 5.8 werden die Beziehungen der unterschiedlichen Akteure untereinander betrachtet.
5.1 Geld- und Auftraggebende der Evaluation
Die Auftraggebenden
Die zentrale Rolle der Auftraggebenden einer Evaluation und derjenigen, die das Geld hierfür geben, liegt auf der Hand. Während deren Identifikation leicht ist, müssen die Evaluierenden in die Klärung der verschiedenen Interessen und Rollenüberschneidungen Zeit investieren.
Erwartungen an die Auftraggebenden
Von Auftraggebenden einer Evaluation wird erwartet, gegenüber der Evaluation und den daraus resultierenden, eventuell auch unerwarteten Ergebnissen aufgeschlossen zu sein. Dieser Sachverhalt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.180). Zudem sollen Auftraggebende kooperativ sein und engagiert am Evaluationsprojekt teilnehmen. Dieses Engagement soll sich aber nicht in einer Kontrollfunktion äußern. Evaluationsexpertise der Auftraggebenden wird nicht unbedingt als notwendig erachtet (Balzer, 2005, S.180).
Engagement der Auftraggebenden
Der Grad des Engagements der Auftraggebenden hat Auswirkungen auf die Evaluation. Starkes Engagement kann z.B. für klare Anforderungen und einen regen Informationsfluss sorgen, kann aber auch zu restriktiven Auflagen bis hin zu Versuchen der einseitigen Einflussnahme auf die Evaluationsergebnisse führen. Dies verlangt angemessene Reaktionen vonseiten der Evaluierenden.
Rolle der Auftraggebenden im Evaluationsgegenstand
Zur Beurteilung solcher Anforderungen ist es wichtig zu verstehen, in welchem Verhältnis Auftraggebende zum Evaluationsgegenstand stehen. Es kann zu Interessenkonflikten kommen, wenn Programmverantwortliche (z.B. Studiengangsleitende) selbst in die Evaluation involviert sind und ein stark gerichtetes Interesse an bestimmten Ergebnissen der Evaluation haben. Wenn sogar unabhängig von der Faktenlage ein zuvor bestimmtes Ergebnis erzielt werden soll, spricht man auch von Pseudo-Evaluationen (Stufflebeam & Coryn, 2014, S. 117–132).
Unterstützungssysteme für Evaluationen
Bei größeren Evaluationen in der Bildung können wissenschaftliche Beiräte oder Begleitgremien, in denen Fachverbände vertreten sind, überzogene Einflussversuche von Auftraggebenden abfedern (vgl. Baizerman, Fink & Roholt, 2012).
BEISPIEL 7
Eine Firma sucht nach dem besten Anbieter für eine Computerschulung. Da das Angebot auf dem Markt sehr groß ist, wird eine Evaluation in Auftrag gegeben, die den Markt sondieren und das beste Angebot identifizieren soll. Präferenzen hat die Firma keine, der Beste soll den Zuschlag erhalten. Entsprechend ist eine neutrale Evaluation möglich. Ganz anders sieht es aus, wenn einer der konkurrierenden Schulungsanbieter eine Evaluationsstudie in Auftrag gibt, um sich seine Qualität extern dokumentieren zu lassen. Auch wenn ein solches Evaluationsprojekt nicht parteiisch sein muss, müssen sich die Evaluierenden der Parteilichkeit der Auftraggebenden bewusst sein.
5.2 Finanzierende und Träger des Bildungsangebots
Finanzierende
Oftmals sind Auftraggebende von Evaluationen auch die Finanzierenden des Bildungsangebots und damit auch die Entscheidungsträger in Bezug auf den Evaluationsgegenstand, z.B. die Leitungsebene des Trägers (eventuell der Fakultät/der Hochschule). Bei internen Evaluationen kann es dann für die Evaluationsverantwortlichen sehr schwierig sein, eine neutrale Position einzunehmen. Beiräte oder externe Beratende können die Abhängigkeit einer internen Evaluation teilweise kompensieren. Auch im Sinne erhöhter Glaubwürdigkeit der Evaluation und ihrer Ergebnisse sind hier in der Regel externe Evaluationen angeraten, insbesondere, wenn diese summativ ausgerichtet sind.
Eine summative Evaluation mit bilanzierenden Schlussfolgerungen ist vor allem dann unabhängig durchführbar, wenn Auftraggebende zwar die Entscheidungskompetenz für das Programm haben, sich aber kaum an der Evaluation beteiligen, oder wenn sich die Rolle der Auftraggebenden und die des Entscheidungsträgers sinnvoll voneinander unterscheiden lassen.
Wer hat die Entscheidungskompetenz?
Für einige Autorinnen und Autoren ist dieser Punkt ein zentrales Unterscheidungskriterium von Evaluation und Qualitätsmanagement. Im Qualitätsmanagement wird der obersten Leitung nicht nur die Entscheidungskompetenz für das Programm, sondern auch die strategische Steuerungskompetenz für den Qualitätsmanagementprozess zugewiesen. In der Evaluation hingegen werden die Zuständigkeiten auf Auftraggebende/Programmverantwortliche einerseits und Evaluationsverantwortliche andererseits aufgeteilt.
Für die konkrete Evaluation ist es relevant zu wissen, wer die Entscheidungskompetenz für das Programm innehat. Liegt sie nicht bei den Auftraggebenden, so kann es hilfreich sein, Verbindungen zu den Entscheidungsträgern herzustellen und sie explizit einzubinden. Dies ist nicht nur in der Planungsphase, sondern während des gesamten Evaluationsprozesses sinnvoll (Hegarty & Sporn, 1988, S.336).
5.3 Programmleitende und -mitarbeitende
Programmleitende und -mitarbeitende als «Beteiligte»
Programmleitende und -mitarbeitende gehören zu den wichtigsten «Beteiligten», denn sie sind für das gesamte Lehr-Lern-Programm sowie das konkrete Unterrichtsgeschehen verantwortlich. Zwischen beiden Gruppen können Interessenkonflikte bestehen, die zu identifizieren sind. So können z.B. Programmleitende an einem zeitlich sehr flexiblen Einsatz von Kursleitenden («auf Abruf», im Rahmen von Honorarverträgen) interessiert sein, während die Unterrichtenden gerade in der damit verbundenen Kalkulationsunsicherheit eine Gefährdung ihrer Leistungsfähigkeit und damit Unterrichtsqualität sehen. Solche Interessenkonflikte sollten durch die Evaluierenden ohne hinreichende empirische Evidenz weder unterstellt noch ausgeschlossen werden. Vertrauliche Gespräche in der Eingangsphase, z.B. mit Personalvertretungen, können hier Klarheit schaffen. Oft zählen diese beiden Gruppen zu den primär vorgesehenen Nutzenden der Evaluation und ihrer Ergebnisse (Adressierte). Je mehr sich der Evaluationsgegenstand auf Kursebene bzw. beim Lehren und Lernen befindet, und je stärker die Evaluation formativ im Sinne einer verbesserungsorientierten Begleitung ausgerichtet ist, desto eher sind die Lehrenden die Hauptadressierten.