- -
- 100%
- +
Lars Balzer, Wolfgang Beywl
evaluiert
erweitertes Planungsbuch für Evaluationen im Bildungsbereich
ISBN Print: 978-3-0355-0872-7
ISBN E-Book: 978-3-0355-0873-4
Gestaltung und Satz: tiff.any GmbH, Berlin, www.tiff.any.de
Umschlagfoto: Peter Bachmann, Bern, www.pbfotografie.ch
2. Auflage 2018
Alle Rechte vorbehalten
© 2018 hep verlag ag, Bern
www.hep-verlag.com
Vorwort
1 Einstieg ins Thema
2 Was ist Evaluation?
2.1 Wissenschaftliche Evaluation statt Alltagsbewertung
2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-) Forschung
2.3 Evaluation als Qualitätsmanagement bzw. Controlling?
2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung
3 Evaluationsprozess und Auftrag
4 Bestimmung des Evaluationsgegenstandes
5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden
5.1 Geld- und Auftraggebende der Evaluation
5.2 Finanzierende und Träger des Bildungsangebots
5.3 Programmleitende und -mitarbeitende
5.4 Teilnehmende
5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen
5.6 Sonstige Akteure
5.7 Evaluierende
5.8 Akteure im Zusammenspiel
6 Bestimmung der Evaluationszwecke und -fragestellungen
6.1 Evaluationszwecke
6.1.1 Evaluationszwecke nach Funktionen
6.1.2 Evaluationszwecke nach Verwendungsabsichten
6.1.3 Zusammenspiel von Zwecken nach Funktion, nach Verwendungsabsicht sowie Rolle der Evaluation
6.1.4 Verdeckte Zwecksetzungen
6.2 Evaluationsfragestellungen
6.2.1 Festlegen der Evaluationsfragestellungen
6.2.2 Formulierung von Evaluationsfragestellungen
6.2.3 Arten von Evaluationsfragestellungen
7 Festlegung der Bewertungskriterien
8 Auswahl von Erhebungsdesign und -methoden
8.1 Erhebungsdesigns
8.2 Datenerhebungsmethoden
8.3 Erhebungsdesign und Datenerhebungsmethoden im Zusammenspiel
9 Durchführung der Erhebungen
10 Datenauswertung, Interpretation und Bewertungssynthese
11 Berichterstattung
11.1 Adressierte
11.2 Zeitpunkte
11.3 Verantwortung und Zuständigkeiten
11.4 Auswahl geeigneter Berichterstattungsformate
11.4.1 Schriftliche Berichte
11.4.2 Mündliche Berichterstattungsformate
12 Nutzung der Ergebnisse
13 Evaluation der Evaluation
14 Fragebogen erstellen
14.1 Inhalt von Fragebogen und Verbindung zum Evaluationszweck
14.2 Aufbau und Gestaltung von Fragebogen
14.3 Zwei Grundformen der Frage
14.4 Herausforderungen bei Antwortvorgaben
14.5 Hinweise zur Frageformulierung
14.6 Checkliste für den Vorabtest
15 Text-Sortier-Technik (TST)
16 Fallbeispiele
16.1 Evaluation «Jugendprojekt LIFT»
16.1.1 Bestimmung des Evaluationsgegenstandes
16.1.2 Bestimmung der Interessierten Akteure und die Rolle der Evaluierenden
16.1.3 Bestimmung der Evaluationszwecke und -fragestellungen
16.1.4 Festlegung der Bewertungskriterien
16.1.5 Auswahl von Erhebungsdesign und -methoden
16.1.6 Durchführung der Erhebungen
16.1.7 Datenauswertung, Interpretation und Bewertungssynthese
16.1.8 Berichterstattung
16.1.9 Nutzung der Ergebnisse
16.1.10 Evaluation der Evaluation
16.2 Evaluation der Campusbibliothek Brugg-Windisch
16.2.1 Bestimmung des Evaluationsgegenstandes
16.2.2 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden
16.2.3 Bestimmung der Evaluationszwecke und -fragestellungen
16.2.4 Festlegung der Bewertungskriterien
16.2.5 Auswahl von Erhebungsdesign und -methoden
16.2.6 Durchführung der Erhebungen
16.2.7 Datenauswertung, Interpretation und Bewertungssynthese
16.2.8 Berichterstattung
16.2.9 Nutzung der Ergebnisse
16.2.10 Evaluation der Evaluation
Literaturverzeichnis
Verzeichnis der Abbildungen
Verzeichnis der Tabellen
Verzeichnis der Übungsaufgaben
Onlineressourcen für die Evaluation
Musterlösungen zu den Übungsaufgaben
Glossar
Vorwort
Evaluation hat in den letzten 25 Jahren auch im deutschsprachigen Raum eine steile Karriere gemacht. Ihre Wurzeln und großen Potenziale liegen insbesondere auch im Bildungsbereich. Evaluation kann helfen, Angebote vom Eltern-Kind-Turnen über den Computerkurs bis hin zur Facharzt-Weiterbildung und viele Hunderte mehr systematisch zu beschreiben und zu bewerten, meist mit dem Zweck, diese zu verbessern.
Diejenigen, die Bildungsprogramme finanzieren oder verantwortlich leiten, geben eine Evaluation in Auftrag, sei es an interne Mitarbeitende oder an Externe. Diese Evaluierenden müssen über einschlägiges Evaluationswissen und -können verfügen: wie sie zu relevanten und beantwortbaren Evaluationsfragestellungen kommen; wie sie Evaluationspläne an diese Fragestellungen anpassen; wie sie Evaluationskriterien festlegen; welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben; welche methodischen Herausforderungen sie meistern müssen; wie sie gewonnene Daten verarbeiten; wie sie die Nutzung der erzielten Ergebnisse fördern können und vieles Weitere mehr.
Dieses Buch ist ein praxisnaher Leitfaden für die Planung, Durchführung und Bewertung einer Evaluation und bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der dafür erforderlichen Kompetenzen.
Wenn Sie sich mit Unterstützung dieses Buches erarbeiten, wie Sie nützliche und glaubwürdige Evaluationen planen und durchführen, dann nutzen Sie Erfahrungen aus vielen erfolgreichen und oft herausfordernden Lerngeschichten. Personen, die mit verschiedenen Vorgängerversionen dieses Buches autodidaktisch oder in einer der zahlreichen Aus- und Weiterbildungsveranstaltungen gearbeitet haben, hatten es mit unterschiedlichen Problemstellungen und Hindernissen der Evaluation zu tun, und konnten vielfach entsprechende Lösungen für diese finden.
Der vorliegende Text hat seine Wurzeln in Veranstaltungsskripten und Studienbriefen (z.B. Beywl & Balzer, 2009, Balzer & Beywl, 2014) und natürlich in seiner ersten Auflage (Balzer & Beywl, 2015), die mit dem vorliegenden Text grundlegend überarbeitet und erweitert worden ist: Dazu gehören einerseits Ergänzungen und Präzisierungen vorhandener Kapitel. So wird die einheitliche Begriffsverwendung weiter geschärft – z.B. wird nun konsequent die Bezeichnung «Evaluationsprojekt» verwendet, wenn eine geplante oder realisierte Evaluation gemeint ist. Das Wort «Projekt» als eine Klasse von Evaluationsgegenständen wird hingegen wenn immer möglich durch Bezeichnungen wie «Programm» oder «Maßnahme» ersetzt. Ebenso ist das Designkapitel grundlegend überarbeitet, und Evaluationszwecke werden nun konsistenter als verbesserungsorientiert, rechenschaftslegungsorientiert, grundsatzentscheidungsorientiert und wissensgenerierend unterschieden. Die aktuellen Revisionen der DeGEval- und SEVAL-Evaluationsstandards sind eingearbeitet. In der deutschsprachigen Fachliteratur bislang wenig ausgeführte Themen wie die Typisierung von Evaluationsfragestellungen, das Verständnis von «Daten» in der Evaluation, die Festlegung der Evaluationskriterien, die Bewertungssynthese sowie der Einfluss durch Evaluation sind weiter vertieft. Darüber hinaus kommen Kapitel zur Fragebogenkonstruktion und zur Text-Sortier-Technik sowie zwei ausführliche Fallbeispiele hinzu. Sowohl neue wie aktualisierte Literatur ist eingearbeitet.
Der Titel dieses Buches ist ein Vorgriff auf das, was Sie nach einer systematisch durchgeführten Evaluation erreicht haben, und markiert den Abschluss eines Dreischritts:
❙ evaluiert? – Ein legitimer, vielfach notwendiger Checkpunkt, der in der Lebensphase eines Programms anzuwenden ist.
❙ evaluiert! – Ein Planungsentschluss, der gefasst wird, wenn die Evaluation einer Maßnahme als möglich und nutzenversprechend eingeschätzt wird.
❙ evaluiert. – Der Schlusspunkt hinter der Durchführung einer Evaluation, an den sich gelegentlich ein neuer Dreischritt anschließt.
Mit dem im Untertitel genannten «Bildungsbereich» sind auch zahlreiche benachbarte Felder angesprochen. Zum einen sind dies alle Bildungsstufen von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung. Zum anderen sind dies Handlungsfelder der Sozialen Arbeit, des Gesundheitsbereichs, der Verbraucherarbeit, der Beratung, des Coachings und viele andere mehr. Wichtig ist, dass es zumindest im weitesten Sin- ne um intentionales, also zielgerichtetes Lernen geht, das im Rahmen von Programmen stattfindet. Was hier unter einem Programm verstanden wird, schlagen Sie am besten gleich im ➞ Glossar am Ende des Buches nach – das Wort bzw. der Wortbestandteil wird über 500-mal in diesem Buch genutzt. Sie werden das Buch auch nutzen können, wenn das Gegenstandsfeld ein anderes ist als Bildung – vieles lässt sich 1:1 übertragen. Die Erarbeitung der für Evaluationen kennzeichnenden Methodologie wird dadurch erleichtert, dass die Beispiele aus dem Bereich Bildung aus einem für viele bekannten Kontext stammen.
Adressierte dieses Buches sind alle, die sich die fachlichen Grundlagen der Evaluation erarbeiten wollen, um Evaluationen Schritt für Schritt planen und schließlich erfolgreich umsetzen zu können. Angesprochen sind zum einen Studierende in den grundständigen Bachelor-, besonders den Masterstudiengängen im Bereich der Bildungswissenschaften und auch der sozialen Arbeit sowie ihrer Bezugsdisziplinen, u.a. Psychologie, Soziologie und Wirtschaftswissenschaft. Zum anderen richtet sich das Buch an Weiterbildungsstudierende in Programmen, die ein substanzielles Element zur Evaluation enthalten, z.B. im Bereich des Projekt-, Change- oder Qualitätsmanagements. Schließlich gehören auch Fachpersonen in Bildungsorganisationen und -abteilungen, die ihr Wissen und Können im Prozess der Arbeit auf- und ausbauen wollen, zu den Hauptadressierten.
Erfahrene Evaluierende können dieses Buch im Rahmen eines kombinierten Schulungs- und Beratungsangebotes einsetzen. Präsenzzeiten der Teilnehmenden können – wie schon vielfach mit den Vorläufern dieses Buches umgesetzt – durch die vorbereitende Lektüre und evtl. in Kombination mit der Bearbeitung der Übungsaufgaben reduziert werden. Durch ein solches Konzept eines «inverted classroom» kann diese Präsenzzeit effektiver für kollegiale Beratung und Coaching durch Evaluationsexpertinnen und -experten genutzt werden. Dabei kann z.B. eine reale Evaluation über zehn – jeweils durch ein Buchkapitel erläuterte – Schritte geplant und gegebenenfalls danach tatsächlich umgesetzt werden.
Detaillierte Lernziele dieses Buches finden sich je zu Beginn der ➞ Kapitel 2–13. Durch ein intensives Studium dieses Buches können Sie u.a.:
❙ wissenschaftliche Evaluation definieren,
❙ eine systematische Schrittfolge für eine für den Auftrag maßgeschneiderte Evaluation planen,
❙ den jeweiligen Evaluationsgegenstand differenziert beschreiben,
❙ die im Rahmen einer Evaluation zu berücksichtigenden Akteure identifizieren,
❙ Evaluationszwecke und -fragestellungen präzise formulieren,
❙ Kriterien für die systematische Bewertung klären und anwenden,
❙ geeignete Erhebungsdesigns auswählen und Erhebungsmethoden bestimmen,
❙ die Erhebungsarbeiten effizient und flüssig in den Bildungsalltag einbetten, mit einem Schwerpunkt bei Fragebogen,
❙ Auswertungs- und Bewertungsarbeiten konzipieren und abstimmen, mit einer Vertiefung bei qualitativen Daten,
❙ Evaluationsberichte auf die Adressierten zeitlich und inhaltlich abstimmen,
❙ die effektive Nutzung der Evaluation und ihrer Ergebnisse vorbereiten,
❙ sowie Voraussetzungen für eine Evaluation der Evaluation – die sogenannte Meta-Evaluation – schaffen.
Es empfiehlt sich, das Buch von vorne nach hinten durchzuarbeiten. ➞ Kapitel 1 enthält eine kleine Fallbeschreibung dazu, welche Herausforderungen sich schon ganz zu Beginn der Evaluation einer Bildungsmaßnahme stellen. Das Beispiel ist bewusst einfach gewählt. Dennoch entfaltet sich in seinen fiktiven Dialogen bereits die Komplexität, deren Bewältigung auch für erfahrene Evaluierende immer wieder eine große Herausforderung darstellt. In vielen der 39 Beispielkästen der nachfolgenden Kapitel wird auf dieses Eingangsszenario zurückgegriffen. Andere enthalten verdichtete kurze Fallbeispiele von Evaluationen, jeweils bezogen auf das im Kapitel behandelte Thema.
Die folgenden ➞ Kapitel 2–13 führen in die Methodologie und Fachsprache der Evaluation ein. Die Kompetenzen der Datenerhebung müssen Sie entweder bereits aus anderen Studien mitbringen oder durch Bearbeitung von einschlägigen Lehrbüchern zu empirischen Methoden evtl. in Kombination mit entsprechenden Studienangeboten erwerben. Gleiches gilt für die qualitativen und quantitativen Auswertungsverfahren. In den entsprechenden Kapiteln dieses Buches geben wir Literaturempfehlungen, welche durch Internetquellen ergänzt werden.
Für die zweite Auflage wurden alle Kapitel überarbeitet. Das gilt besonders für die ➞ Kapitel 7 (Bewertungskriterien) und 8 (Erhebungsdesign). In ➞ Kapitel 10 ist die Bewertungssynthese ausführlicher behandelt. Neu erarbeitet sind auch die Übungsaufgabe zur Unterscheidung von Fragestellungs-Arten sowie die Ausführungen zur Verbindung von Evaluationsfragestellungen und Erhebungsmethoden in ➞ Kapitel 6. Von den knapp 320 Literaturangaben ist mehr als ein Viertel neu hinzugekommen oder aktualisiert.
Eine exemplarische Erweiterung und Vertiefung bei Erhebung und Auswertung bilden die neu aufgenommenen ➞ Kapitel 14 und 15, welche unter einer evaluationsspezifischen Perspektive in die Konstruktion von Fragebogen sowie in die qualitative Auswertungsmethode Text-Sortier-Technik einführen. Ebenfalls neu ist ➞ Kapitel 16, in dem zwei reale Fallbeispiele den zuvor geschilderten zehnschrittigen Evaluationsprozess illustrieren.
Vielfach wird in späteren Kapiteln das Wissen der vorangehenden vorausgesetzt. Eine Besonderheit besteht darin, dass alle Fachbegriffe nach bestimmten Regeln definiert sind und sie bei jeder Verwendung im Buch stets dieselbe Bedeutung haben. Sie finden die Begriffserklärungen im angehängten Glossar, das – wie einige andere im Literaturverzeichnis aufgeführte aktuelle Publikationen – auf dem noch umfangreicheren Online-Glossar des Evaluationsinstituts Univation basiert (vgl. Schobert, Beywl & Niestroj, 2016). Es ist unter http://eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation verfügbar.
Die meisten Kapitel des Evaluationsprozesses enthalten Übungsaufgaben. Diese ermöglichen es, Ziele unterschiedlicher Anspruchsniveaus zu verfolgen, von der Erarbeitung des Begriffsverständnisses über die Anwendung von Wissen auf vorgegebene Fallbeispiele bis hin zum Transfer auf reale Praxisbeispiele aus den Bildungsfeldern, in denen Sie tätig sind. Im Anhang des Buches finden Sie passende Musterlösungen. Für am Selbststudium Interessierte empfiehlt es sich, alle Übungsaufgaben durchzuarbeiten. Wenn Sie in Lerngruppen arbeiten, tauschen Sie sich zu Ihren Lösungen aus. Wenn Sie an einer Präsenzweiterbildung teilnehmen, in der Sie von Evaluationsexpertinnen und -experten begleitet werden, ist auf die Bearbeitung der Übungsaufgaben eventuell zu verzichten.
Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum leichteren Verständnis haben wir diese sinngemäß ins Deutsche übersetzt und die übersetzten Textteile in den Text integriert. In den Kapiteln zur Fragebogenerstellung und zur Text-Sortier-Technik sowie in den beiden Fallbeispielen werden Originaldokumente aus Evaluationen in der Deutschschweiz genutzt, mit leicht abweichender Rechtschreibung.
Sollten Sie bei der Lektüre des Buches auf Fehler oder unklare Passagen stoßen, schreiben Sie uns bitte eine E-Mail an: evaluiert@lars-balzer.info.
Lars Balzer und Wolfgang Beywl, Zollikofen und Bern, im Oktober 2018
1 Einstieg ins Thema
Was ist eigentlich eine Evaluation?
Fallbeispiel
Stellen Sie sich einen Weiterbildungskurs zum Thema «Wie erstelle ich meine erste Homepage?» vor, in dem an vier Abenden Basiswissen über die Erstellung von Internetseiten vermittelt wird.
Nachdem dieser Kurs als Pilot gestartet ist, fragen sich die Weiterbildungsverantwortlichen in einem Teamgespräch, wie gut ihre Arbeit eigentlich ist. Nach Kursende gehen die Teilnehmenden ihrer Wege, man trifft sie nicht mehr. Ob mehr Wissen vorhanden ist als zuvor und ob tatsächlich eigene Internetseiten erstellt worden sind, ist den Weiterbildungsverantwortlichen normalerweise nicht bekannt. «Wir brauchen eine Evaluation, um zu überprüfen, ob wir gute Arbeit leisten», schlägt einer der Verantwortlichen vor. Bevor sie einen Evaluationsauftrag an eine interne oder eine externe Evaluationsfachperson formulieren, diskutieren sie die Möglichkeiten.
Erfolg = Zufriedenheit?
Herr Schmidt ist von dieser Idee sogleich begeistert: «Lasst uns doch am Ende des Kurses unsere Teilnehmenden fragen, ob sie mit uns und unserer Arbeit zufrieden sind. Wenn z.B. 85 Prozent von ihnen mit unseren Veranstaltungen zufrieden sind, gerne zu weiteren Veranstaltungen kommen würden und uns weiterempfehlen, können wir doch mit Recht sagen, dass wir Gutes geleistet haben.» – «Ja, das stimmt», ist man sich schnell einig, «doch hilfreicher und interessanter wäre zu wissen, was den restlichen 15 Prozent oder auch den Zufriedenen nicht gefallen hat, damit wir uns weiter verbessern können!»
Erfolg = kurzfristiges Wissen?
«Darüber hinaus», stellt Frau Zbinden fest, «sollten wir mehr wissen als nur, wie zufrieden unsere Teilnehmenden sind. Ich glaube, bei uns geht es auch mal ganz lustig zu und her, und das gefällt allen. Zufriedenheit ist wichtig, denn das erhöht die Chance, dass unsere Kunden wiederkommen. Aber hauptsächlich sollen sie doch etwas lernen.» Kopfnicken macht die Runde. «Wir könnten unsere Teilnehmenden also ergänzend befragen, ob sie etwas gelernt haben.» – «Wobei: Können das unsere Teilnehmenden wirklich selbst beurteilen? Wie wäre es anstelle dessen mit einem Wissenstest am Ende der letzten Stunde? So könnten sie sich einerseits selbst überprüfen, und wir könnten andererseits erkennen, was von den Inhalten tatsächlich behalten worden ist!» – «Ja, das würde uns sicher helfen», ist die einhellige Meinung.
Erfolg = nachhaltiges Wissen?
«Aber was heißt eigentlich ‹behalten›?», wirft Frau Lavric ein. «Ein Wissenstest im Anschluss an eine intensive Fortbildung überprüft vielleicht das Kurzzeitgedächtnis oder den Fleiß, also wie intensiv sich jemand auf die Abschlussprüfung vorbereitet hat. Ist aber nicht vielmehr interessant, was längerfristig noch gewusst wird?» Ratlosigkeit macht sich breit. «Sollen wir unsere Teilnehmenden vielleicht zwei Monate später noch einmal testen?», fragt Herr Schmidt ungläubig, gar nicht mehr so begeistert wie noch zu Beginn der Diskussion. «Und wie sollen wir sie dazu motivieren? Der ganze Aufwand!» Ein leises Stöhnen in der Runde ist nicht zu überhören.
Erfolg = Anwendung?
«Es wird noch viel schwieriger, bei genauer Überlegung.» Frau Lavric spricht sich in Fahrt: «Selbst wenn nach zwei Monaten noch alles richtig gewusst wird, ist das zwar schön, aber unser eigentliches Ziel ist doch, dass die Teilnehmenden nicht nur bei einem Wissenstest gut abschneiden, sondern dieses Wissen auch tatsächlich anwenden. Denn selbst wenn der Wissenstest zu einem späteren Zeitpunkt erfolgreich ablaufen sollte: Wer sagt uns, dass jemand auch vernünftige Internetseiten erstellen kann? Und vielleicht auch tatsächlich solche erstellt hat? Wissensvermittlung ist nur ein Zwischenziel; schöne, funktionelle, sichere und suchmaschinenoptimierte Internetseiten sind hingegen das, was wir eigentlich erreichen wollen.» – «Stimmt, also lasst uns doch die Teilnehmenden zwei Monate nach Abschluss des Kurses anrufen und fragen, ob sie Internetseiten erstellt haben.» Damit ist Herr Malte überhaupt nicht einverstanden: «Das ist zwar eine gute Idee, aber zwei Monate sind eine zu kurze Zeitspanne, und einfach ein paar Internetseiten zu erstellen, ist keine große Herausforderung. Wir müssen die Internetseiten anschauen und selbst nach gewissen Usability-Kriterien überprüfen. Also müssen wir nach den Internetadressen fragen.» – «Das stimmt. Und vielleicht können wir uns schon ein wenig auf die Schultern klopfen, wenn die einfachsten Regeln der Internetseitenprogrammierung eingehalten worden sind. Und wer weiß, vielleicht haben sie nach einer gewissen Zeit auch eine sehr gute Platzierung in diversen Suchmaschinen?!» – «Das Problem ist nur: Wie bekommen wir das heraus?» – «Was wir also brauchen, ist eine Datenerhebung längere Zeit nach Ende unserer Veranstaltung.» Erneutes Kopfnicken: «Hiermit würden wir weiterkommen!»
Was genau löst den Erfolg aus?
«Aber was wüssten wir dann eigentlich genau?», meldet sich Frau Lavric wieder zu Wort: «Selbst wenn wir das alles in Erfahrung bringen können und feststellen sollten, dass 46 Prozent unserer Teilnehmenden gute Internetseiten erstellt haben: Was bedeutet ein solcher Prozentsatz? Sind das viele, sind das wenige? Wie viele Personen hätten auch ohne Weiterbildung Internetseiten erstellt? Ihr wisst, das Thema ist aktuell, und überall gibt es Do-it-yourself-Bausätze. Könnten wir also mit 46 Prozent zufrieden sein? Und hat unsere Weiterbildung eigentlich einen Anteil am möglichen Erfolg?» – «Wir brauchen einen Vergleichsmaßstab», ist die einstimmige Schlussfolgerung. Doch das ist leichter gesagt als getan. «Wie wäre es, wenn wir uns mit unseren Kolleginnen und Kollegen in Düsseldorf vergleichen würden? Die haben ein sehr ähnliches Konzept und eine ähnliche Klientel.» – «Das führt uns zwar weiter, aber ob wir absolut betrachtet Erfolg haben, wissen wir nicht. Vielleicht sind wir besser als das Team in Düsseldorf, aber was nutzt das, wenn wir alle eigentlich recht schlecht sind? Umgekehrt könnte ich gut damit leben, im Vergleich etwas schlechter zu sein, aber absolut betrachtet ein gutes Weiterbildungsprogramm anzubieten.»