Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts

3.1 Der Begriff »Evaluation«

Evaluation ist ein »außerordentlich vielfältiger Begriff« (Wottawa/Thierau 1998:13), ein schillerndes »Allerweltswort« (Kromrey 2005:33), dem »unterschiedliche Verständnisse« (Götz 1999:9) zugrunde liegen. Bereits Suchman (vgl. 1967:27) stellte vor 50 Jahren fest, dass dieser Terminus – abgesehen von seiner verbreiteten Beliebtheit – mangelhaft definiert und oftmals unpassend verwendet wird, geradezu »inflationär«, wie u.a. Spiel/Gössler (2001:9) und Stockmann (2010:9) dies bezeichnen. Das hat sich seither kaum verändert und es ist in der Tat schwer, in wenigen Worten exakt zu definieren, was Evaluation ist bzw. nicht ist, vor allem auch deshalb, weil je nach Kontext, in welchem der Terminus verwendet werden kann, Unterschiedliches damit verbunden scheint. Daher ist man »gut beraten, genau zu prüfen, ob dort, wo Evaluation draufsteht auch Evaluation drin ist« (Stockmann 2010:9), denn dieser Begriff gehört, wie es Liessmann (vgl. 2005:17) ausdrückt, zu jenen »Zauberwörtern«, die nie das bezeichnen, was die Wortbedeutung nahelegt, und das verbergen, was durch sie tatsächlich indiziert wird.

Während Guba/Lincoln (vgl. 1989:21) überhaupt die Ansicht vertreten, dass es keinen »richtigen« Weg gibt, Evaluation zu definieren, und sie meinen, dass die Frage »Was ist denn nun Evaluation wirklich?1« nicht nur nicht beantwortet werden kann, sondern es auch keinen Sinn macht, diese Frage überhaupt zu stellen, versucht Kromrey (vgl. 2005:33–36) sich diesem Begriff von zwei Richtungen aus anzunähern: Zum einen unterscheidet er die Verwendung von Evaluation hinsichtlich der unterschiedlichen Referenzebenen und zum anderen hinsichtlich der verschiedenen Kontexte, in welchen der Terminus Verwendung findet. Diese Unterscheidung ist plausibel und notwendig, denn selbst wenn man die Frage, was Evaluation letztendlich ist, nicht im Allgemeinen, sondern nur in der jeweiligen Situation und dem gegebenen Kontext beantworten kann, benötigt man einen Signifikanten, um über dieses Phänomen sprechen zu können, denn sonst befindet man sich schnell in jenem Dilemma, auf welches bereits Suchman (1967:27) hinwies:

»For the most part, its meaning is taken for granted and very few attempts have been made, even by those most concerned, to formulate any conceptually rigorous definition or to analyze the main principles of its use. The result is wide disagreement, with many other terms such as ’assessment’, ’appraisal’ and ’judgment’ often being used interchangeably with evaluation«.

3.1.1 Drei Referenzebenen von Evaluation

Die erste Gruppe von Referenzobjekten befindet sich, Kromreys Einteilung nach, auf der symbolischen und gedanklichen Ebene, wo Evaluation zum einen synonym mit Bewerten bzw. Bewertung verwendet wird und zum anderen für ein spezifisches […] Denkmodell eines nachprüfbaren Verfahrens des Bewertens steht (vgl. Kromrey 2005:33).

Diese Verwendung kann man aller Voraussicht nach etymologisch erklären, denn der deutsche Terminus Evaluation lässt sich auf lateinische1 Wurzeln zurückführen. Evaluation kann, wie u.a. bereits Stockmann (vgl. 2004:2) und Balzer (vgl. 2005:9f) feststellen, vom lateinischen Nomen »valor« (Wert) und der Vorsilbe »e/ex« (aus, heraus) hergeleitet werden, was man in weiterer Folge mit »einen Wert aus etwas ziehen« übersetzen kann, oder vom lateinischen Verb »valere« (wert sein). Ähnlich führen Gollwitzer/Jäger (vgl. 2009:XI) Evaluation auf das lateinische Verb »valuere« zurück, was auch dem deutschen Verb »wert sein« entspricht.

In diesem Kontext wird folglich z.B. der Wert bzw. die Qualität oder Güte von etwas vor dem Hintergrund bestimmter Vergleichswerte (Standards) beurteilt. Das beurteilte Etwas kann dabei ein Produkt, ein Prozess, ein Projekt, Programm etc. sein. Voraussetzung für die Beurteilung ist zum einen das Vorhandensein bestimmter Kriterien, die zur Bewertung herangezogen werden und zum anderen das Einholen von Informationen hinsichtlich des zu bewertenden Gegenstandes. Die gewonnene Information wird mit den vorhandenen Kriterien verglichen, was in weiterer Folge zu einer Bewertung bzw. Beurteilung führt. Der Terminus Evaluation stellt folglich ein Fremdwort im Deutschen dar, wenngleich das, was damit gemeint ist, alltäglich ist und überall stattfindet (vgl. Nuissl 2013:9).

Die zweite Begriffsebene bezieht Kromrey (vgl. 2005:33) auf ein spezifisches Handeln, auf die Durchführung eines Evaluationsprojektes, auf zielorientiertes Informationsmanagement. Evaluationsprojekte können auf unterschiedlichste Art durchgeführt werden und verschiedenste Intentionen verfolgen (siehe unten). So können z.B. die Lehrenden, die Studierenden, die Universität, einzelne Studienrichtungen oder Lehrveranstaltungen evaluiert werden. Dabei kann man das Augenmerk auf bestimmte Prozesse, Ergebnisse, Materialien u.Ä. richten.

Als dritte Begriffsebene versteht Kromrey (vgl. 2005:34) das Ergebnis des oben angeführten spezifischen Handelns, also das Resultat eines Evaluationsprozesses, etwas Punktuelles, welches z.B. in einem Evaluationsbericht oder Evaluationsgutachten dargestellt werden kann und für das Nachvollziehen des Evaluationsvorgangs besonders wichtig ist.

Resümierend kann Evaluation demnach für ein spezifisches Handeln stehen, welches sowohl die Gewinnung als auch die Bewertung von Informationen zum Ziel hat. Zudem kann sie auch das Ergebnis dieses Prozesses bezeichnen (vgl. Stockmann 2006:65). Diese Vielschichtigkeit führt mitunter zu Missverständnissen, wenn nicht genau expliziert wird, worauf man sich in einem bestimmten Kontext bezieht. Um dies zu vermeiden, werden in Folge verschiedene Kontexte von Evaluation diskutiert und festgestellt, was im vorliegenden Buch explizit darunter verstanden wird. Im Anschluss daran wird der Begriff von anderen, ähnlich wirkenden Konzepten abgegrenzt, um Unklarheiten zu vermeiden.

3.1.2 Unterschiedliche Kontexte von Evaluation

Im Hinblick auf die unterschiedlichen Kontexte, in welchen Evaluation verwendet werden kann, führt Kromrey (vgl. 2005:34) (1) den alltäglichen Sprachgebrauch, (2) die politische Argumentation, (3) die empirische Methodologie und (4) ihre Verwendung im Zusammenhang mit »gewöhnlicher« Umfrageforschung an. Das alleinige Vorhandensein dieser unterschiedlichen Kontexte wäre, wie er ausführt, grundsätzlich nicht problematisch, wenn sich nicht – je nach Zusammenhang – mitunter völlig unterschiedliche Konzepte hinter dem Terminus verbergen würden.

Er expliziert (vgl. Kromrey 2005:34f), dass Evaluation im alltäglichen Sprachgebrauch »ausgesprochen unspezifisch« ist und im Wesentlichen nicht mehr ausdrückt, als dass irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird. Das führt zur Problematik, dass derselbe Sachverhalt von unterschiedlichen Individuen sehr unterschiedlich bis gegensätzlich eingeschätzt und beurteilt werden kann, wie er fortführt. Im Kontrast hierzu wird der Begriff in politischen Argumentationen Kromreys Ansicht nach wesentlich spezifischer, wenngleich auch vielfältiger verwendet, und erstreckt sich z.B. von Effizienzmessungen in ökonomischen Zusammenhängen über von Sachverständigen durchgeführten Analysen der Funktionsfähigkeit von Organisationen bis hin zur beratenden Funktion im Bereich der Entwicklung und Optimierung von Handlungsprogrammen etc. In der empirischen Methodologie versteht man hingegen das Design für einen spezifischen Typ von Sozialforschung, der die Informationsbeschaffung mit expliziten Zielen und Instrumenten zum Gegenstand hat, während Evaluation im Zusammenhang mit Umfrageforschung die Erhebung und Auswertung bewertender (evaluierender) Aussagen von Befragten meint, die in einem bestimmten Verhältnis zum evaluierenden Gegenstand stehen (vgl. Kromrey 2005:35). Diese Ausführungen Kromreys verdeutlichen die Komplexität, die mit der Verwendung des Terminus Evaluation einhergeht.

Auf eine ähnliche Vielschichtigkeit des Begriffs im Hochschulkontext wurde auch in diesem Buch bereits hingewiesen, weil Evaluation in diesem Zusammenhang einerseits oft als Oberbegriff für sämtliche qualitätssichernde Maßnahmen wie Audit, Akkreditierung und Benchmarking verwendet wird, und andererseits, weil Evaluation i.e.S. auch eine spezielle Methode dieser Verfahren ist – z.B. die Evaluation von Lehrveranstaltungen.

Zudem kann man feststellen, wenn man die Literatur zu diesem Begriff analysiert, dass er häufig nicht korrekt oder nicht explizit genug von anderen Begriffen, wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. abgegrenzt wird, was die Problematik, eine exakte Definition zu finden, erschwert, wie in Folge erläutert wird.

3.2 Abgrenzung zu anderen Begriffen

Eine detaillierte Abgrenzung des Begriffs Evaluation von Begriffen wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. stellt nicht nur eine große Herausforderung dar, sondern kann nicht in wenigen Worten erfolgen. Da dies auch nicht die Intention dieses Buches ist, genügt für den gegebenen Kontext eine überblicksartige Skizze, wenngleich auf die jeweiligen Werke, die diese Analyse in größerem Umfang ermöglichen, in den einzelnen Abschnitten verwiesen wird.

3.2.1 Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung

Ein Grund, warum die Verwendung des Begriffes Evaluation oftmals unklar erscheint, ist, weil dieser in der Literatur nicht selten synonym zu anderen Begriffen wie Evaluationsforschung, Programmevaluation, Evaluierung etc. verwendet wird. Obwohl bereits Suchman (vgl. 1967) versuchte, eine klare Abgrenzung zwischen Evaluation und Evaluationsforschung herzustellen, konnte sich diese Bemühung in der scientific community bis dato nicht durchsetzen und auch in neueren Auflagen von Standardwerken (siehe z.B. Rossi/Lipsey/Freeman, 2004:6) werden diese Begriffe nach wie vor bzw. wieder weitgehend synonym verwendet.

Suchman (vgl. 1976) verstand unter Evaluation im Wesentlichen den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms. Dabei sind seiner Ansicht nach keine systematischen und wissenschaftlichen Verfahren oder datengestützten Beweise zur Untermauerung einer Beurteilung nötig. Unter Evaluationsforschung hingegen verstand er die explizite Verwendung dieser wissenschaftlichen Methoden bzw. Verfahren bei einer Beurteilung. Auf diese Weise ist seiner Ansicht nach die Trennung zwischen einer reinen Behauptung und einer auf Beweisen basierenden Bewertung möglich. Für mich kommt diese erste Unterscheidung der Abgrenzung zwischen allgemeiner und wissenschaftlicher Evaluation gleich, auf die noch näher eingegangen wird (siehe 3.2.5).

Wenngleich der Ansatz von Suchman zweifelsfrei seine Berechtigung hat und ein erneuter allgemeiner Versuch sämtliche, mit Evaluation in Verbindung stehenden Termini klar zu definieren und voneinander abzugrenzen auch heute noch sehr sinnvoll ist, so kann bezweifelt werden, dass dieser Versuch aktuell mehr Erfolg hätte als jener von 1967. Daher wird dies im vorliegenden Buch nicht intendiert, sondern lediglich expliziert, was hier konkret unter den jeweiligen Begriffen im jeweiligen Kontext verstanden wird:

Evaluation wird in diesem Buch im Allgemeinen und in ihrer simpelsten Form als das Sammeln, Analysieren und Bewerten von Informationen gesehen und ist synonym zu Evaluierung. Letzteres wird als Nomen von evaluieren verstanden und wird dann verwendet, wenn explizit der Prozess des Bewertens vor dem Hintergrund bestimmter Kriterien betont werden soll. Dies kann bei einer allgemeinen Evaluation ohne wissenschaftliche Methoden erfolgen oder bei einer wissenschaftlichen Evaluation auf Basis dieser. Im Zusammenhang mit dem Kontext dieses Buches muss bereits hier darauf hingewiesen werden, dass im erweiterten Rahmen des pädagogischen Handelns bzw. der Optimierung von Lehr- bzw. Lernsituationen etc. weitere Definitionen von Evaluation folgen, sie jedoch im gegebenen Kontext erörtert und demgemäß an den jeweiligen Stellen angeführt und besprochen werden.

Das Ergebnis einer Evaluation wird hier nicht als Evaluation bezeichnet, sondern als Evaluationsergebnis bzw. Ergebnis der Evaluation. Unter Programmevaluation wird eine konkrete Form der Evaluation verstanden, die sich auf das Evaluieren eines Programms (z.B. eines Fremdsprachenkurses) bezieht.

Evaluationsforschung betont nicht nur den wissenschaftlichen Kontext einer Evaluation, sondern sie ist als eine eigenständige Wissenschaftsdisziplin zu verstehen (wenngleich sie in der Regel nur als Teildisziplin der Sozialforschung betrachtet wird), die sich der üblichen wissenschaftlichen Methoden und Techniken bedient, um wissenschaftliche Evaluationen zu beschreiben und durchzuführen. Sie stellt das theoretische Grundgerüst für professionelle Evaluationen zur Verfügung bzw. zieht sie aus den Ergebnissen von Evaluationen Rückschlüsse, auf deren Basis erneut Erkenntnisse gewonnen und verallgemeinert werden können, die in Folge eine Weiterentwicklung von Evaluation(-sforschung) ermöglichen. Daher wird dieser Begriff im vorliegenden Buch explizit nicht synonym zu Evaluation gesehen.

3.2.2 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung

Im Kontext dieses Buches ist auch explizit zwischen Evaluation, Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung zu unterscheiden. Evaluation kann, wie bereits unter Abschnitt 2.3.2.4 angeführt, zum einen als Hyperonym zu diesen Begriffen gesehen werden und stellt zum anderen das Generieren, Analysieren und Bewerten – das Evaluieren – von Informationen dar. Unter Lehrveranstaltungsevaluation wird das Evaluieren einer expliziten Lehrveranstaltung (in der Regel) durch die Studierenden verstanden. Alternativ bzw. zusätzlich zur Lehrveranstaltungsevaluation durch Studierende könnte diese auch von KollegInnen evaluiert werden, was dann als Peer-Evaluation bezeichnet wird (siehe Abschnitt 3.3.2.4.2). Wird die gesamte Lehre eines Studiums oder eine Universität evaluiert, spricht man von Lehrevaluation oder Evaluation der Lehre.

Feedback wird als Synonym zu Rückmeldung gesehen und stellt nicht nur einen wichtigen Bestandteil herkömmlicher Kommunikationssituationen dar (siehe z.B. Watzlawick et. al. 2007:29ff), sondern ist auch essentiell im Unterricht – in der Kommunikation zwischen Lehrenden und Studierenden. In diesem Zusammenhang können Feedbacks/Rückmeldungen im Rahmen der Lehrveranstaltungsevaluation oder auf andere Weise gegeben und demnach auch als Teil eines Evaluationsvorgangs bzw. -prozesses aufgefasst werden, weil jedem Feedback/jeder Rückmeldung in der Regel eine Evaluation vorangeht und/oder eine weitere daran anschließt, wie die folgende Grafik verdeutlicht.

Abb. 2: Beispiel einer Kommunikationssituation im Unterricht mit Feedback

Allgemein versteht man unter Feedbacks Rückübermittlungen von Informationen, die vom Empfänger/von der Empfängerin einer Nachricht an den Sender/die Senderin der Nachricht übertragen werden. Diese Rückmeldungen können zum einen Informationen enthalten, ob – und wenn – wie und was von der jeweils gesendeten Nachricht der Empfänger/die Empfängerin wahrgenommen bzw. verstanden hat und welche Reaktionen dies bei ihm/ihr auslöste. Durch diese Information ist es dem Sender/der Senderin möglich, in geeigneter Weise auf diese Rückmeldungen zu reagieren.

Rückmeldungen können die unterschiedlichsten Formen aufweisen, indirekt oder direkt sein und im Unterrichtsgeschehen von der Lehrperson oder von den Studierenden ausgehen. Indirekte Feedbacks wären z.B. körpersprachlicher Natur, könnten durch Gestik oder Mimik zum Ausdruck gebracht werden und sind oft schwieriger zu deuten als direkte Feedbacks, da sie vielfach nur unbewusst wahrgenommen werden und oftmals eher zu Vermutungen anregen als zu konkreten Rückschlüssen zu führen. Direkte Feedbacks können, ausgehend von der Lehrperson, zum Beispiel durch mündliche oder schriftliche Korrekturen erfolgen oder durch Stellungnahmen zu diversen Arbeiten, die von den Studierenden abgegeben wurden. Die Lehrperson evaluiert die Performanz der Studierenden in den unterschiedlichsten Situationen und gibt ihnen Rückmeldung. Von den LernerInnen ausgehend sind direkte Feedbacks z.B. konkrete Äußerungen zu einzelnen Themen im Unterricht, wie beispielsweise Aufforderungen an die Lehrperson, etwas erneut zu erklären bzw. zu wiederholen oder Fragen, die sie während oder nach dem Unterricht stellen. Gerade diese direkten Feedbacks sind für mich als Lehrender im Hinblick auf gute Lehre und damit den Lehr- bzw. Lernerfolg von größter Bedeutung, da man als LehrendeR ohne diese Rückmeldungen von den Studierenden keine (akkurate) oder nur sehr wenig Auskunft darüber hat, ob und wie das vermeintliche input aufgenommen bzw. was davon zum tatsächlichen intake wurde.

3.2.3 Evaluation vs. Qualitätsmanagement

Für weitere Verwirrung sorgt die oftmals unzureichende terminologische Trennung von Evaluation und Qualitätsmanagement bzw. Total Quality Management (TQM). Wenngleich Evaluation und Qualitätsmanagement Gemeinsamkeiten aufweisen und die beiden Termini oft in einem Atemzug genannt werden, sind zwischen diesen beiden Begriffen zahlreiche Unterschiede zu verzeichnen, die für eine exakte Unterscheidung und gegen eine potentiell synonyme Verwendung der Termini sprechen. Einen detaillierten Überblick zu diesem Thema geben Stockmann (2006: Kap. 2.4), Ernst (2008: Kap. 2.1) und Ditton (2010), deren Ausführungen als Basis für die untenstehenden Tabellen dienen, in welchen Gemeinsamkeiten und Unterschiede in aller Kürze aufgezeigt werden sollen:

3.2.3.1 Gemeinsamkeiten

Tab. 3: Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation

3.2.3.2 Unterschiede

Tab. 4: Unterschiede zwischen Qualitätsmanagement und Evaluation