Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts

Christoph Waldhaus

Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts

Die theoretischen Grundlagen

Narr Francke Attempto Verlag Tübingen

[bad img format]

© 2017 • Narr Francke Attempto Verlag GmbH + Co. KG

Dischingerweg 5 • D-72070 Tübingen

www.francke.de • info@francke.de

Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.

E-Book-Produktion: pagina GmbH, Tübingen

ePub-ISBN 978-3-8233-9012-1

Meinen Eltern.

Als Universitätslehrender beobachtete ich jahrelang am Semesterende meine Studierenden beim Ausfüllen eines von meiner Universität vorgelegten Fragebogens, in dem sie über meine Lehrveranstaltung, meine fachliche Kompetenz und über meine Fähigkeit, Lehrstoff zu vermitteln, befragt wurden. Ob ich in meinen (auf Englisch abgehaltenen) Kursen gendergerechte Formen verwendete, wollte die Universität auch wissen. Weder die Studierenden noch ich nahmen das Ankreuzen der Fragebogen-Kästchen besonders ernst; wir wussten ja, dass die Fragen sehr allgemein formuliert und daher wenig aussagekräftig waren, dass die Antworten zwar in eine statistische Auswertung konvertiert würden, diese aber weitgehend ungelesen oder unbeachtet im Papierkorb landen würde.

In einer Zeit, in der im Zuge des Bologna-Prozesses die Betonung auf den Ausgangskompetenzen der Studierenden liegt, fand ich diese trivialisierte Form der Evaluierung äußerst bedenklich. Obwohl ich dieses Ritual zwangsläufig durchführte, schwirrte mir ständig die Frage im Kopf herum: cui bono? Oder um es etwas umgangssprachlicher zu formulieren: wozu der ganze Zirkus? Daher erwartete ich mit großer Spannung die Ergebnisse des von Christoph Waldhaus durchgeführten Forschungsprojektes, welches ich im Rahmen seiner Dissertation betreuen konnte. Erleichtert konnte ich feststellen, dass es ihm mit seinem Modell der Komplexen Dynamischen Evaluation gelungen war, die Evaluierung aus dem Zirkuszelt zu befreien und sie in den Bereich der hohen Künste zu führen.

LeserInnen dieses Buches werden in mehrfacher Hinsicht auf ihre Kosten kommen:

Der erste Teil liefert einen äußerst umfassenden Überblick über vorhandene Theorien und Modelle der Qualitätssicherung und Evaluation. Vor einigen Jahren trug ein Film von Woody Allen den Titel »Everything you always wanted to know about sex but were afraid to ask«. Man könnte die ersten Kapitel dieses Buchs ähnlich titulieren: »Alles was Sie schon immer über Evaluation und Qualität wissen wollten, aber sich bisher nicht zu fragen trauten«. Denn Christoph Waldhaus informiert seine LeserInnen sowohl über die vielen Fragen, die die Qualitätsoptimierung auf Basis von Evaluation aufwirft, als auch über eine sehr breite Palette an Theorien und Modellen, die sich in den letzten Jahrzehnten der Evaluation im Kontext der europäischen Hochschulen widmeten, fasst sie zusammen und nimmt sie kritisch unter die Lupe bzw. nutzt Aspekte daraus für sein eigenes Modell.

Den Höhepunkt des Buches bildet die Präsentation des eigens entwickelten Modells der Komplexen Dynamischen Evaluation (KDE). Diese besteht aus drei ineinanderfließenden Komponenten: eine Vor-, eine begleitende und eine Endevaluation. Von besonderem Interesse ist der prozessorientierte Ansatz der Evaluation, der, im Gegensatz zu einer alleinigen Vor- und Endevaluation, das Potential hat, Erkenntnisse unmittelbar in den Lehr- und Lernprozess einfließen zu lassen und damit beide positiv zu beeinflussen. Sie ist also nicht nur summativer, sondern auch formativer Natur. Eine prozessorientierte Evaluation im gegebenen Kontext setzt voraus, dass der/die Evaluierende selbst in der Lehre tätig ist; die Evaluation sieht ja eine Begleitung vor.

Ein besonderer Vorzug dieses Buches besteht zudem darin, dass Christoph Waldhaus kein abgehobener unterrichtsferner Akademiker ist, sondern er und einige seiner KollegInnen die KDE in Sprachkursen an der Universität Graz angewendet haben. Das kontinuierliche Feedback von Studierenden über den Unterricht und über das eigene Lernen, sowie die aus dem Einsatz der KDE gewonnenen Erkenntnisse ermöglichten es ihm in Folge, sein Modell ständig zu verbessern. Was die LeserInnen dieses Buches erwartet, ist daher ein Evaluierungsmodell, das auf einer Fülle theoretischer Erkenntnisse basiert, die im vorliegenden Band behandelt werden und zusätzlich wertvolle Impulse und Ideen für praktizierende LehrerInnen liefert. Diese werden im Detail in den Folgebänden gegeben. Vor allem zeigt sein Ansatz auch, welchen Stellenwert Evaluation im Rahmen eines aufgeklärten, modernen Unterrichtskonzepts haben kann.

Graz, im April 2017

Ao. Univ-Prof. Dr. David Newby

Vorwort

Das vorliegende Buch ist ein Teil meiner Dissertation, welche im Jahr 2014 an der Karl-Franzens-Universität Graz zugelassen wurde. Nach einigen Modifikationen und Aktualisierungen habe ich mich dazu entschlossen, die Idee, die hinter der Komplexen Dynamischen Evaluation (KDE) steht, aufgrund ihres Umfangs in mehreren Bänden zu publizieren. Dieser erste Band soll die theoretischen Grundlagen schaffen und, auf diesen aufbauend, die Konzeption der KDE aufzeigen.

Wenngleich die unterschiedlichen Inhalte auch für ForscherInnen in den Bereichen Qualität und Evaluation interessant sein dürften, so richten sich die einzelnen Bände primär an universitäre Fremdsprachenlehrende, die das Modell in ihrem Unterricht einsetzen, oder eine andere Sichtweise auf Evaluation und Qualitätsverbesserung im Fremdsprachenunterricht kennen lernen möchten. Zudem wird eine Verknüpfung zwischen Fremdsprachendidaktik und der Theorie der komplexen dynamischen Systeme (CDST) hergestellt, was in Folge auch als Basis für die Komplexe Dynamische Evaluation dient. Nach Auseinandersetzung mit den einzelnen theoretischen Komponenten wird gegen Ende dieses ersten Bandes die KDE auf Basis der vorangehenden theoretischen Ausführungen konzipiert und der Einsatz dieses Modells im universitären Fremdsprachenunterricht skizziert. Band Eins dient daher als Grundlage für sämtliche spätere Publikationen zur KDE.

Die zukünftigen Bände befassen sich in Folge mit der Konzeption und Testung der einzelnen Hauptkomponenten des Modells (Vorevaluation, Begleitende Evaluation und Endevaluation) und seinen jeweiligen Bestandteilen. Zudem werden sowohl potentielle Herausforderungen wie auch mögliche Lösungen aufgezeigt und die LeserInnen finden Hinweise und Tipps bei der praktischen Anwendung der KDE oder ausgewählter Teilkomponenten im Fremdsprachenunterricht.

Taipei, im April 2017

Assist. Prof. Dr. Christoph Waldhaus

Danksagung

Wie bereits Goethe feststellte, lässt sich wahrhafte Dankbarkeit mit Worten nicht ausdrücken. Dennoch möchte ich dies versuchen, weil das vorliegende Buch ohne die Unterstützung vieler Menschen in meinem Umfeld nicht möglich gewesen wäre.

An erster Stelle sage ich meinen Eltern Danke, denn sie ermöglichten mir, diesen Weg einzuschlagen und unterstützten mich dabei, ihn bis zum Ende zu gehen. In Hinblick auf die Publikation bedanke ich mich dabei besonders herzlich bei meiner Mutter, die die Mühe des Korrekturlesens auf sich nahm.

In weiterer Folge danke ich meinem Doktorvater Prof. Dr. David Newby und meinem Zweitbetreuer Prof. Dr. Paul Portmann-Tselikas für ihre wertvollen Hinweise, kritischen Fragen, sowie auch für ihre aufmunternden Worte und die Gespräche zwischendurch, die mich auch in persönlicher Hinsicht bereicherten. Ebenso bedanke ich mich bei Prof. Dr. Stefan Schneider für seine hilfreichen Impulse und bei Prof. Dr. Tobias Wolbring sowie Ass.-Prof. Dr. Werner Stangl, die mir vor der Publikation ein Feedback gaben.

Ein großes Dankeschön gilt DI Michael Spitzer, der mir bei technischen Fragen zur Seite stand und sämtliche Programmierarbeiten an der KDE in höchster Effizienz und Präzision und zumeist unter hohem Zeitdruck durchführte.

Darüber hinaus möchte ich dem Team von treffpunkt sprachen meinen herzlichen Dank aussprechen, in erster Linie der Leiterin, Dr. Daniela Unger-Ullmann, die mir nicht nur den einen oder anderen praxisbezogenen Tipp gab, sondern auch ermöglichte, das Projekt VorEval am treffpunkt sprachen zu testen und die finanziellen Voraussetzungen und organisatorischen Rahmenbedingungen hierfür schaffte. Natürlich wäre es auch ohne meine KollegInnen und alle an der Konzeptions- und Testphase teilnehmenden Studierenden nicht möglich gewesen, dieses Projekt durchzuführen, weswegen ich auch ihnen zu großem Dank verpflichtet bin.

Zuletzt danke ich Frau Dr. Corinna Whyment für die Endkorrektur und ihre aufmunternden Kommentare.

1 Einleitung

Probleme kann man niemals mit derselben Denkweise lösen,

durch die sie entstanden sind.

(Albert Einstein)

Die Evaluation von Lehrveranstaltungen durch Studierende stellt ein mittlerweile in nahezu allen universitären Kursen, Seminaren und Vorlesungen verwendetes Mittel der Qualitätsoptimierung und -sicherung dar. Diese Methode wird in den USA bereits seit den 1920er Jahren (vgl. Marsh 1987:257) eingesetzt und untersucht und hat sich inzwischen auch im deutschsprachigen Raum als wahrscheinlich die Methode zur Verbesserung der Lehre etabliert. Hier fand sie ihren Ursprung als Folge der 68er-Bewegung und den damit verbundenen Reformen an den Hochschulen und »ergießt« sich seit Anfang der 1990er Jahre geradezu über die deutschsprachigen Universitäten, wie Rindermann (2009:32f) dies treffend formuliert.

Ihr Stellenwert im universitären Qualitätsmanagement wird auch durch ihre Verankerung in den jeweiligen Universitätsgesetzen untermauert, welche regelmäßige Evaluationen an deutschsprachigen Universitäten vor gut 20 Jahren zum fixen Bestandteil sämtlicher qualitätsverbessernder Bestrebungen machte (für Österreich siehe Kohler, 2009; für Deutschland siehe Schmidt, 2009 und für die Schweiz siehe Rhyn, 2009). Zudem werden die mit Evaluationen verbundenen Ergebnisse vielfach nicht nur innerhalb der Universitäten, sondern auch von Geldgebenden, PolitikerInnen und in den Medien diskutiert (siehe z.B. Der Standard 9. Mai 2007). Darüber hinaus hat mittlerweile sowohl die Anzahl der einzelnen Evaluationsmodelle als auch die Literatur hierzu ein Ausmaß erreicht, das – wie auch Mittag/Mutz/Daniel (2012:14) feststellen – »im Rahmen eines qualitativen Literaturreviews nicht mehr zu bewältigen ist«. Evaluation stellt demnach keine Modeerscheinung dar, sondern wird als wesentlicher Bestandteil der Qualitätsbestrebungen an Hochschulen gesehen.

Trotz dieser langen Historie, der Fülle an Publikationen zu diesem Thema und trotz ihres vermeintlichen Stellenwertes in der Hochschulpolitik wird die Lehrveranstaltungsevaluation dennoch nach wie vor von einigen kritisch betrachtet und ihre Effizienz im Hinblick auf die Optimierung der Lehre oftmals in Frage gestellt. Dies hat unterschiedliche Gründe und ist häufig auch darauf zurückzuführen, dass viele Evaluationen mitunter relativ konzeptlos wirken bzw. sind und mehrheitlich nicht von EvaluationsexpertInnen konzipiert oder ohne klar ersichtliche theoretische Basis erstellt wurden, wie Spiel (vgl. 2001:7) feststellt.

Während die einen (siehe z.B. Alphei 2006:7) in Bezug auf Lehrveranstaltungsevaluation von einem der wichtigsten Verfahren zur Unterrichtsoptimierung sprechen, ist es für andere (siehe z.B. Liessmann 2005:15ff) höchst umstritten oder sogar eine Krankheit, »Evaluitis« (siehe z.B. Simon 2000, Frey 2007), die die Lehrveranstaltungen an Universitäten befällt und an welcher Studierende und Lehrende gleichsam leiden, ohne wirklich nachhaltige Verbesserungen zu bemerken. Und in der Tat ist gerade jener Bereich der Evaluationsforschung rar, der sich konkret mit den durch Evaluation ausgelösten vermeintlichen Verbesserungen oder Verschlechterungen der Lehrqualität befasst, wie Rindermann (vgl. 2009:227) feststellt. vgl. Spiel/Gössler (vgl. 2001:13) weisen zudem darauf hin, dass die Konzentration der Evaluation im universitären Kontext primär auf Analyse und Bewertung liegt und nicht auf konkreten Änderungsmaßnahmen. Außerdem wird das »Wie« meist breit diskutiert, während das »Wozu« fast immer ausgeklammert bleibt (vgl. ibid.).

Welchen Standpunkt man in diesem mitunter subjektiv und oftmals emotional geführten Krieg der (Evaluations-)Welten auch vertreten mag, es sind reichlich Argumente für und auch gegen das Durchführen von Lehrveranstaltungsevaluationen vorhanden, die für die jeweiligen Evaluationsprojekte sorgfältig abgewogen werden müssen. Eine detaillierte Abhandlung hierzu würde den Rahmen dieses Buches sprengen, es sei u.a. jedoch auf Rindermann (2009), Kromrey (1996), McKeachie (1997), Simon (2000) und Frey (2007) verwiesen.

Während für mich die potentiellen Vorteile einer Evaluation in vielen Bereichen der universitären Qualitätsoptimierung, ganz besonders auch im Bereich des Fremdsprachenunterrichts, klar auf der Hand liegen, so teile ich gleichzeitig auch den kritischen Zugang zur Lehrveranstaltungsevaluation als der Methode zur Qualitätsoptimierung der Lehre, denn das Durchführen einer Evaluation stellt per se noch lange keine hinreichende Bedingung für Qualität oder deren Optimierung dar, wie auch Schöch (vgl. 2005:152) feststellt. Mindestens genauso wichtig wie die Evaluation selbst ist das, was darauf folgt. Nur wenn die mit Hilfe der Evaluation gewonnen Informationen genutzt und umgesetzt werden, lohnt sich der damit zwangsläufig verbundene Mehraufwand.

Zwei Dinge müssen an dieser Stelle mit aller Deutlichkeit kommuniziert werden: Erstens, jede Evaluation ist mit einem gewissen (Mehr-)Aufwand verbunden und braucht daher Ressourcen. Zweitens, eine Evaluation ohne durchdachtes Follow-Up bewirkt keine Qualitätsoptimierung. Nur wenn man sich dieser Tatsachen bewusst ist und den mit einer Evaluation bzw. dem daran anschließenden Follow-up verbundenen Mehraufwand in Kauf nimmt, kann eine Qualitätsverbesserung erfolgen.

Evaluation wird im vorliegenden Ansatz – wenn richtig durchgeführt – als zentrale, vielschichtige und wirkungsvolle Methode zur Unterrichtsoptimierung gesehen, jedoch ist auch zu betonen, dass sie kein Allheilmittel darstellt und auch nicht alle Probleme und Defizite, die sie aufzeigt, im Rahmen des Hochschulkontextes beseitigt werden können. Vielfach fehlen hier die nötigen (monetären) Mittel und (zeitlichen) Ressourcen. Zudem muss darauf hingewiesen werden, dass nicht jede aktuell eingesetzte Evaluation jene Wirkung erzielt, die damit intendiert wird.

Evaluiert man die an vielen Universitäten eingesetzten Evaluationsmodelle, kann man nicht selten feststellen, dass zahlreiche dieser Werkzeuge und Methoden in Hinblick auf deren Optimierungspotential oftmals fragwürdig sind und mitunter angezweifelt werden muss, ob damit tatsächlich eine wirksame Unterrichtsverbesserung möglich ist. Zentrale Probleme, die bei einer Metaevaluation1 im Vorfeld detektiert wurden, sollen in Folge kurz diskutiert werden, bevor im anschließenden Abschnitt der in diesem Buch konzipierte Lösungsansatz vorgestellt wird.

1.1 Problemstellung

Die Motivation für diese Arbeit entstand primär aus einer Unzufriedenheit heraus, die ich im Laufe meiner mittlerweile über zehnjährigen Lehrtätigkeit an unterschiedlichen universitären Fremdsprachenzentren und Instituten im In- und Ausland mit den jeweils eingesetzten Lehrveranstaltungsevaluationen verspürte. Diese sind in der Regel mit einem hohen Aufwand verbunden und bringen oftmals aber nur einen kleinen Ertrag. Sie werden z.B. vielfach nach wie vor mit Hilfe von Papierfragebögen durchgeführt, in welchen die LernerInnen den Lehrpersonen am Ende des Semesters ein Feedback zum Kurs geben. Dadurch soll zur Qualitätsverbesserung der betreffenden Lehrveranstaltung beigetragen werden, was mit den jeweiligen Modellen meiner Erfahrung nach und nach Ansicht vieler meiner KollegInnen in den meisten Fällen jedoch nur eingeschränkt möglich ist.

Eine vollständige Auflistung sämtlicher Aspekte, die mit vielen dieser und anderer aktuell eingesetzter Evaluationsmodelle und Methoden einhergehen, wäre verhältnismäßig lang und zu umfangreich, um ihr an dieser Stelle die nötige Aufmerksamkeit zu schenken. Dies hängt zum einen damit zusammen, dass die Zahl an Evaluationsmodellen und Fragebögen, wie bereits angeführt, mittlerweile nahezu unüberschaubar ist, und zum anderen damit, dass auch die Kriterien, nach welchen man die einzelnen Modelle untersuchen und bewerten könnte, vielfältig und umfangreich sind. Daher wird hier von einer detaillierten Analyse Abstand genommen und es sollen nur einige zentrale Punkte aufgezeigt und kurz diskutiert werden, die das effektive Optimieren des universitären Fremdsprachenunterrichts mit Hilfe der untersuchten Modelle erschweren.

Um die Analyse auf einen für den Rahmen dieses Buches angemessenen Umfang zu beschränken, konzentrierte ich mich auf die Lehrveranstaltungsevaluationen jener fünf österreichischen Fremdsprachenzentren, die zum Untersuchungszeitpunkt (2012) dem Verband universitärer Sprachenzentren und -institutionen (VUS) angehören.

Obwohl es sich hierbei um eine vergleichsweise kleine Stichprobe handelt, kann dennoch festgestellt werden, dass sie sehr repräsentativ ist und die hier angeführten zentralen Problematiken auf die Mehrheit der Sprachenzentren im europäischen Hochschulraum – und wahrscheinlich auch darüber hinaus – in der einen oder anderen Weise zutreffen, da viele Sprachenzentren ähnliche Verfahren zur Qualitätsoptimierung einsetzen.

Eine Kollegin am treffpunkt sprachen, die in einem, der im Rahmen meiner Dissertation durchgeführten qualitativen Interviews befragt wurde, bringt einige der zentralen Themen aktueller Lehrveranstaltungsevaluationen im Fremdsprachenunterricht wie folgt auf den Punkt:

[…] weil ich mich sowieso seit einiger Zeit schon über diese ständigen Evaluierungen ärgere, nicht weil sie schlecht sind, sind sie nicht, aber es interessiert mich auch nicht zum hundertsten Mal zu hören, dass ich so ein nice teacher bin und so. Irgendwann finde ich, reicht es. treffpunkt sprachen muss natürlich für Qualität sorgen, soll mich von mir aus ein Jahr beobachten und dann finde ich, ist es aus und ich habe einfach keine Lust mehr. Ich mag mich nicht mehr evaluieren lassen.

[LP002, 224–230]

Die Inhalte dieser Aussage sind zweifelsfrei auch als einige der Hauptgründe für die von Simon (2000) und Frey (2007) angeführte »Evaluitis« zu sehen, an der viele KollegInnen, vor allem, wenn sie schon mehrere Jahre unterrichten, leiden. Die meisten Lehrenden sind nicht mit einer Evaluation ihres Unterrichts per se unzufrieden und negieren auch nicht deren Wichtigkeit im Hinblick auf ihr Potential, essentielle Informationen zur Qualitätsoptimierung zu generieren. Sie erkennen in der Regel auch die allgemeine Notwendigkeit von Evaluationen in Hinblick auf die Präsentation der betreffenden Institute und Zentren nach außen an, stellen jedoch, wie die Kollegin aus dem Interview, vielfach fest, dass die Art und Weise, mit der diese Evaluationen durchgeführt werden, also der Evaluationsansatz, und die Informationen, die sie zum Teil fördern, insuffizient sind, was oftmals zur Folge hat, dass Lehrende mit der Zeit eine Aversion gegen das Evaluieren entwickeln. In der Tat ist diese Abneigung auch bei vielen Studierenden zu bemerken, denn es darf nicht vergessen werden, dass diese in der Regel viele Evaluationen pro Semester – in jedem der von ihnen besuchten Kurse zumindest eine – durchführen müssen. Hinzu kommen weitere Befragungen, die beispielsweise einen bestimmten Lehrgang oder die Universität und deren Einrichtungen etc. betreffen. Man kann also nicht behaupten, es würde zu wenig evaluiert.

Auf der Suche nach den Gründen, warum es in Hinblick auf Lehrveranstaltungsevaluationen überhaupt zu den oben genannten und anderen Problemen kommt, können unterschiedliche Ursachen ausfindig gemacht werden. Im Wesentlichen hängen sie jedoch damit zusammen, dass bei vielen Evaluationen oftmals gewisse Standards, wie sie etwa im Handbuch der Evaluationsstandards (siehe unten bzw. Sanders 2006) angeführt werden, keine oder eine zu geringe Berücksichtigung finden. Auch die Standards und Leitlinien für die Qualitätssicherung im europäischen Hochschulraum (ESG), die im folgenden Kapitel vorgestellt werden und für die Qualitätsoptimierung bzw. -sicherung durch Evaluation zentral sind, werden in der Regel nicht in das Evaluationsprozedere integriert.

Bevor ich nun einige der zentralen Stellen aufzeige, an welchen die einzelnen Evaluationsmodelle Raum für Optimierung haben, möchte ich einen kurzen Exkurs zu den Evaluationsstandards machen, damit die darauffolgenden Ausführungen für den Leser/die Leserin leichter nachvollziehbar sind.