Christoph Waldhaus

Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts

Die theoretischen Grundlagen

Narr Francke Attempto Verlag Tübingen

[bad img format]

© 2017 • Narr Francke Attempto Verlag GmbH + Co. KG

Dischingerweg 5 • D-72070 Tübingen

www.francke.de • info@francke.de

Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.

E-Book-Produktion: pagina GmbH, Tübingen

ePub-ISBN 978-3-8233-9012-1

Meinen Eltern.

Geleitwort

Als Universitätslehrender beobachtete ich jahrelang am Semesterende meine Studierenden beim Ausfüllen eines von meiner Universität vorgelegten Fragebogens, in dem sie über meine Lehrveranstaltung, meine fachliche Kompetenz und über meine Fähigkeit, Lehrstoff zu vermitteln, befragt wurden. Ob ich in meinen (auf Englisch abgehaltenen) Kursen gendergerechte Formen verwendete, wollte die Universität auch wissen. Weder die Studierenden noch ich nahmen das Ankreuzen der Fragebogen-Kästchen besonders ernst; wir wussten ja, dass die Fragen sehr allgemein formuliert und daher wenig aussagekräftig waren, dass die Antworten zwar in eine statistische Auswertung konvertiert würden, diese aber weitgehend ungelesen oder unbeachtet im Papierkorb landen würde.

In einer Zeit, in der im Zuge des Bologna-Prozesses die Betonung auf den Ausgangskompetenzen der Studierenden liegt, fand ich diese trivialisierte Form der Evaluierung äußerst bedenklich. Obwohl ich dieses Ritual zwangsläufig durchführte, schwirrte mir ständig die Frage im Kopf herum: cui bono? Oder um es etwas umgangssprachlicher zu formulieren: wozu der ganze Zirkus? Daher erwartete ich mit großer Spannung die Ergebnisse des von Christoph Waldhaus durchgeführten Forschungsprojektes, welches ich im Rahmen seiner Dissertation betreuen konnte. Erleichtert konnte ich feststellen, dass es ihm mit seinem Modell der Komplexen Dynamischen Evaluation gelungen war, die Evaluierung aus dem Zirkuszelt zu befreien und sie in den Bereich der hohen Künste zu führen.

LeserInnen dieses Buches werden in mehrfacher Hinsicht auf ihre Kosten kommen:

Der erste Teil liefert einen äußerst umfassenden Überblick über vorhandene Theorien und Modelle der Qualitätssicherung und Evaluation. Vor einigen Jahren trug ein Film von Woody Allen den Titel »Everything you always wanted to know about sex but were afraid to ask«. Man könnte die ersten Kapitel dieses Buchs ähnlich titulieren: »Alles was Sie schon immer über Evaluation und Qualität wissen wollten, aber sich bisher nicht zu fragen trauten«. Denn Christoph Waldhaus informiert seine LeserInnen sowohl über die vielen Fragen, die die Qualitätsoptimierung auf Basis von Evaluation aufwirft, als auch über eine sehr breite Palette an Theorien und Modellen, die sich in den letzten Jahrzehnten der Evaluation im Kontext der europäischen Hochschulen widmeten, fasst sie zusammen und nimmt sie kritisch unter die Lupe bzw. nutzt Aspekte daraus für sein eigenes Modell.

Den Höhepunkt des Buches bildet die Präsentation des eigens entwickelten Modells der Komplexen Dynamischen Evaluation (KDE). Diese besteht aus drei ineinanderfließenden Komponenten: eine Vor-, eine begleitende und eine Endevaluation. Von besonderem Interesse ist der prozessorientierte Ansatz der Evaluation, der, im Gegensatz zu einer alleinigen Vor- und Endevaluation, das Potential hat, Erkenntnisse unmittelbar in den Lehr- und Lernprozess einfließen zu lassen und damit beide positiv zu beeinflussen. Sie ist also nicht nur summativer, sondern auch formativer Natur. Eine prozessorientierte Evaluation im gegebenen Kontext setzt voraus, dass der/die Evaluierende selbst in der Lehre tätig ist; die Evaluation sieht ja eine Begleitung vor.

Ein besonderer Vorzug dieses Buches besteht zudem darin, dass Christoph Waldhaus kein abgehobener unterrichtsferner Akademiker ist, sondern er und einige seiner KollegInnen die KDE in Sprachkursen an der Universität Graz angewendet haben. Das kontinuierliche Feedback von Studierenden über den Unterricht und über das eigene Lernen, sowie die aus dem Einsatz der KDE gewonnenen Erkenntnisse ermöglichten es ihm in Folge, sein Modell ständig zu verbessern. Was die LeserInnen dieses Buches erwartet, ist daher ein Evaluierungsmodell, das auf einer Fülle theoretischer Erkenntnisse basiert, die im vorliegenden Band behandelt werden und zusätzlich wertvolle Impulse und Ideen für praktizierende LehrerInnen liefert. Diese werden im Detail in den Folgebänden gegeben. Vor allem zeigt sein Ansatz auch, welchen Stellenwert Evaluation im Rahmen eines aufgeklärten, modernen Unterrichtskonzepts haben kann.

Graz, im April 2017

Ao. Univ-Prof. Dr. David Newby

Vorwort

Das vorliegende Buch ist ein Teil meiner Dissertation, welche im Jahr 2014 an der Karl-Franzens-Universität Graz zugelassen wurde. Nach einigen Modifikationen und Aktualisierungen habe ich mich dazu entschlossen, die Idee, die hinter der Komplexen Dynamischen Evaluation (KDE) steht, aufgrund ihres Umfangs in mehreren Bänden zu publizieren. Dieser erste Band soll die theoretischen Grundlagen schaffen und, auf diesen aufbauend, die Konzeption der KDE aufzeigen.

Wenngleich die unterschiedlichen Inhalte auch für ForscherInnen in den Bereichen Qualität und Evaluation interessant sein dürften, so richten sich die einzelnen Bände primär an universitäre Fremdsprachenlehrende, die das Modell in ihrem Unterricht einsetzen, oder eine andere Sichtweise auf Evaluation und Qualitätsverbesserung im Fremdsprachenunterricht kennen lernen möchten. Zudem wird eine Verknüpfung zwischen Fremdsprachendidaktik und der Theorie der komplexen dynamischen Systeme (CDST) hergestellt, was in Folge auch als Basis für die Komplexe Dynamische Evaluation dient. Nach Auseinandersetzung mit den einzelnen theoretischen Komponenten wird gegen Ende dieses ersten Bandes die KDE auf Basis der vorangehenden theoretischen Ausführungen konzipiert und der Einsatz dieses Modells im universitären Fremdsprachenunterricht skizziert. Band Eins dient daher als Grundlage für sämtliche spätere Publikationen zur KDE.

Die zukünftigen Bände befassen sich in Folge mit der Konzeption und Testung der einzelnen Hauptkomponenten des Modells (Vorevaluation, Begleitende Evaluation und Endevaluation) und seinen jeweiligen Bestandteilen. Zudem werden sowohl potentielle Herausforderungen wie auch mögliche Lösungen aufgezeigt und die LeserInnen finden Hinweise und Tipps bei der praktischen Anwendung der KDE oder ausgewählter Teilkomponenten im Fremdsprachenunterricht.

Taipei, im April 2017

Assist. Prof. Dr. Christoph Waldhaus

Danksagung

Wie bereits Goethe feststellte, lässt sich wahrhafte Dankbarkeit mit Worten nicht ausdrücken. Dennoch möchte ich dies versuchen, weil das vorliegende Buch ohne die Unterstützung vieler Menschen in meinem Umfeld nicht möglich gewesen wäre.

An erster Stelle sage ich meinen Eltern Danke, denn sie ermöglichten mir, diesen Weg einzuschlagen und unterstützten mich dabei, ihn bis zum Ende zu gehen. In Hinblick auf die Publikation bedanke ich mich dabei besonders herzlich bei meiner Mutter, die die Mühe des Korrekturlesens auf sich nahm.

In weiterer Folge danke ich meinem Doktorvater Prof. Dr. David Newby und meinem Zweitbetreuer Prof. Dr. Paul Portmann-Tselikas für ihre wertvollen Hinweise, kritischen Fragen, sowie auch für ihre aufmunternden Worte und die Gespräche zwischendurch, die mich auch in persönlicher Hinsicht bereicherten. Ebenso bedanke ich mich bei Prof. Dr. Stefan Schneider für seine hilfreichen Impulse und bei Prof. Dr. Tobias Wolbring sowie Ass.-Prof. Dr. Werner Stangl, die mir vor der Publikation ein Feedback gaben.

Ein großes Dankeschön gilt DI Michael Spitzer, der mir bei technischen Fragen zur Seite stand und sämtliche Programmierarbeiten an der KDE in höchster Effizienz und Präzision und zumeist unter hohem Zeitdruck durchführte.

Darüber hinaus möchte ich dem Team von treffpunkt sprachen meinen herzlichen Dank aussprechen, in erster Linie der Leiterin, Dr. Daniela Unger-Ullmann, die mir nicht nur den einen oder anderen praxisbezogenen Tipp gab, sondern auch ermöglichte, das Projekt VorEval am treffpunkt sprachen zu testen und die finanziellen Voraussetzungen und organisatorischen Rahmenbedingungen hierfür schaffte. Natürlich wäre es auch ohne meine KollegInnen und alle an der Konzeptions- und Testphase teilnehmenden Studierenden nicht möglich gewesen, dieses Projekt durchzuführen, weswegen ich auch ihnen zu großem Dank verpflichtet bin.

Zuletzt danke ich Frau Dr. Corinna Whyment für die Endkorrektur und ihre aufmunternden Kommentare.

1 Einleitung

Probleme kann man niemals mit derselben Denkweise lösen,

durch die sie entstanden sind.

(Albert Einstein)

Die Evaluation von Lehrveranstaltungen durch Studierende stellt ein mittlerweile in nahezu allen universitären Kursen, Seminaren und Vorlesungen verwendetes Mittel der Qualitätsoptimierung und -sicherung dar. Diese Methode wird in den USA bereits seit den 1920er Jahren (vgl. Marsh 1987:257) eingesetzt und untersucht und hat sich inzwischen auch im deutschsprachigen Raum als wahrscheinlich die Methode zur Verbesserung der Lehre etabliert. Hier fand sie ihren Ursprung als Folge der 68er-Bewegung und den damit verbundenen Reformen an den Hochschulen und »ergießt« sich seit Anfang der 1990er Jahre geradezu über die deutschsprachigen Universitäten, wie Rindermann (2009:32f) dies treffend formuliert.

Ihr Stellenwert im universitären Qualitätsmanagement wird auch durch ihre Verankerung in den jeweiligen Universitätsgesetzen untermauert, welche regelmäßige Evaluationen an deutschsprachigen Universitäten vor gut 20 Jahren zum fixen Bestandteil sämtlicher qualitätsverbessernder Bestrebungen machte (für Österreich siehe Kohler, 2009; für Deutschland siehe Schmidt, 2009 und für die Schweiz siehe Rhyn, 2009). Zudem werden die mit Evaluationen verbundenen Ergebnisse vielfach nicht nur innerhalb der Universitäten, sondern auch von Geldgebenden, PolitikerInnen und in den Medien diskutiert (siehe z.B. Der Standard 9. Mai 2007). Darüber hinaus hat mittlerweile sowohl die Anzahl der einzelnen Evaluationsmodelle als auch die Literatur hierzu ein Ausmaß erreicht, das – wie auch Mittag/Mutz/Daniel (2012:14) feststellen – »im Rahmen eines qualitativen Literaturreviews nicht mehr zu bewältigen ist«. Evaluation stellt demnach keine Modeerscheinung dar, sondern wird als wesentlicher Bestandteil der Qualitätsbestrebungen an Hochschulen gesehen.

Trotz dieser langen Historie, der Fülle an Publikationen zu diesem Thema und trotz ihres vermeintlichen Stellenwertes in der Hochschulpolitik wird die Lehrveranstaltungsevaluation dennoch nach wie vor von einigen kritisch betrachtet und ihre Effizienz im Hinblick auf die Optimierung der Lehre oftmals in Frage gestellt. Dies hat unterschiedliche Gründe und ist häufig auch darauf zurückzuführen, dass viele Evaluationen mitunter relativ konzeptlos wirken bzw. sind und mehrheitlich nicht von EvaluationsexpertInnen konzipiert oder ohne klar ersichtliche theoretische Basis erstellt wurden, wie Spiel (vgl. 2001:7) feststellt.

Während die einen (siehe z.B. Alphei 2006:7) in Bezug auf Lehrveranstaltungsevaluation von einem der wichtigsten Verfahren zur Unterrichtsoptimierung sprechen, ist es für andere (siehe z.B. Liessmann 2005:15ff) höchst umstritten oder sogar eine Krankheit, »Evaluitis« (siehe z.B. Simon 2000, Frey 2007), die die Lehrveranstaltungen an Universitäten befällt und an welcher Studierende und Lehrende gleichsam leiden, ohne wirklich nachhaltige Verbesserungen zu bemerken. Und in der Tat ist gerade jener Bereich der Evaluationsforschung rar, der sich konkret mit den durch Evaluation ausgelösten vermeintlichen Verbesserungen oder Verschlechterungen der Lehrqualität befasst, wie Rindermann (vgl. 2009:227) feststellt. vgl. Spiel/Gössler (vgl. 2001:13) weisen zudem darauf hin, dass die Konzentration der Evaluation im universitären Kontext primär auf Analyse und Bewertung liegt und nicht auf konkreten Änderungsmaßnahmen. Außerdem wird das »Wie« meist breit diskutiert, während das »Wozu« fast immer ausgeklammert bleibt (vgl. ibid.).

Welchen Standpunkt man in diesem mitunter subjektiv und oftmals emotional geführten Krieg der (Evaluations-)Welten auch vertreten mag, es sind reichlich Argumente für und auch gegen das Durchführen von Lehrveranstaltungsevaluationen vorhanden, die für die jeweiligen Evaluationsprojekte sorgfältig abgewogen werden müssen. Eine detaillierte Abhandlung hierzu würde den Rahmen dieses Buches sprengen, es sei u.a. jedoch auf Rindermann (2009), Kromrey (1996), McKeachie (1997), Simon (2000) und Frey (2007) verwiesen.

Während für mich die potentiellen Vorteile einer Evaluation in vielen Bereichen der universitären Qualitätsoptimierung, ganz besonders auch im Bereich des Fremdsprachenunterrichts, klar auf der Hand liegen, so teile ich gleichzeitig auch den kritischen Zugang zur Lehrveranstaltungsevaluation als der Methode zur Qualitätsoptimierung der Lehre, denn das Durchführen einer Evaluation stellt per se noch lange keine hinreichende Bedingung für Qualität oder deren Optimierung dar, wie auch Schöch (vgl. 2005:152) feststellt. Mindestens genauso wichtig wie die Evaluation selbst ist das, was darauf folgt. Nur wenn die mit Hilfe der Evaluation gewonnen Informationen genutzt und umgesetzt werden, lohnt sich der damit zwangsläufig verbundene Mehraufwand.

Zwei Dinge müssen an dieser Stelle mit aller Deutlichkeit kommuniziert werden: Erstens, jede Evaluation ist mit einem gewissen (Mehr-)Aufwand verbunden und braucht daher Ressourcen. Zweitens, eine Evaluation ohne durchdachtes Follow-Up bewirkt keine Qualitätsoptimierung. Nur wenn man sich dieser Tatsachen bewusst ist und den mit einer Evaluation bzw. dem daran anschließenden Follow-up verbundenen Mehraufwand in Kauf nimmt, kann eine Qualitätsverbesserung erfolgen.

Evaluation wird im vorliegenden Ansatz – wenn richtig durchgeführt – als zentrale, vielschichtige und wirkungsvolle Methode zur Unterrichtsoptimierung gesehen, jedoch ist auch zu betonen, dass sie kein Allheilmittel darstellt und auch nicht alle Probleme und Defizite, die sie aufzeigt, im Rahmen des Hochschulkontextes beseitigt werden können. Vielfach fehlen hier die nötigen (monetären) Mittel und (zeitlichen) Ressourcen. Zudem muss darauf hingewiesen werden, dass nicht jede aktuell eingesetzte Evaluation jene Wirkung erzielt, die damit intendiert wird.

Evaluiert man die an vielen Universitäten eingesetzten Evaluationsmodelle, kann man nicht selten feststellen, dass zahlreiche dieser Werkzeuge und Methoden in Hinblick auf deren Optimierungspotential oftmals fragwürdig sind und mitunter angezweifelt werden muss, ob damit tatsächlich eine wirksame Unterrichtsverbesserung möglich ist. Zentrale Probleme, die bei einer Metaevaluation1 im Vorfeld detektiert wurden, sollen in Folge kurz diskutiert werden, bevor im anschließenden Abschnitt der in diesem Buch konzipierte Lösungsansatz vorgestellt wird.

1.1 Problemstellung

Die Motivation für diese Arbeit entstand primär aus einer Unzufriedenheit heraus, die ich im Laufe meiner mittlerweile über zehnjährigen Lehrtätigkeit an unterschiedlichen universitären Fremdsprachenzentren und Instituten im In- und Ausland mit den jeweils eingesetzten Lehrveranstaltungsevaluationen verspürte. Diese sind in der Regel mit einem hohen Aufwand verbunden und bringen oftmals aber nur einen kleinen Ertrag. Sie werden z.B. vielfach nach wie vor mit Hilfe von Papierfragebögen durchgeführt, in welchen die LernerInnen den Lehrpersonen am Ende des Semesters ein Feedback zum Kurs geben. Dadurch soll zur Qualitätsverbesserung der betreffenden Lehrveranstaltung beigetragen werden, was mit den jeweiligen Modellen meiner Erfahrung nach und nach Ansicht vieler meiner KollegInnen in den meisten Fällen jedoch nur eingeschränkt möglich ist.

Eine vollständige Auflistung sämtlicher Aspekte, die mit vielen dieser und anderer aktuell eingesetzter Evaluationsmodelle und Methoden einhergehen, wäre verhältnismäßig lang und zu umfangreich, um ihr an dieser Stelle die nötige Aufmerksamkeit zu schenken. Dies hängt zum einen damit zusammen, dass die Zahl an Evaluationsmodellen und Fragebögen, wie bereits angeführt, mittlerweile nahezu unüberschaubar ist, und zum anderen damit, dass auch die Kriterien, nach welchen man die einzelnen Modelle untersuchen und bewerten könnte, vielfältig und umfangreich sind. Daher wird hier von einer detaillierten Analyse Abstand genommen und es sollen nur einige zentrale Punkte aufgezeigt und kurz diskutiert werden, die das effektive Optimieren des universitären Fremdsprachenunterrichts mit Hilfe der untersuchten Modelle erschweren.

Um die Analyse auf einen für den Rahmen dieses Buches angemessenen Umfang zu beschränken, konzentrierte ich mich auf die Lehrveranstaltungsevaluationen jener fünf österreichischen Fremdsprachenzentren, die zum Untersuchungszeitpunkt (2012) dem Verband universitärer Sprachenzentren und -institutionen (VUS) angehören.

Obwohl es sich hierbei um eine vergleichsweise kleine Stichprobe handelt, kann dennoch festgestellt werden, dass sie sehr repräsentativ ist und die hier angeführten zentralen Problematiken auf die Mehrheit der Sprachenzentren im europäischen Hochschulraum – und wahrscheinlich auch darüber hinaus – in der einen oder anderen Weise zutreffen, da viele Sprachenzentren ähnliche Verfahren zur Qualitätsoptimierung einsetzen.

Eine Kollegin am treffpunkt sprachen, die in einem, der im Rahmen meiner Dissertation durchgeführten qualitativen Interviews befragt wurde, bringt einige der zentralen Themen aktueller Lehrveranstaltungsevaluationen im Fremdsprachenunterricht wie folgt auf den Punkt:

[…] weil ich mich sowieso seit einiger Zeit schon über diese ständigen Evaluierungen ärgere, nicht weil sie schlecht sind, sind sie nicht, aber es interessiert mich auch nicht zum hundertsten Mal zu hören, dass ich so ein nice teacher bin und so. Irgendwann finde ich, reicht es. treffpunkt sprachen muss natürlich für Qualität sorgen, soll mich von mir aus ein Jahr beobachten und dann finde ich, ist es aus und ich habe einfach keine Lust mehr. Ich mag mich nicht mehr evaluieren lassen.

[LP002, 224–230]

Die Inhalte dieser Aussage sind zweifelsfrei auch als einige der Hauptgründe für die von Simon (2000) und Frey (2007) angeführte »Evaluitis« zu sehen, an der viele KollegInnen, vor allem, wenn sie schon mehrere Jahre unterrichten, leiden. Die meisten Lehrenden sind nicht mit einer Evaluation ihres Unterrichts per se unzufrieden und negieren auch nicht deren Wichtigkeit im Hinblick auf ihr Potential, essentielle Informationen zur Qualitätsoptimierung zu generieren. Sie erkennen in der Regel auch die allgemeine Notwendigkeit von Evaluationen in Hinblick auf die Präsentation der betreffenden Institute und Zentren nach außen an, stellen jedoch, wie die Kollegin aus dem Interview, vielfach fest, dass die Art und Weise, mit der diese Evaluationen durchgeführt werden, also der Evaluationsansatz, und die Informationen, die sie zum Teil fördern, insuffizient sind, was oftmals zur Folge hat, dass Lehrende mit der Zeit eine Aversion gegen das Evaluieren entwickeln. In der Tat ist diese Abneigung auch bei vielen Studierenden zu bemerken, denn es darf nicht vergessen werden, dass diese in der Regel viele Evaluationen pro Semester – in jedem der von ihnen besuchten Kurse zumindest eine – durchführen müssen. Hinzu kommen weitere Befragungen, die beispielsweise einen bestimmten Lehrgang oder die Universität und deren Einrichtungen etc. betreffen. Man kann also nicht behaupten, es würde zu wenig evaluiert.

Auf der Suche nach den Gründen, warum es in Hinblick auf Lehrveranstaltungsevaluationen überhaupt zu den oben genannten und anderen Problemen kommt, können unterschiedliche Ursachen ausfindig gemacht werden. Im Wesentlichen hängen sie jedoch damit zusammen, dass bei vielen Evaluationen oftmals gewisse Standards, wie sie etwa im Handbuch der Evaluationsstandards (siehe unten bzw. Sanders 2006) angeführt werden, keine oder eine zu geringe Berücksichtigung finden. Auch die Standards und Leitlinien für die Qualitätssicherung im europäischen Hochschulraum (ESG), die im folgenden Kapitel vorgestellt werden und für die Qualitätsoptimierung bzw. -sicherung durch Evaluation zentral sind, werden in der Regel nicht in das Evaluationsprozedere integriert.

Bevor ich nun einige der zentralen Stellen aufzeige, an welchen die einzelnen Evaluationsmodelle Raum für Optimierung haben, möchte ich einen kurzen Exkurs zu den Evaluationsstandards machen, damit die darauffolgenden Ausführungen für den Leser/die Leserin leichter nachvollziehbar sind.

1.2 Evaluationsstandards

Damit sowohl die Anforderungen aus der Praxis als auch wissenschaftliche Standards und Richtlinien beim Durchführen von Evaluationen berücksichtigt bzw. die Qualität von Evaluationen optimiert und gesichert werden können, entwickelte das Joint Commitee on Standards for Educational Evaluation1 Richtlinien, die beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen.

Diese Qualitätsmaßstäbe sind im Handbuch der Evaluationsstandards festgehalten und richten sich sowohl an EvaluatorInnen als auch an AuftraggeberInnen. Sie sind nicht als starre mechanische Regeln, sondern als Leitprinzipien zu verstehen und enthalten wichtige Hinweise und Warnungen zur Vermeidung von Fehlern, die bei der Konzeption bzw. der Durchführung von Evaluationen auftreten können. Zudem bezeichnen sie, welche Vorgehensweisen allgemein als akzeptabel bzw. inakzeptabel gehalten werden und zeigen die zurzeit beste Praxis auf (vgl. Sanders 2006:35). Die aktuelle Version sieht folgende Standards für Evaluationen vor:

1.2.1 Inhalte der Evaluationsstandards

Nützlichkeitsstandards
Nützlichkeitsstandards legen fest, ob eine Evaluation den tatsächlichen Informationsbedürfnissen der jeweiligen AdressatInnen gerecht wird. Dazu werden die AdressatInnen und deren Evaluationsbedürfnisse genau ermittelt und die Evaluation demgemäß durchgeführt. Zudem müssen die gewonnenen Informationen bedeutsam sein und rechtzeitig ermittelt werden.

Durchführbarkeitsstandards
Durchführbarkeitsstandards betonen die Praxisbezogenheit von Evaluationen. Diese werden in der Regel nicht in einem Labor, sondern in einem natürlichen Umfeld durchgeführt und verbrauchen daher Ressourcen. Folglich müssen sie so konzipiert sein, dass sie nur so viel Material, Personal, Zeit etc. in Anspruch nehmen, wie erforderlich ist.

Korrektheitsstandards
Die Korrektheitsstandards fordern, dass Evaluationen rechtlich und ethisch korrekt durchgeführt und die Rechte (Privatsphäre, Zugänglichkeit zu Informationen, Schutz der Persönlichkeit etc.) der an Evaluationen beteiligten Personen gewahrt und respektiert werden.

Genauigkeitsstandards
Die Genauigkeitsstandards legen fest, ob eine Evaluation angemessene Informationen hervorbringt. Es sollen die relevanten und als wichtig erachteten Daten erhoben und beurteilt werden. Die Daten sollen technisch angemessen sein und die Urteile müssen in einem logischen Zusammenhang mit den Daten stehen. Damit wird die Güte und Verwendbarkeit der Informationen bestimmt.

Tab. 1: Inhalte der Evaluationsstandards in Anlehnung an Sanders (vgl. 2006:31f)

Natürlich muss an dieser Stelle darauf hingewiesen werden, dass diese Standards ursprünglich in den USA entwickelt wurden und eine Eins-zu-eins-Übertragung nicht für alle Länder und alle Situationen möglich und sinnvoll ist. Es ist ratsam, zuerst den Evaluationskontext zu analysieren und dann eventuell nötige Adaptionen durchzuführen. Insgesamt sind diese potentiellen Anpassungen jedoch, wie auch Beywl/Widmer (2006:261) festhalten, »eher geringfügiger Art«, weswegen sich die Evaluationsstandards als Basis für die meisten Evaluationen eignen. Dies trifft vor allem auf die Grundstruktur mit den vier genannten Hauptgruppen (Nützlichkeits-, Durchführbarkeits-, Korrektheits- und Genauigkeitsstandards) zu.

Im Bereich des universitären Fremdsprachenunterrichts können diese Standards meiner Erfahrung nach weitgehend unverändert übernommen werden, wenngleich der oben angesprochene Kontext durch die Ausführungen in den Theoriekapiteln (Kapitel 3, 4, 5) zuerst genau analysiert und bestimmt werden sollte. Dies ist nötig, um festzustellen, welche der einzelnen Standards für die Evaluation von Fremdsprachenkursen, wie sie hier vorgestellt wird, in welcher Form und in welchem Umfang sinnvoll und plausibel sind. Neben diesen bereits erwähnten sind auch noch weitere Standards wie z.B. die genannten ESG sowie andere Qualitäts- und Bildungsstandards zu beachten.

1.2.2 Evaluationsstandards im Detail

Nützlichkeitsstandards
Ermittlung der Beteiligten und Betroffenen Glaubwürdigkeit der EvaluatorInnen Umfang und Auswahl der Informationen Feststellung von Werten Klarheit des Berichts Rechtzeitigkeit der Verbreitung des Berichts Wirkung der Evaluation

Durchführbarkeitsstandards
Praktische Verfahren Politische Tragfähigkeit Kostenwirksamkeit

Korrektheitsstandards
Unterstützung der Dienstleistungsorientierung Formale Vereinbarungen Schutz individueller Menschenrechte Human gestaltete Interaktion Vollständige und faire Einschätzung Offenlegung der Ergebnisse Deklaration von Interessenskonflikten Finanzielle Verantwortlichkeit

Genauigkeitsstandards
Programmdokumentation Kontextanalyse Beschreibung von Zielen und Vorgehensweisen Verlässliche Informationsquellen Valide Informationen Reliable Informationen Systematische Informationsüberprüfung Analyse quantitativer Informationen Analyse qualitativer Informationen Begründete Schlussfolgerungen Unparteiische Berichterstattung Meta-Evaluation

Tab. 2: Evaluationsstandards im Detail (vgl. Sanders 2006)

Um die im folgenden Abschnitt diskutierten Probleme bei den untersuchten Lehrveranstaltungsevaluationen beim Entwurf des in diesem Band vorgestellten Modells weitgehend zu vermeiden, werden sämtliche der hier genannten Standards bei dessen Konzeption berücksichtigt.

1.3 Optimierungspotential bei Evaluationsmodellen

Um nun wieder auf jene Aspekte zurückzukommen, die bei vielen Lehrveranstaltungsevaluationen optimiert werden können, werden, ausgehend von den Evaluationsstandards, in Folge einige zentrale Punkte angeführt, die vor allem mit den Nützlichkeitsstandards, Durchführbarkeitsstandards und Genauigkeitsstandards in Konflikt stehen. Die Korrektheitsstandards wurden in den analysierten Lehrveranstaltungsevaluationen meiner Ansicht nach nicht verletzt, da alle, soweit von außen nachvollziehbar, zum Zeitpunkt der Analyse rechtlich und ethisch korrekt durchgeführt wurden.

Als ein Hauptkriterium für das erfolgreiche Durchführen von Evaluationen wird im Handbuch der Evaluationsstandards unter den Nützlichkeitsstandards festgehalten, dass Evaluationen »informativ, zeitgerecht und wirksam« sein sollen (vgl. Sanders 2006:31). Dies ist eine zentrale Forderung, denn mit jeglicher Evaluation stehen gewisse Ziele in Verbindung. Werden Nützlichkeitsstandards nicht erfüllt, sind die Ergebnisse der Evaluation für bestimmte Absichten, wie etwa die Qualitätsoptimierung des Fremdsprachenunterrichts, kaum relevant und der Aufwand steht in keiner vertretbaren Relation zum Informationsgehalt.

Wenngleich der Informationsgehalt, den die untersuchten Evaluationsfragebögen generieren, den Lehrenden bei der Optimierung der Lehre in der einen oder anderen Form durchaus behilflich sein könnte, so ist bei den analysierten Modellen der Zeitpunkt sehr ungünstig, zu welchem die Lehrenden an die jeweiligen Informationen gelangen. Ausnahmslos alle analysierten Evaluationen wurden zum Untersuchungszeitpunkt in Form einer summativen Evaluation am Ende des Kurses/Semesters durchgeführt.

Summative Evaluationen werden im Gegensatz zu formativen Evaluationen nach der Durchführung eines Programms (z.B. Fremdsprachenkurs) oder einzelner Maßnahmen eingesetzt und sollen zusammenfassende Aussagen über deren Wirksamkeit tätigen (vgl. Gollwitzer/Jäger 2009:16). Das bedeutet, sie sollen in Erfahrung bringen, wie wirksam bestimmte Maßnahmen/Programme waren. Das Ziel formativer Evaluationen hingegen besteht darin, Maßnahmen zu optimieren bzw. Rahmenbedingungen zu schaffen, die die Wirksamkeit einer Maßnahme eher wahrscheinlich machen (vgl. ibid.). Bei formativen Evaluationen werden somit in regelmäßigen Intervallen Zwischenergebnisse erstellt, die das Ziel verfolgen, laufende Interventionen zu modifizieren oder zu verbessern (vgl. Bortz/Döring 2006:110).

Im konkreten Fall der Lehrveranstaltungsevaluationen bedeutet dies, dass die betreffenden Lehrpersonen mit den eingesetzten Methoden jene Informationen, die ihnen beim Optimieren des Unterrichts behilflich sein könnten, zu einem Zeitpunkt erhalten, zu welchem es ihnen nicht mehr möglich ist, auf diese Informationen einzugehen und eventuell notwendige Veränderungen durchzuführen, die potentielle Verbesserungen für den jeweiligen Kurs nach sich ziehen könnten, ein Suboptimum, welches u.a. auch von Stieger/Burger (vgl. 2010:163) in einer ähnlichen Analyse kritisiert wird. Wenngleich nicht negiert werden kann, dass einige Informationen durchaus auch für kommende Semester bzw. für die Optimierung der Lehre einzelner Lehrpersonen generell von Relevanz sein können, so ist die Unterrichtsoptimierung für die betreffende Gruppe, die an der Evaluation teilnahm, nicht mehr möglich und es stellt sich die Frage, ob durch diese Herangehensweise nicht das eigentliche Ziel verfehlt wird, welches man mit der Evaluation initial intendierte.

Ein weiterer Grund, warum Evaluationen nicht ihr volles Wirkungspotential ausschöpfen können, wenn sie ausschließlich am Ende des Kurses/Semesters durchgeführt werden, ist, dass die Lehrenden auch nicht mehr direkt zum Handeln angehalten werden, da sie ja im darauffolgenden Semester oftmals mit einer völlig neuen Gruppe konfrontiert sind und eventuell auch bei gleichen Unterrichtsmethoden unterschiedliche Evaluationsergebnisse erwarten können. Dadurch ist fraglich, wie sinnvoll die Lehrenden diese Art der Evaluation einstufen und wie ernst sie die Ergebnisse nehmen bzw. wie motiviert sie sind, Dinge zu verändern. Dies trifft natürlich umgekehrt auch auf die Studierenden zu. Mit welcher Ernsthaftigkeit werden sie die Fragebögen ausfüllen, wenn sich für sie keine unmittelbaren Verbesserungen mehr abzeichnen? Vielfach resultiert diese Methode daher rein in einer Bewertung, die wenige bis keine Konsequenzen in Form einer Optimierung nach sich zieht.

Ein dritter Grund, warum sich die Wirkung der analysierten Evaluationen in einigen Bereichen in Grenzen hält, ist vielfach der Aufbau der Fragebögen selbst, der zwar für eine statistische Auswertung hervorragend geeignet ist, jedoch genau jene Informationen nicht erhebt, die für die Lehrenden in Hinblick auf eine weitreichende Verbesserung der Lehre interessant und notwendig wären. Die in den Bögen gestellten Fragen analysieren vielfach einen von den Studierenden empfundenen Zustand, regen die LernerInnen jedoch nicht dazu an, sich an der Verbesserung aktiv zu beteiligen bzw. konkrete Informationen Preis zu geben oder hilfreiche Vorschläge zu unterbreiten, die zu einer Optimierung führen würden, wie dies auch in den ESG explizit vorgeschlagen wird.

Ein Beispiel stellt etwa folgende Frage aus einem der untersuchten Fragebögen dar: Hat der/die Lehrende die Lern- und Prüfungsziele klar dargelegt? Abgesehen von der Tatsache, dass das Explizieren der Lern- und Prüfungsziele, wenn überhaupt dezidiert, dann zu Beginn des Semesters erfolgt, kann bezweifelt werden, dass sich alle LernerInnen mehrere Monate danach noch im Detail daran erinnern können, was genau die Lehrperson wie mitteilte. Des Weiteren waren u.U. in der Lehrveranstaltungseinheit, in welcher die Lern- und Prüfungsziele expliziert wurden, nicht alle LernerInnen anwesend und werden nun dennoch zu einer Antwort gezwungen, da alle Fragen zu beantworten sind, damit die Evaluation gültig ist. Darüber hinaus gibt diese geschlossene Frage lediglich Auskunft darüber, wie einzelne LernerInnen diesen Sachverhalt in der jeweiligen Gruppe empfanden, wie die Analyse der Fragebögen zeigt. Während es für manche auf der Likert-Skala nicht klar war, war es für andere LernerInnen sehr klar. Sie offeriert der Lehrperson jedoch keine Anhaltspunkte darüber, wo genau die Probleme lagen, wenn diese Frage etwa mit nicht klar beantwortet wurde. Auch bietet der Fragebogen den Studierenden keine Möglichkeit, Vorschläge zu unterbreiten, die für sie eine Verbesserung der Situation bewirken würden. Das bedeutet, die Lehrperson weiß zwar Bescheid darüber, dass für einige LernerInnen in diesem Bereich ein Problem war bzw. dass einige dies rückwirkend so empfanden, sie kann jedoch aufgrund fehlender Information, wo genau das Problem lag und wie dies für die LernerInnen gelöst werden könnte, verhältnismäßig wenig verändern. Diese Tatsache bewahrheitet sich bei sämtlichen Fragen in allen untersuchten Fragebögen.

Man könnte dies nun mit der Sektion der offenen Fragen am Ende des Fragebogens rechtfertigen, wo die LernerInnen angeben können, was ihnen am Kurs gut/weniger gut gefallen hat. Jedoch zeigte eine Analyse der Lehrveranstaltungsevaluationen, die von mir in den letzten sechs Jahren in den eigenen Kursen durchgeführt wurden, dass diese Sektion von den Studierenden kaum bis nicht genutzt wird, um davor getätigte Angaben zu verdeutlichen oder um Verbesserungsvorschläge zu unterbreiten. Es bleibt zu bezweifeln, dass sich dieser Sachverhalt in anderen Kursen bzw. an anderen Instituten/Zentren in dieser Hinsicht markant unterscheidet.

Darüber hinaus ist auch das Stellen der betreffenden Frage nach der Darlegung der Prüfungsziele an sich problematisch. Einerseits, weil diese Art der Fragestellung generell sehr differenzierte Ergebnisse fördert, die in der Praxis schwer nutzbar gemacht werden können, ein Phänomen, auf welches bereits Kromrey (vgl. 1996) hinweist, und andererseits, weil das Verstehen der Erklärung der Lehr- und Prüfungsziele zu sehr auf die Lehrperson zentriert wird. Dies bedeutet im konkreten Kontext bei ersterem, dass einige LernerInnen die betreffende Frage positiv und andere negativ beantworten werden, wie dies oben bereits angeführt wurde, und diese Inkonsistenz nicht nur zwischen verschiedenen Lehrveranstaltungen zu bemerken ist, sondern ebenso innerhalb jeder (oder fast jeder) Veranstaltung, die eine bestimmte TeilnehmerInnenzahl von ca. 20 überschreitet, wie Kromrey (vgl. ibid.) expliziert.

Dieser Umstand wurde auch in meinen eigenen Lehrveranstaltungen mehrfach beobachtet, wenn von mir exakt der gleiche Unterrichtsstoff anhand identer Lehrmethoden in Parallelgruppen vermittelt, aber von diesen unterschiedlich aufgenommen bzw. evaluiert wurde. Das bestätigt die Annahme, dass es folglich nicht nur an der Art und Weise liegen kann, wie die jeweilige Lehrperson Inhalte vermittelt, sondern auch daran, wie die LernerInnen diese aufnehmen und verarbeiten. Dies wiederum verdeutlicht die unterschiedliche Auffassung der Studierenden über gutes Lehrverhalten und man sieht sich als Lehrperson mit der Tatsache konfrontiert, dass, wenn man verstärkt auf Vorschläge einer Interessensgruppe eingeht, bei dieser Pluspunkte sammelt, während man u.U. bei anderen mit derselben Methode für Unmut sorgt – eine Feststellung, auf die auch eine Lehrende1 in den im Rahmen dieser Arbeit durchgeführten qualitativen Interviews hinwies:

Weil da ist ein Mensch, schreibt das und will über Bolivien reden, aber das ist wirklich … so extrem individuell. Und das ist eben wo manchmal die Evaluierungen vom Ende vom Kurs … ist ein bisschen dieses … gleicher Punkt, komplett auseinander. […] Also komplett die Meinung. Ich hätte lieber mehr davon, ich hätte lieber mehr davon. Und der andere sagt, ich hätte lieber weniger davon. Und es ist schwer irgendwie … [LP007: 230–236]

Ein weiteres Problem ist im Bereich der Auswertung der Fragen zu finden. Kromrey (vgl. 1996) expliziert, dass bei vielen Evaluationen lediglich die Mittelwerte aus den Angaben aller Befragten betrachtet werden, was oftmals ein für die Lehrperson durchaus zufriedenstellendes Resultat liefern kann, jedoch im Endeffekt ein »statistisches Artefakt« (ibid.) darstellt. Konkret ist damit gemeint, dass, wenn die Lehrleistung einer Lehrperson in einer bestimmten Lehrveranstaltung beispielsweise als durchschnittlich bewertet wurde (also die Leistung der Lehrperson auf fast allen Items ungefähr mit »3« bewertet wird) und man in dieser Kursgruppe danach sucht, wie groß die Anzahl der Studierenden ist, die die betreffende Lehrveranstaltung mit »3« bewertet hat, dann zeigt sich, dass eine solche Gruppe in diesem Kurs vielfach nicht vorhanden ist. Vielmehr gibt es Studierende, die die Lehrleistung besser beurteilen, schlechter beurteilen, und andere, die teils positiv, teils negativ bewerten. Dadurch ergibt sich, wie Kromrey (1996) folgert, kein statistisch befriedigendes Ergebnis mit ausreichend homogenen Clustern, welches »hinreichend große Gleichartigkeit der Urteile innerhalb der jeweiligen Gruppen von Befragten bei zeitgleich möglichst deutlichen Unterschieden zwischen den Gruppen« erlaubt.

Für die unmittelbare Praxis des Fremdsprachenunterrichts im Rahmen von universitären Sprachenzentren sind für die meisten Lehrenden viele statistische Auswertungen meiner Erfahrung nach ohnehin eher sekundär. Zweifelsfrei kann man sich ein ungefähres Bild über die Qualität des Unterrichts machen, wenn z.B. 20 von 25 LernerInnen einen Kurs mit »sehr gut« bewerten, die Frage, die für mich als Lehrperson jedoch brennender scheint, ist, zu erfahren, warum die verbleibenden 20 % diesen Kurs z.B. mit »eher gut« oder vielleicht sogar »weniger gut« bis »nicht gut« bewertet haben. Dies kann aus den untersuchten Fragebögen nicht erfahren werden.

Ein weiterer Kritikpunkt, der zwar nur auf eines der untersuchten Fremdsprachenzentren zutrifft, aber dennoch Brisanz aufweist, ist die Tatsache, dass an einer Universität die Fremdsprachenkurse zum Untersuchungszeitpunkt ausschließlich mit dem universitätsweiten Evaluationsbogen evaluiert wurden. Dies ist auf die Tatsache zurückzuführen, dass die Fremdsprachenkurse dort fix in den Rahmen der Lehrveranstaltungen fielen und die Studierenden für diese nicht bezahlten, wie dies an den externen Sprachenzentren der Fall war. Die primäre Kritik an Globalfragebögen ist, dass diese per se üblicherweise, und allem Anschein nach auch im konkreten Fall, für einen Lehrveranstaltungstyp wie etwa eine Vorlesung oder Übung konzipiert wurden und in der Regel sehr allgemein gehalten sind, damit sie für möglichst viele Veranstaltungen verwendet werden können. Daher wird in derartigen Evaluationsfragebögen kaum auf die Besonderheiten des Sprachenunterrichts eingegangen, was eine wirkliche Optimierung desselben mit diesen Mitteln somit eher unwahrscheinlich macht.

Darüber hinaus wurde im besagten Fragebogen auch die fachlich-inhaltliche Qualität der Lehrveranstaltung erfragt, die die fachliche Kompetenz der Lehrenden beurteilen soll, was, wie bereits Marques et al. (vgl. 1979:848) konstatieren, nicht durch Studierende beurteilt werden kann, denn wenn sie dies könnten, besuchten sie, wie Rindermann (2009:71) folgert, »aufgrund der Redundanz die falsche Veranstaltung«.

Ähnlich verhält es sich mit Fragen, ob die Lehrperson nach Ansicht der Studierenden gut vorbereitet wirke bzw. die Lerninhalte sicher vortrage, wie dies im Fragebogen einer anderen Universität erfragt wurde. Aus der Perspektive der Lehrperson stellt sich nun die Frage, wie die Studierenden beurteilen wollen, wie intensiv man sich als Lehrperson auf die einzelnen Unterrichteinheiten vorbereitet bzw. was dies letztendlich über das tatsächliche Gelingen und über die Qualität der Veranstaltungen aussagt. Viele KollegInnen werden mir an dieser Stelle wahrscheinlich zustimmen, dass sie schon oft sehr genau und gut vorbereitet waren und eine bestimmte Einheit dennoch nicht oder weniger zufriedenstellend verlief, während man an anderen Tagen vom vorbereiteten Konzept vielleicht völlig abwich, spontan handelte, und der Unterricht sehr erfolgreich war. Erfahrene Lehrende werden zudem in vielen Fällen weniger Vorbereitungszeit benötigen als DebütantInnen. Dies bedeutet jedoch nicht, dass ihr Unterricht dadurch weniger Qualität aufweist. Des Weiteren generiert die besagte Frage keine wirklich brauchbare Information für die Optimierung des Unterrichts, sondern stiftet meiner Ansicht nach bei den Studierenden eher zu Spekulationen an und sorgt bei den Lehrenden nicht selten für Unmut.

Ein weiterer Punkt, der im Zusammenhang mit Evaluationsmodellen genannt werden muss, die nur am Ende des Kurses evaluieren, ist, wie im Kapitel zur Qualität noch im Detail erörtert wird, die Tatsache, dass man sich, bevor man irgendetwas (beispielsweise eine Lehrveranstaltung) hinsichtlich der Qualität beurteilen möchte, zu Beginn Beurteilungskriterien festlegen muss, nach denen man im Endeffekt evaluiert. Nur wenn unter allen Beteiligten ein gewisser Konsens herrscht, was für diese Gruppe unter Qualität, also unter gutem Unterricht zu verstehen ist, und man sich darauf einigt, in welche Richtung während des Kurses gesteuert werden soll, kann man am Ende beurteilen, ob und wie gut man dort angekommen ist. Um es frei nach Seneca (vgl. epist. 71:3) zu sagen: Kein Wind ist demjenigen günstig, der nicht weiß, welchen Hafen er anstrebt. Diese initiale Bestimmung der Ziele und Festlegung der Beurteilungskriterien stellt einen zentralen Standard qualitativ hochwertiger Evaluationen dar und wurde zum Untersuchungszeitpunkt von keinem der analysierten Evaluationsansätze berücksichtigt.

Auch hinsichtlich der Distribution bzw. Auswertung der Fragebögen ist bei einigen Instituten/Zentren leise Kritik gerechtfertigt, vor allem bei jenen, an welchen die Fragebögen von den Lehrenden in Papierform während einer Unterrichtseinheit (üblicherweise gegen Ende des Kurses/Semesters) an die LernerInnen ausgeteilt, danach eingesammelt und im Anschluss daran mühsam ausgewertet werden. Dies kann im 21. Jahrhundert aus zumindest drei Gründen nicht mehr gerechtfertigt sein: Erstens bedeutet die Auswertung für die Lehrenden einen erheblichen zeitlichen Zusatzaufwand, der in der Regel nicht extra vergütet wird und bei der vielfach schlechten Bezahlung der LektorInnen meiner Ansicht nach nicht zu legitimieren ist. Zweitens kann es durch die manuelle Auswertung vor allem aufgrund des Zeitfaktors zu Fehlern kommen, die die (statistischen) Ergebnisse verfälschen. Drittens sind mittlerweile viele Online-Evaluationsprogramme vorhanden, die nicht nur gratis genutzt werden können, sondern die zudem die Ergebnisse auch mehr oder weniger automatisch und in digitaler Form generieren, sollten vermehrte Kosten als Argument gegen eine computergestützte Evaluation sprechen. Dadurch können Ergebnisse in Folge nicht nur schnell und platzsparend gespeichert, sondern auch leicht miteinander verglichen und weiter genutzt werden, was auch bei der Beantwortung zukünftiger Forschungsfragen nützlich sein könnte.

Ein weiterer und für mich vielleicht der zentrale Punkt im Hinblick auf Lehrveranstaltungsevaluationen wird von Nowakowski et. al. (2012:255) angeführt, die zu dem Schluss kommen, dass »das Potential, das Lehrevaluationen für die Qualitätsentwicklung der Lehre bergen, bisher nicht wirklich verstanden und ausgeschöpft« wird. Dies ist zum einen darauf zurück zu führen, dass sie aktuell, wie oben bereits angeführt, primär als retrospektives Verfahren zur Analyse von Lehrveranstaltungen eingesetzt werden, wobei es sich bei dieser Art des Feedbacks um keinen dialogischen Austausch zwischen Lehrenden und Studierenden handelt, sondern überwiegend um eine einseitige Darstellung von Sichtweisen, die ein weiteres Diskutieren der darin angegebenen Punkte üblicherweise nicht ermöglicht und somit eine Optimierung des Unterrichts nur begrenzt erlaubt. Zudem werden wesentliche Faktoren, die mit Evaluationen einhergehen können, kaum berücksichtigt, wie z.B. die Förderung der Reflexion bzw. Selbstreflexion auf beiden Seiten, wesentliche Vorgänge beim Sprachlehren und -lernen (siehe z.B. Anderson 2008) sowie die daraus möglicherweise resultierende Bildung, Bestätigung oder Veränderung des Selbstbildes der am Unterrichtsgeschehen Beteiligten. Dass dies für das erfolgreiche Sprachenlernen wesentlich ist, darauf wird in der Literatur vielfach hingewiesen (siehe z.B. Jerusalem 1993). Zudem kann Evaluation, die im Wesentlichen auch eine spezielle Art des Feedbacks ist, ebenso zur Optimierung der Kommunikation zwischen Lehrenden und Studierenden beitragen. Alle diese essentiellen Punkte werden in den untersuchten Evaluationen zum Zeitpunkt der Analyse kaum bis nicht beachtet.

Die hier angeführte Auflistung ist nur ein kurzer Ausschnitt und könnte noch weiter fortgesetzt werden, was jedoch nicht Intention dieses Buches ist. Vielmehr wird versucht, Lösungen aufzuzeigen, die zur Verbesserung der aktuell eingesetzten Evaluationsmethoden und Werkzeuge beitragen sollen bzw. überhaupt einen neuen Zugang zur Evaluation als wichtige Hilfestellung bei der Qualitätsoptimierung aufzuzeigen.

1.4 Zielsetzung des vorliegenden Buches

Da die einzelnen Themenbereiche des vorliegenden Buches (Evaluation, Qualität und universitärer Fremdsprachenunterricht) per se bereits sehr umfangreich sind, ist es notwendig, bei der Zielsetzung eine klare Ab- und Eingrenzung vorzunehmen, damit die realistische Umsetzung einiger ausgewählter Teile des gesamten Vorhabens ermöglicht werden kann. In diesem ersten Band werden daher im Wesentlichen zwei Ziele verfolgt:

Erstens, der Leser/die Leserin soll einen differenzierten (für ihn/sie vielleicht neuen) Zugang zum Thema Lehrveranstaltungsevaluation bekommen. Das Buch richtet sich in erster Linie an Fremdsprachenlehrende und versteht sich daher als Einführung in die einzelnen damit in Verbindung stehenden Themenbereiche. Durch die mitunter detaillierten Ausführungen soll Laien auf den Gebieten der Qualitäts- und Evaluationsforschung jene Basis zugänglich gemacht werden, die sie benötigen, um für sich selbst und auch im Unterricht eine Qualitäts- und Evaluationskultur zu schaffen. Nur wenn Lehrende und Studierende dieses Verständnis haben, kann Evaluation so eingesetzt werden, dass damit ein besserer Unterricht gelingen kann.

Zweitens wird auf Basis der theoretischen Ausführungen in Kapitel 6 ein umfassendes theoriebasiertes Evaluationsmodell (Komplexe Dynamische Evaluation, KDE) konzipiert, welches

1 auf Evaluations- und Qualitätsstandards basiert,

2 explizit der Optimierung des universitären Fremdsprachenunterrichts für die evaluierende Gruppe dient und

3 sich durch Effektivität und Effizienz (vor allem auch in Hinblick auf Ressourcen) auszeichnet.

Das bedeutet zum einen, dass das hier vorgestellte Modell intendiert, jene Informationen zum nötigen, d.h. zum für die Optimierung richtigen Zeitpunkt zu generieren, die erforderlich sind, um den universitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend zu verbessern. Zum anderen bedeutet es auch, dass dies auf eine möglichst effiziente Weise geschieht, damit das Prozedere den mit qualitätsoptimierenden Maßnahmen verbundenen Mehraufwand für die daran beteiligten AktantInnen in einem überschaubaren Rahmen hält.

1.5 Forschungsdesign

Die Forderungen, die mit den oben angeführten Zielen dieses Ansatzes einhergehen, haben für die Konzeption der KDE weitreichende Folgen, weil viele der in der Zielsetzung angeführten Ansprüche und Begriffe mit weiteren Fragen in Verbindung stehen, die beantwortet werden müssen, bevor die eigentliche Konzeption der KDE in Angriff genommen werden kann. Dies erklärt, warum der Konzeption des Modells ein derart umfangreicher Theorieteil vorangeht.

1.5.1 Ableitung der Forschungsfragen

Die Hauptforschungsfrage in diesem ersten Band ergibt sich aus der Zielsetzung und lautet wie folgt: Wie kann ein Evaluationsmodell aussehen, damit es den universitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend verbessert?

Mit dieser Frage stehen folgende Unterfragen in direktem Zusammenhang:

1 Was bedeutet Qualität im universitären Fremdsprachenunterricht?

2 Was bedeutet Verbesserung des universitären Fremdsprachenunterrichts?

3 Welche Evaluationsmethoden können zur Optimierung des Fremdsprachenunterrichts beitragen?

4 Was bedeuten wirksam und umfassend in Zusammenhang mit Qualitätsoptimierung auf Basis von Lehrveranstaltungsevaluation?

5 Welche Informationen werden im Detail für die Qualitätsverbesserung benötigt?

6 Wann ist der richtige Zeitpunkt, um die benötigten Informationen zu generieren bzw. allfällige Verbesserungsmaßnahmen einzuleiten?

7 Auf welche Weise (wie) müssen die Informationen generiert werden, damit sie zur Qualitätsoptimierung genutzt werden können?

1.5.2 Beantwortung der Forschungsfragen

Die Beantwortung der primären Forschungsfrage ergibt sich im Wesentlichen aus der Beantwortung der sieben Unterfragen, was implizit im Verlauf des Theorieteils erfolgt, der die drei Hauptthemen (1) Evaluation, (2) Qualität und (3) universitärer Fremdsprachenunterricht zum Gegenstand hat. Zudem werden die gewonnenen Erkenntnisse explizit in Abschnitt 6.4 rekapituliert.

Gemäß den Evaluationsstandards (vgl. Sanders 2006) reicht es für ein Evaluationsinstrument, welches auf umfassende Weise dazu beitragen soll, den universitären Fremdsprachenunterricht zu verbessern, nicht aus, wenn dieses nur eine solide theoretische Basis aufweist. Vielmehr muss auch der direkte Praxisbezug hergestellt werden, was bedeutet, dass neben theoretischen Überlegungen auch die am Unterrichtsgeschehen Beteiligten – die Lehrenden und Studierenden – bei der Konzeption miteinbezogen werden müssen. Vereinfacht kann diese Annäherung an das Evaluationsinstrument (KDE) wie folgt skizziert werden:

Abb. 1: Annäherung an die KDE

Der praxisbezogene Aspekt bei der Konzeption der KDE kann aus Gründen des Umfangs im Rahmen dieses Bandes nicht berücksichtigt werden und wird für den jeweiligen Teilaspekt in den folgenden Bänden dargestellt.

1.5.3 Gliederung und Aufbau des Buches

 Kapitel 2: Dieses Kapitel versteht sich als Einführung in die Themenbereiche Qualität und Evaluation im Kontext von Hochschulen. Zu Beginn wird dargestellt, welchem Wandel die zentralen Begriffe mit der Zeit unterworfen waren, bevor die Diskussion um Qualitätssicherung auf Basis von Evaluation im universitären Kontext und ganz besonders auch im Fremdsprachenunterricht Einzug gefunden hat. Im Anschluss daran werden zentrale Begriffe wie Norm, Zertifizierung, Rating und andere Termini aus dem Qualitätsmanagement erklärt und zentrale qualitätsoptimierende Verfahren vorgestellt, die im Hochschulkontext eingesetzt werden, um Qualität zu sichern.

 Kapitel 3: In diesem Kapitel sollen die wesentlichen Grundzüge der Evaluation bzw. Evaluationsforschung expliziert werden. Nach einer kurzen allgemeinen Einführung in das Thema wird auf die Komplexität des Begriffs Evaluation eingegangen und dessen Abgrenzung von inhaltsähnlichen Begriffen, wie beispielsweise dem Qualitätsmanagement, erklärt. Im Anschluss daran werden zentrale Evaluationsmodelle aus der Evaluationsforschung vorgestellt, die häufig in Lehrveranstaltungsevaluationen Verwendung finden, und ihr potentieller Einsatz im universitären Fremdsprachenunterricht wird diskutiert. Diese Ausführungen sollen im Detail die unterschiedlichen Evaluationsansätze aufzeigen, da diese in der einen oder anderen Form auch bei der KDE zum Einsatz kommen, und außerdem darlegen, welches Potential Evaluation in Bezug auf Qualitätsoptimierung haben kann.

 Kapitel 4: Kapitel 4 nähert sich an das zweite Kernthema der Arbeit, Qualität, an und versucht, die unterschiedlichen Aspekte, Dimensionen und Perspektiven zu diesem Begriff zu erörtern, bevor der Versuch unternommen wird, Qualität für den universitären Fremdsprachenunterricht zu definieren. Im Anschluss daran wird expliziert, warum Qualitätsverbesserung mit Hilfe von Evaluation nur erfolgen kann, wenn diese als Bestandteil eines übergeordneten Qualitätsmanagementsystems gesehen wird. Daran anschließend werden Total Quality Management (TQM) und KAIZEN, zwei sehr geeignete Ansätze aus dem Qualitätsmanagement, eingeführt und ihre Anwendung für die Qualitätsverbesserung des universitären Fremdsprachenunterrichts diskutiert.

 Kapitel 5: Hier wirft man zu Beginn einen hochschuldidaktischen Blick auf das Lehren und Lernen von Sprachen, bevor im Anschluss daran die Complex Dynamic System Theory vorgestellt wird, die die komplexen Dynamiken beschreibt, die beim Lernen, Lehren und Evaluieren im universitären Fremdsprachenunterricht festgestellt werden können. Im Anschluss daran werden Anforderungen an ein Evaluationsmodell herausgearbeitet, die im Kontext eines komplexen dynamischen Unterrichtsgeschehens notwendig sind, um für dessen Verbesserung relevante Informationen zu generieren. Die Umsetzung durch die KDE wird im Anschluss daran beschrieben.

 Kapitel 6: In Kapitel 6 wird zuerst aufgezeigt, wie die für die Optimierung relevanten Daten gesammelt werden und welche Grundfragen dabei zu stellen sind, bevor im Anschluss daran die theoretischen Erkenntnisse der vorangehenden Abschnitte kurz rekapituliert werden, um den theoretischen Entwurf der Komplexen Dynamischen Evaluation auszuführen, die sich aus den Komponenten Vorevaluation, Begleitende Evaluation, Endevaluation und Selektive Evaluation zusammensetzt. Danach wird das Multifaktorielle Modell der Lehrveranstaltungsqualität (Rindermann 2009) skizziert, welches den Lehrerfolg aus dem Zusammenspiel von Dozent, Studierenden und Rahmenbedingungen herleitet und als ein Aspekt bei der theoretischen Grundlage zur Itemsgenerierung der KDE herangezogen wird, bevor das Kapitel mit der Beantwortung der Forschungsfragen endet.

 Kapitel 7: Dieser Abschnitt rekapituliert die zentralen Themen der Arbeit erneut und die daraus gewonnen Erkenntnisse werden diskutiert, bevor aufgezeigt wird, welche weiteren Schritte für die Fertigstellung der KDE noch unternommen werden müssen.

2 Qualität, Evaluation, Hochschule

Was aber gut ist, Phaidros, und was nicht -

müssen wir danach erst andere fragen?

(Sokrates)

Die im vorangehenden Zitat durchaus berechtigte und zugleich rhetorische Frage stammt aus Robert M. Pirsigs Buch Zen und die Kunst, ein Motorrad zu warten, welches in seiner Originalfassung1 erstmals 1974 erschien und sich seitdem nicht nur zu einem Welt-Bestseller entwickelte, sondern geradezu den Status eines wahren Kultbuches genießt (vgl. auch Simon 2000:15). In seiner ursprünglichen Form ist diese Aussage jedoch wesentlich älter und stammt aus dem Platon-Dialog Phaidros, in welchem der griechische Philosoph Sokrates und sein Schüler Phaidros unter anderem über das Schöne, das Wahre, das Gute philosophieren. Auf das 21. Jahrhundert umgemünzt, unterhielten sich die beiden an dieser Stelle im Wesentlichen über Qualität und indirekt auch über Evaluation, zwei Begriffe, die – damals wie heute – in enger Verbindung zueinander stehen und in fast allen Bereichen des täglichen Lebens in der einen oder anderen Weise vorkommen – nimmt man dies nun bewusst wahr oder nicht.

Im Alltag bewertet bzw. evaluiert man z.B. die Qualität eines bestimmten Produktes, wie etwa die eines PKWs oder eines Mobiltelefons, spricht über die zusehends sinkende Qualität des Fernsehprogramms, lobt das gute Essen in einem renommierten Restaurant oder entscheidet sich beim Einkauf für einen Qualitätswein aus einer bestimmten Region. Die Aufzählung solcher Beispiele ließe sich beliebig fortsetzen. Ähnlich verhält es sich mit vergleichbaren Wertungen im universitären Kontext, wenn etwa Lehrpersonen oder Studierende von guten oder schlechten Kursen, nützlichen Lehrmaterialien, ansprechenden Übungen etc. sprechen oder man in der Forschung versucht zu ergründen, was guter Fremdsprachenunterricht ist bzw. ob – und wenn – wie dieser durch Evaluation verbessert werden kann.

Für die Beantwortung dieser und anderer zentraler Fragen sind nicht nur die Kapitel 3, 4 und 5 des vorliegenden Buches relevant, in welchen die einzelnen Themenbereiche Qualität, Evaluation und Fremdsprachenunterricht im Detail behandelt werden, sondern auch ein gewisses Kontextwissen, welches die Zusammenhänge zwischen diesen Begriffen herstellt und Qualität und Evaluation in den Rahmen des universitären Fremdsprachenunterrichts einbettet. Dieses Kontextwissen wird im vorliegenden Kapitel aufbereitet.

2.1 Dynamik von Qualität und Evaluation

Das Philosophieren über, das Streben nach und das Evaluieren von Qualität sind, wie oben genanntes Platon-Zitat verdeutlicht, keine neuen Phänomene, sondern in der einen oder anderen Form vermutlich so alt wie die Menschheit selbst. Zahlreiche Gelehrte setzten sich im Laufe der Geschichte in ihren Schriften immer wieder mit diesen Begriffen auseinander und waren darum bemüht, ein konkretes Verständnis davon zu erlangen, was letztendlich die Qualität einer Sache bestimmt (für eine detaillierte Abhandlung siehe z.B. Zollondz 2011:8–19, Küpers 2001, Ritter et al 1971–2007) und wie man diese messen oder evaluieren kann. Was jedoch ein vergleichsweise neues Phänomen zu sein scheint – möglicherweise auch ein Zeitgeist der letzten 25 Jahre – ist, dass zur üblichen Reflexion bzw. zum Diskurs über Qualität und dem eigentlichen Bestreben, eine Sache möglichst gut bzw. kontinuierlich besser machen zu wollen, gegenwärtig auch ein stärkeres Nach-Außen-Hin-Sichtbarmachen dieser Bestrebungen zu beobachten ist.

Manchmal hat es sogar den Anschein, als wäre dieses Aufzeigen sämtlicher qualitätsverbessernder Maßnahmen, die in Verbindung mit einem Produkt oder einer Dienstleistung durchgeführt werden, beinahe noch wichtiger als die tatsächliche Qualitätsverbesserung an sich. Es geht primär nicht nur darum, danach zu streben, ein Produkt bzw. eine Dienstleistung zu verbessern oder die Herstellung des besten Produktes und eine optimale Dienstleistung zu gewährleisten, sondern (oftmals vor allem auch) darum, potentielle KundInnen, KäuferInnen oder InvestorInnen davon zu überzeugen, dass eine bestimmte Ware nicht nur besser ist als eine andere und wert ist, produziert bzw. gekauft zu werden, sondern auch darum, darauf hinzuweisen, dass der jeweilige Betrieb/das Produkt/die Dienstleistung etc. von externen ExpertInnen evaluiert wurde und eine gute Platzierung in einem nationalen oder gar internationalen Vergleich (Rating) erhielt oder mit einem bestimmten Gütesiegel ausgezeichnet wurde. Es geht darum, aufzuzeigen, dass die Ware Qualität hat. Qualität wird in dieser Hinsicht oft synonym zu Exzellenz gesehen. Ähnliche Tendenzen sind auch im Hochschulbereich längst kein Novum mehr, vor allem dann, wenn es um das Akquirieren von finanziellen Mitteln geht, sei dies für den regulären Betrieb oder für die Finanzierung von (Drittmittel-)Projekten.

Die Motive für dieses explizite Hinweisen auf qualitätsoptimierende Prozesse sind in großer Zahl vorhanden. Während sich in der Wirtschaft z.B. durch die Globalisierung generell ein stärkerer Konkurrenzdruck bemerkbar macht(e), hat auch das Internet in den letzten zwei Jahrzehnten zu einer völlig neuen Marktsituation geführt. Die bequeme Bestellung von nahezu allen nur erdenklichen Produkten von zu Hause aus, deren schnelle und weltweite Verfügbarkeit bzw. (oftmals kostenlose) Lieferung und die von KundInnen und HerstellerInnen vielfach gleichermaßen in Kauf genommene Kurzlebigkeit diverser Produkte (e.g. Mobiltelefone, PCs, Betriebsprogramme etc.) zugunsten noch schnellerer und besserer Modelle bzw. Updates, hat viele kleine und mittelgroße Betriebe zum Vorteil von Großkonzernen vor scheinbar unlösbare Herausforderungen gestellt und in weiterer Folge oftmals zur Aufgabe ihrer Produktion getrieben.

Auch bei den Universitäten sind ähnliche Veränderungen zu spüren. Sie müssen sich, wie Landfried (vgl. 1999:5) festhält, »zunehmend im nationalen und internationalen Wettbewerb behaupten« und »müssen sich auf internationalen Bildungsmärkten positionieren und ihre Leistungsfähigkeit mehr als bisher öffentlich darstellen«. Neben diesem verstärkten Wettbewerbsdruck wurden und werden vielfach auch die finanziellen Mittel auf nationaler und auch auf europäischer Ebene für die Forschung und Wissenschaft gekürzt, was in Folge nicht nur zu personellen Einsparungen führt(e), sondern auch Einschränkungen bzw. sogar das potentielle Ende gewisser Studienrichtungen oder Institute bedeuten kann. Eine Petition1 gegen die Kürzung der Forschungsmittel wurde etwa von der Initiative for Science in Europe (ise) im Oktober 2012 gestartet und aktuell (Stand 23.04.2017) von über 154500 Personen unterzeichnet.

Mit der Kürzung der Forschungsmittel geht aber auch ein verstärkter Rechtfertigungsdruck der Hochschulen nach außen einher und es wird von der Öffentlichkeit zusehends mehr Transparenz und Rechenschaftslegung über die Verwendung knapper öffentlicher Mittel gefordert (vgl. Landfried 1999:5). Zudem sehen sich Universitäten vermehrt dazu gezwungen, darauf hinzuweisen, dass sie kontinuierlich darum bemüht sind, akademische Standards zu sichern und die Lehre zu verbessern, wie Dill (vgl. 2000:212) anführt.

2.1.1 Bildung als Ware und Lehre als Dienstleistung

In der Wirtschaft kann generell beobachtet werden, dass sich der Markt in den letzten Jahrzehnten sehr stark verändert hat und überwiegend von einem HerstellerInnenmarkt zu einem KundInnenmarkt geworden ist. Daraus resultieren vor allem für die KundInnen Vorteile, es gibt aber auch negative Begleiterscheinungen. Der Käufer/die Käuferin hat nun in der Regel nicht nur eine fast unüberblickbare Auswahl an weltweit hergestellten und beziehbaren Produkten und eventuell sogar Preisvergleiche, die von diversen Firmen (nicht selten gegen eine versteckte Gebühr) angeboten werden und dem Kunden/der Kundin das gewünschte Produkt beim günstigsten Anbieter/der günstigsten Anbieterin herausfiltern, sondern er/sie muss nun vielfach auch vermehrt auf das Kleingedruckte bei den angepriesenen Waren achten. Neben Betrügereien klagen immer mehr KäuferInnen über eine scheinbar sinkende Qualität bzw. Kurzlebigkeit vieler Produkte.

Diese Veränderungen haben u.a. dazu geführt, dass sich mittlerweile zahlreiche Unternehmen der Tatsache bewusst sind, in einer Marktwirtschaft im Zeitalter der Globalisierung und des ständig zunehmenden Konkurrenzdrucks, bei scheinbar kontinuierlich sinkenden Preisen vieler Produkte nur mehr dann langfristig bestehen zu können, wenn sie die KundInnen durch die Qualität der von ihnen angebotenen Waren überzeugen. Während manche HerstellerInnen weiterhin auf den niedrigen Preis ihrer Produkte und Dienstleistungen bauen und dies oftmals nur durch verminderte Qualität bzw. durch das Produzieren der Ware in Billiglohnländern erreichen können, versuchen andere verstärkt auf die Wichtigkeit von Nachhaltigkeit, Service und Qualität hinzuweisen.

Das Kriterium Qualität hat somit nicht nur wieder an Bedeutung gewonnen, sondern muss auch vor einem anderen Hintergrund als bisher betrachtet werden. Laut Timischl (vgl. 2007:1) ist gegenwärtig sogar die Tendenz feststellbar, dass der Kunde/die Kundin eine Qualität auf einem ihm/ihr ansprechenden Niveau fordert und dass zukünftig hochentwickelte Technologien weniger entscheidend sein werden als die Einstellung eines Unternehmens, die Erwartungen der KundInnen erfüllen zu wollen. In einem derart kundInnenorientierten Ansatz (user-based-approach) ist Qualität folglich weitgehend davon abhängig, was der Kunde/die Kundin darunter versteht. Dieser Aspekt ist auch im Kontext des vorliegenden Ansatzes wesentlich, da durch diverse Umstrukturierungen an den Hochschulen – wie z.B. die Auslagerung von Fremdsprachenkursen an universitäre Sprachenzentren – der Sicherung und Verbesserung von Qualität eine ganz neue Wichtigkeit zugekommen ist.

Zudem werden an vielen Universitäten bzw. Fachhochschulen Studierende verstärkt als KundInnen wahrgenommen, bzw. fühlen sie sich selbst als KundInnen, die für eine Ware Bildung bzw. eine Dienstleistung Lehre bezahlen und demgemäß gewisse Forderungen damit verbinden. Dass diese Sichtweise nicht nur bei vielen Lehrenden für Ablehnung sorgt und auch hinsichtlich der akademischen (Aus-)Bildung der Studierenden zu hinterfragen ist, muss an dieser Stelle nicht expliziert werden.

Während mit dieser Wahrnehmung mancher Studierenden, KundInnen zu sein bzw. dem Umstand, dass viele von ihnen an den Universitäten für eine gewisse Leistung in Form von Studiengebühren bezahlen müssen, oftmals von ihrer Seite stärkere Forderungen nach Qualität bzw. Service einhergehen, ist gleichzeitig in vielen universitären Kursen auch ein von innen heraus entstehendes Bestreben zu beobachten, verstärkt teilnehmerInnenorientiert zu lehren. Dies steht mitunter vielleicht zum einen mit der Forderung der ENQA1 (vgl. 2012:6) in Zusammenhang, dass bei sämtlichen qualitätssichernden Maßnahmen im Bereich des Lehrens und Lernens an den europäischen Hochschulen die Studierenden im Zentrum der Aufmerksamkeit stehen sollen, und zum anderen mit dem Paradigmenwechsel shift from teaching to learning, welcher das Lernen gegenüber dem Lehren explizit hervorhebt.

Zweifelsfrei sind derartige Strömungen nicht neu, sondern finden ihre Ursprünge im deutschsprachigen Raum – vor allem auch in Zusammenhang mit Evaluation – bereits in der 68er-Bewegung und den Protesten an Hochschulen, die, wie Rindermann (vgl. 2009:31) anführt, die Reformen an deutschen Universitäten einleiteten. Was jedoch als Novum der letzten Jahre gesehen werden kann, ist, dass Evaluationsergebnisse mitunter online gestellt werden und dadurch verhältnismäßig leicht zugänglich sind. Demzufolge werden diverse Fragen, Probleme, Erwartungen bzw. Forderungen den einzelnen am Unterrichtsgeschehen Beteiligten aktuell vielleicht deutlicher als bisher vor Augen geführt. Qualität bzw. fehlende Qualität wird sichtbar (gemacht) und steht auf Lehrendenseite auch vielfach in direkter Verbindung mit Vertragsverlängerungen oder eben der Nichtverlängerung von Lehraufträgen. Evaluation, besser gesagt, deren Ergebnisse können dadurch nolens volens auch als Druckmittel fungieren.

2.1.2 Normen, Zertifizierungen, Ratings

Zu diesen bisher genannten Gründen für Veränderungen muss auch die Veröffentlichung zahlreicher Normen und Zertifizierungen gezählt werden, die seit den 1980er Jahren verstärkt zum Einsatz kommen und auch explizit das Thema Qualität zum Gegenstand haben.

Allen voran seien hier die DIN-EN-ISO Normen 8402 und 9000–9004 genannt. In diesen Qualitätsmanagementnormen, die von internationalen ExpertInnen erarbeitet wurden und erstmals die KundInnen in den Mittelpunkt rücken, werden jene Kriterien beschrieben, die ein Unternehmen erfüllen muss, um einem bestimmten Standard bei der Umsetzung des Qualitätsmanagements zu entsprechen. Anders formuliert: Sie definieren auf eine allgemeine Weise jene Maßnahmen, die der Optimierung von Prozessen, Produkten oder Leistungen jeglicher Art dienen. Werden die betriebsinternen Abläufe und in weiterer Folge auch das hergestellte Produkt diesen bestimmten, festgelegten Qualitätskriterien gerecht, dann spricht man von einem ISO-zertifizierten Unternehmen und einem Qualitätsprodukt. Normen und Standards haben mittlerweile in fast allen Bereichen des täglichen Lebens Einzug gefunden. Alles scheint genormt zu sein, selbst der Begriff Qualität.

2.1.3 QM-Begriffe im Hochschulkontext

Auch Universitäten im deutschsprachigen Raum wurden von diesen oben angeführten Strömungen nicht verschont und diverse Begriffe und Termini, die ursprünglich der Wirtschaft bzw. dem Qualitätsmanagement zugeordnet waren, sind mittlerweile ebenfalls im Hochschulkontext längst salonfähig geworden und prägen ferner seit gut zwanzig Jahren verstärkt den wissenschaftlichen Diskurs. Dies inkludiert interessanterweise auch jene Disziplinen, deren primäre Forschungsschwerpunkte üblicherweise a priori nicht unbedingt mit Qualitätsmanagement, Qualitätssicherung, Ratings und dergleichen assoziiert werden, aber mit den Themen dieses Buches in direkter Verbindung stehen, wie z.B. die Sprachlehrforschung oder die Fremdsprachendidaktik.

Hätte man beispielsweise Qualitätsverbesserung, Qualitätssicherung, Evaluation, Audit, Akkreditierung, Sicherung von Standards, KundInnenzufriedenheit etc. vor etwa 25 Jahren an den Universitäten noch hauptsächlich mit Wirtschafts-, Unternehmens- und Managementwissenschaften assoziiert, oder generell mit Produktion, Produkten und Dienstleistungen etc. in Verbindung gebracht, so haben sich diese heute in fast allen wissenschaftlichen Bereichen etabliert und auch im Bildungssektor bzw. im Bereich des Fremdsprachenunterrichts Einzug gefunden. Hier spricht man u.a. von pädagogischer Qualität, didaktischer Qualität, Bildungsstandards oder diskutiert z.B. die Anwendung diverser Normen auf die Hochschule (siehe z.B. Knoll 2005).

Während der Impuls der Qualitätssicherung und -entwicklung in Wirtschaftsunternehmen überwiegend von innen heraus entstand und in vielen Bereichen eine unabdingbare Voraussetzung darstellte, um erfolgreich am nationalen und internationalen Wettbewerb teilnehmen zu können, so waren bei den Bildungseinrichtungen zu Beginn vor allem externe Faktoren, wie zum Beispiel Impulse aus der Politik ausschlaggebend, um das Rad in Sachen Qualität ins Rollen zu bringen (vgl. Kaufmann 2009:9). Spätestens seit Ende der 1990er Jahre findet man jedoch auch im Hochschulbereich vermehrt ein von innen gesteuertes Bestreben, nicht nur qualitativ hochwertige Forschung, sondern auch Qualität in der Aus- und Weiterbildung zu forcieren. Qualität ist folglich »zu einem zentralen Fokus der theoretischen, forschungsmethodischen und gestalterischen Bemühungen geworden« (Helmke/Hornstein/Terhart 2000:7). Dasselbe trifft auf Evaluation zu.

Dies zeigt auch die nahezu unüberschaubar gewordene Zahl1 an Publikationen, Projekten, Tagungen und Kongressen zu diesen Themen, die allein in den vergangenen Jahren zu beobachten war. So finden beispielsweise seit Anfang der 1990er Jahre von der Hochschulrektorenkonferenz (HRK) in regelmäßigen Abständen initiierte Tagungen und Kongresse zu den Themen Qualität und Qualitätsmanagement bzw. Evaluation an Hochschulen statt, und es wurden auch bereits einige mehrjährige Projekte von der HRK zu diesen Themen ins Leben gerufen.

Auch in Österreich rückte das Thema der Qualitätssicherung und -entwicklung in der Bildung in den Fokus vermehrter Aufmerksamkeit. Eine erste Tagung zum Thema Qualitätsentwicklung in der Erwachsenenbildung wurde zum Beispiel im Jahr 2000 am Bundesinstitut für Erwachsenenbildung durchgeführt. Hierzu erschien ebenso die gleichnamige Publikation. Im Bereich der Hochschulen wurden nicht nur zahlreiche Forschungsprojekte zu diesen Themen ins Leben gerufen, sondern 2012 auch die Agentur für Qualitätssicherung und Akkreditierung Austria (AQ Austria) gegründet, die, wie auf der Homepage deklariert, als unabhängige Einrichtung für Qualitätssicherung, Evaluierung und Zertifizierung im Hochschulbereich u.a. externe Qualitätssicherungsverfahren und Audits durchführt, um die Qualitätsentwicklung an den österreichischen Hochschulen zu fördern.

2.1.4 Zwischenresümee

Resümierend kann somit festgehalten werden, dass sowohl Qualität als auch Evaluation in der heutigen Zeit weder aus dem Alltag noch aus der Wissenschaft wegzudenken, sondern – ganz im Gegenteil – auch im Bildungsbereich in aller Munde sind. Selbst wenn die beiden Termini nicht immer explizit die Themen eines Werkes oder einer Veranstaltung darstellen, so muss man sich in der Regel nicht allzu lange in Geduld üben, bis einer dieser Begriffe in der einen oder anderen Art Erwähnung findet – und sei es nur in Form eines Feedbacks zur Qualitätsoptimierung oder -sicherung, um das man als Lehrperson das Auditorium am Ende einer Lehrveranstaltung bzw. die TeilnehmerInnen einer Fortbildung oder Tagung bittet, oder um welches man selbst vom/von der Vortragenden gebeten wird.

Im Bereich der Hochschulen werden die beiden Begriffe auch vielfach miteinander kombiniert, was dann als Qualitätsoptimierung durch Evaluation1 bezeichnet wird und das Herzstück dieser Arbeit bildet. Zahlreiche Verfahren, allen voran das Evaluieren von Lehrveranstaltungen (siehe Kapitel 3), haben sich hierzu mittlerweile auch im Bildungsbereich auf allen Ebenen etabliert. Obwohl das Evaluieren, spätestens seit es in den Hochschulgesetzen im deutschsprachigen Raum gesetzlich verankert ist (für Österreich siehe Kohler, 2009, für Deutschland siehe Schmidt, 2009 und für die Schweiz siehe Rhyn, 2009), einen fixen Bestandteil des universitären Qualitätsmanagements darstellt, ist es nach wie vor heftig umstritten und wird von manchen sogar als Evaluitis (Simon 2000, Frey 2007) bezeichnet.

Dies hat unterschiedliche Ursachen, die in den folgenden Kapiteln im Detail diskutiert werden. Es sei jedoch bereits an dieser Stelle vorweggenommen, dass nach Analyse der Sachlage die Hauptgründe für eine Evaluitis in vielen Fällen relativ einfach auf den Punkt gebracht werden können: Sie entsteht vor allem dann, wenn Maßnahmen, die der Qualitätsverbesserung dienen sollen, mit wenig durchdachten Methoden durchgeführt werden, mit einem erheblichen Aufwand von Seiten der Beteiligten verbunden sind und gleichzeitig kaum ein sinnvolles und nachhaltiges Follow-up in Form von Verbesserungen nach sich ziehen.

Natürlich impliziert das hier Gesagte auch, dass Veränderungen, ganz besonders dann, wenn sie der Verbesserung dienen sollen, immer mit einem gewissen Aufwand verbunden sind. Dieser Umstand lässt sich nicht negieren. Es ist jedoch anzunehmen, dass Methoden der Verbesserung auf weniger Widerstand bzw. auf bessere Akzeptanz stoßen, wenn sie sich durch Effizienz und Effektivität auszeichnen und sich mit dem damit verbundenen Mehr an Arbeit für die Beteiligten auch eine tatsächliche Verbesserung einer suboptimalen Situation einstellt.

Ein zentrales Anliegen dieses Buches stellt daher auch die Entwicklung eines Evaluationsmodells dar, welches diesen Forderungen gerecht zu werden versucht und dadurch einer übermäßigen Evaluitis weitgehend entgegenwirken soll. Völlig verhindern kann man den mit qualitätsoptimierenden Maßnahmen verbundenen Mehraufwand jedoch nie, denn wie schon eine philosophische Beobachtung verdeutlicht: Ex nihilo nihil fit.

Bevor in den folgenden Kapiteln ausgeführt wird, welche Komponenten und Rahmenbedingungen ein Evaluationsmodell im Detail benötigt, damit es sich durch Effektivität und Effizienz auszeichnet, soll an dieser Stelle kurz auf die zentralen qualitätsoptimierenden Maßnahmen an Hochschulen eingegangen werden, da diese eine wichtige Basis für sämtliche weitere Ausführungen darstellen und ein Grundverständnis derselben für das Nachvollziehen vieler in diesem Buch beschriebenen Schritte essentiell ist.

2.2 Qualitätsoptimierende Maßnahmen an Hochschulen

An europäischen1 Universitäten wird seit gut zwei Jahrzehnten verstärkte Aufmerksamkeit auf qualitätsoptimierende Maßnahmen gerichtet, die auch nach außen transparent gemacht werden (müssen). Die Gründe hierfür sind vielfältig und hängen mit unterschiedlichen Faktoren zusammen, die seit Ende des zweiten Weltkrieges zu beobachten sind: Neave (vgl. 2012:3) nennt in diesem Zusammenhang die grundsätzlichen Veränderungen, die das Dreieck Regierung, Gesellschaft und Universität betreffen, und Weingart (vgl. 2003) spricht von einer generell stärkeren Bindung der Hochschulen an Politik, Wirtschaft und Medien.

Zudem kommen zu den traditionellen Aufgaben der Universitäten, die sich im Bereich der Forschung und Lehre befinden, neue Pflichten hinzu, die den Hochschulen im Interesse der Gesellschaft und/oder der Wirtschaft unter dem Deckmantel der Wettbewerbsfähigkeit auferlegt werden (vgl. Neave 2012:3). Weingart (vgl. 2003:110) bezeichnet diese sogenannte »dritte Mission« als kommerziell orientierten Innovationsmotor für die Industrie. Der damit in Verbindung stehende Druck auf Universitäten vergrößerte sich besonders auch in Europa durch die Lissabon-Strategie2, die darauf abzielte, die Europäische Union bis zum Jahr 2010 »zum wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum« der Welt zu machen.

Trotz dieser hier angeführten Veränderungen und dem damit vielfach einhergehenden Wandel hinsichtlich der Finanzierung der Universitäten beziehen öffentliche Hochschulen nach wie vor einen Großteil ihrer finanziellen Mittel aus staatlichen Ressourcenzuwendungen, wenngleich diese heute nicht mehr so bedingungslos sind wie etwa noch vor 30 Jahren. Als Ausnahmebeispiel für Finanzierung wäre hier das britische Hochschulsystem vor den 1980er Jahren zu nennen, welches sich, wie Pechar (2006:59) konstatiert, durch einen einzigartigen »Vertrauensvorschuss der Gesellschaft in ihr Hochschulsystem« auszeichnete, der den Hochschulen zum einen eine überwiegend öffentliche Finanzierung sicherte, sie dadurch vom Markt unabhängig machte und zum anderen diese öffentliche Basisfinanzierung nicht an staatliche Auflagen und Eingriffe knüpfte. Im Vergleich dazu sieht die Finanzierung der Hochschulen heute völlig anders aus. In der Regel sind die staatlichen Ressourcenzuwendungen mit den Hochschulen vertraglich vereinbart und die Universitäten müssen darlegen, wie sie die jeweiligen Gelder einsetzen. Pechar (2006) spricht in diesem Zusammenhang von einem Kurswechsel »vom Vertrauensvorschuss zur Rechenschaftspflicht«.

Zudem haben Krisen in staatlichen Haushalten in Europa seit den 1980er Jahren oftmals dazu geführt, dass die staatlichen Mittel für Bildungseinrichtungen gekürzt wurden (vgl. Mittag 2006:1). Diese Mittelkürzung ist aktuell auch im Zusammenhang mit der Eurokrise zu beobachten und schließt dabei auch Länder ein, die von der Krise bisher weitgehend verschont wurden. An dieser Stelle sei auch auf das Stichwort »Bildungsmilliarde« und die Abschaffung des eigenständigen Wissenschaftsministeriums in Österreich (2013) hingewiesen.

Mit den Kürzungen bei den öffentlichen Ressourcenzuwendungen geht auch die bereits genannte stärkere Bindung der Universitäten an die Wirtschaft einher. Kaum eine Universität kann aktuell auf Gelder aus Drittmittelprojekten oder auf die Zusammenarbeit mit Unternehmen aus der Wirtschaft verzichten. Zwar pflegen in der Regel überwiegend technische Universitäten und Fachhochschulen einen sehr engen Kontakt zu Firmen, jedoch ist dies auch in vielen anderen Wissenschaftszweigen mittlerweile Usus geworden.

Nicht nur, dass wissenschaftliches Wissen zusehends zu einem »begehrten Gut« wird, »das die Privatwirtschaft zu kontrollieren sucht, um damit Profite zu machen«, wie Weingart (2003:103) feststellt, die »Wissenschaftspolitik drängt die Universitäten, sich enger an den Bedürfnissen der Wirtschaft zu orientieren« (ibid. 2003:104), was sich aller Voraussicht nach auch durch die in Österreich durchgeführte Integration des Wissenschaftsministeriums in das Wirtschaftsministerium noch verstärken könnte. Dass dies nicht nur (negative) Auswirkungen auf viele Universitäten per se hat, sondern auch dramatische Konsequenzen für einige Forschungsbereiche nach sich ziehen kann, die wenig bis keinen Nutzen für die Wirtschaft haben, leuchtet ein.

Ein weiterer Grund für das knappe Budget vieler (öffentlicher) Universitäten ist ein starker Zuwachs an Studierenden, der unter anderem mit dem raschen Wachstum des Wissenschaftssystems in Verbindung steht, welches seit dem zweiten Weltkrieg in den Industrienationen zu verzeichnen ist und zum einen dazu führte, dass es zu einer Ausweitung der Eliteuniversitäten kam und zum anderen zu einer Verlagerung des Hochschulsystems der Eliteuniversitäten hin zu Massenuniversitäten, wie Trow (vgl. 2005:6) vermerkt. Ermöglichte letztere Entwicklung im Prinzip allen Bildungsschichten den Hochschulzugang, so erschwerte sie die finanzielle Situation vieler Universitäten dramatisch, da bei steigender Zahl der Studierenden die Finanzierung vielfach bestenfalls gleichblieb. Die in manchen Ländern immer wieder entfachte (politisch geführte) Diskussion hinsichtlich der Abschaffung, Beibehaltung oder (Wieder-)Einführung von Studiengebühren ist in dieser Hinsicht auch nicht besonders hilfreich.

Die Rechenschaftspflicht, die die Universitäten bzw. die Wissenschaft gegenüber ihren Geldgebern haben, gibt es zusehends auch gegenüber der Öffentlichkeit. Dies ist, wie Weingart (vgl. 2003:113) bemerkt, u.a. darauf zurückzuführen, dass die Universitäten bzw. die Wissenschaft zwar öffentlicher Gelder bedürfen, aber ihre Gegenleistungen für die Gesellschaft aufgrund der Ausdifferenzierung und Spezialisierung oft unverständlich bleiben. Demgemäß suchen die Hochschulen vermehrt die öffentliche Akzeptanz, wobei die Medien eine besonders wichtige, wenn auch nicht immer unumstrittene Funktion einnehmen. Unter dem Stichwort der Qualität bzw. der Qualitätsoptimierung, -verbesserung und -sicherung werden die Universitäten auch in der Öffentlichkeit in regelmäßigen Abständen evaluiert.

So gibt es beispielsweise Universitätsrankings, wie sie etwa vom Magazin Times Higher Education seit 2004 veröffentlicht werden, die die Qualität von Forschung und Lehre bewerten und in weiterer Folge die Hochschulen in verschiedene Ranggruppen einteilen. Die Ergebnisse werden dann üblicherweise in den Medien diskutiert, was den Druck und den Wettbewerb unter den Universitäten erneut verstärkt. Zweifelsohne wurde durch diese Rankings der Wettbewerb der Hochschulen untereinander bewusster und hat auch die Bedeutung dieser »Hitlisten«, wie sie Hommelhoff (vgl. 2008:9) bezeichnete, gesteigert, jedoch ist auch zu erwähnen, dass die Kriterien und Methoden bei der Erstellung der Rankings in der öffentlichkeitswirksamen Auswertung oft im Hintergrund stehen (vgl. ibid.).

Das Resümee, welches daraus gezogen werden kann, lässt sich aus Sicht der Hochschulen subsumieren unter monetärem Ressourcenrückgang von öffentlicher Seite, vielfach steigender Zahl der Studierenden, erhöhtem Wettbewerbsdruck, zunehmender Autonomie, stärkerer Bindung der Hochschulen an die Wirtschaft und vermehrtem Rechtfertigungsdruck gegenüber den GeldgeberInnen, der Gesellschaft und den Studierenden.

Neben diesen bisher genannten externen Faktoren, die die Universitäten von außen förmlich dazu zwangen, sich mit der Frage der Qualitätsverbesserung und -sicherung auseinanderzusetzen, ist auch ein Umdenken an den Universitäten selbst zu beobachten, eine Wandlung von innen. Waren viele Lehrende vor Jahren noch der Ansicht, dass Qualitätsmanagement, Evaluation, Akkreditierung etc. an Universitäten »unnötig« wären, oder etwa das »Tun« an Hochschulen in Frage stellen würden, wie Gaethgens dies in der Herbsttagung der HRK 2008 bereits feststellte, so wurde mittlerweile erkannt, dass man, will man im internationalen Wettstreit um Studierende bestehen, auf Qualitätssicherungsaktivitäten nicht verzichten könne. Ganz im Gegenteil, man muss aktiv Methoden und Einrichtungen schaffen, die sich mit Qualität an der Hochschule in ihrer Mannigfaltigkeit auseinandersetzen und diese auch sichtbar machen. Nicht zuletzt hängt vielfach davon das Budget – und bei kleineren Instituten sogar deren Überleben ab.

Stangl (o.J.) resümiert diesbezüglich treffend: »Wer zur Elite der Universitäten zählen will, unterwirft sich den Anforderungen des Qualitätsmanagements und dokumentiert diese für die Öffentlichkeit und vor allem für die Stakeholder gut sichtbar auf der Homepage der Universität«. Dabei müssen sich sämtliche dieser Qualitätssicherungsaktivitäten auf die gesamte Universität beziehen, sowohl auf die Verwaltung als auch auf die Forschung und die Lehre.

Als Konsequenz wurden in den vergangenen Jahren unterschiedlichste Verfahren der Qualitätssicherung und -verbesserung an europäischen Hochschulen ein- und durchgeführt, die in Folge kurz besprochen werden, bevor im Anschluss daran konkret auf Qualitätsverbesserung auf Basis von Lehrveranstaltungsevaluation eingegangen wird.

2.3 Zentrale Maßnahmen im Detail

Qualitätssichernde Maßnahmen an Hochschulen im europäischen Raum waren zu Beginn vielfach wenig systematisch und wurden anfangs nur von einigen ExpertInnen thematisiert. Zudem waren diese von Staat zu Staat mitunter sehr verschieden, was nicht zuletzt auch auf die unterschiedliche Organisation der Universitäten zurückzuführen ist (vgl. The Danish Evaluation Institute 2003:7). Ein wesentlicher Schritt zu einer einheitlichen europäischen Lösung wurde in Zusammenhang mit der Schaffung des gemeinsamen europäischen Hochschulraums (siehe Bologna-Prozess) gesetzt.

Im »Kommuniqué der Konferenz der europäischen Hochschulministerinnen und -minister am 19. September 2003 in Berlin« (2003:4) beauftragten die MinisterInnen jener Staaten, die den Bologna-Prozess unterzeichnet hatten, das »European Network for Quality Assurance in Higher Education (ENQA)« »über seine Mitglieder und in Zusammenarbeit mit der EUA1, EURASHE2 und ESIB3 ein vereinbartes System von Normen, Verfahren und Richtlinien zur Qualitätssicherung zu entwickeln, Möglichkeiten zur Gewährleistung eines geeigneten Begutachtungsprozesses (peer review4) für Agenturen und Einrichtungen zur Qualitätssicherung und/oder Akkreditierung zu prüfen und durch die Follow-up-Gruppe den Ministerinnen und Ministern bis 2005 darüber Bericht zu erstatten«. Zudem sollte die ENQA dabei »die Fachkenntnis anderer Verbände und Netzwerke für Qualitätssicherung« gebührend berücksichtigen (vgl. ibid.).

Im Zuge dessen erarbeitete die ENQA Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum (ESG5) in Form interner und externer Qualitätssicherungsstandards für Hochschulen und externer Standards für Qualitätssicherungsagenturen, die zusätzlich zum bereits 1998 vorgeschlagenen »Vier-Phasen-Modell« (four-stage model) des Rates zum Einsatz kommen sollten. Das Vier-Phasen-Modell sieht im Wesentlichen vor, dass die qualitätssichernden Maßnahmen an den Universitäten intern (durch Selbstevaluation) und extern (durch unabhängige Agenturen und ExpertInnen) evaluiert werden und in Folge ein Bericht hierzu veröffentlicht wird.

2.3.1 Standards und Leitlinien (ESG)

Die ESG (Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum), die primär entwickelt wurden, um den Bedarf für ein gemeinsames Verständnis von Qualitätssicherung in Europa zu decken (vgl. The Danish Evaluation Institute 2009:6) bzw. einen gemeinsamen Referenzrahmen für Qualitätssicherung im europäischen Hochschulraum bereitzustellen (vgl. HRK 2015:10), bestehen sowohl in ihrer ursprünglichen Fassung aus dem Jahr 2005 (Originalfassung in Englisch, siehe ENQA 2005 bzw. Übersetzung ins Deutsche, siehe Alphei/Michalk 2006) als auch in ihrer überarbeiteten Fassung aus dem Jahr 2015 (siehe ENQA 2015 bzw. HRK 2015) inhaltlich aus folgenden drei Teilen:

1 Standards und Leitlinien für interne Qualitätssicherung;

2 Standards und Leitlinien für externe Qualitätssicherung;

3 Standards und Leitlinien für externe Qualitätssicherungsagenturen.

Erstere richten sich dabei an die universitätsinternen Maßnahmen der Qualitätssicherung, zweitere befassen sich mit jenen, die von den Qualitätssicherungsagenturen durchgeführt werden. Diese sollen überprüfen, wie wirksam die einzelnen Institutionen die Standards für die interne Qualitätssicherung umsetzen. Letztere stellen sozusagen eine Meta-Qualitätssicherung der Agenturen dar, damit gewährleistet wird, dass diese nach denselben Richtlinien prüfen. »Diese drei Teile sind inhaltlich aufeinander bezogen und bilden zusammen die Basis eines europäischen Referenzrahmens für die Qualitätssicherung« (vgl. HRK 2015:15) und stellen daher auch einen wichtigen Bezugspunkt bei der Evaluation der Lehrqualität dar. Für den Kontext der KDE sind primär die Standards und Leitlinien der internen Qualitätssicherung wichtig, weswegen an dieser Stelle näher auf diese eingegangen wird.

2.3.1.1 ESG für interne Qualitätssicherung

Während die ESG 2005 generell allgemeiner und vielfach auch freier formuliert wurden, sind bei der Version aus dem Jahr 2015 für die interne Qualitätssicherung konkret folgende zehn Standards definiert (siehe: HRK 2015:41–43): (1) Strategie für die Qualitätssicherung, (2) Gestaltung und Genehmigung von Studiengängen, (3) Studierendenzentriertes Lernen, Lehren und Prüfen, (4) Zulassung, Studienverlauf, Anerkennung und Studienabschluss, (5) Lehrende, (6) Lernumgebung, (7) Informationsmanagement, (8) Öffentliche Informationen, (9) Fortlaufende Beobachtung und regelmäßige Überprüfung der Studiengänge und (10) Regelmäßige externe Qualitätssicherung.

Nach Analyse der einzelnen Punkte gestalten sich folgende acht Standards als besonders wichtig in Hinblick auf Qualitätsoptimierung des universitären Fremdsprachenunterrichts durch Lehrveranstaltungsevaluation:

2.3.1.1.1 Strategie für die Qualitätssicherung

Das Qualitätssicherungssystem fördert eine kontinuierliche Verbesserung. Entscheidend ist somit, dass Qualitätsverbesserung im Unterricht nicht etwas Punktuelles ist, sondern ein Prozess, der kontinuierlich erfolgen soll. Zudem trägt dieses System »zur Bildung einer Qualitätskultur bei, in der alle internen InteressensvertreterInnen für die Qualität verantwortlich sind und auf allen Ebenen der Institution Verantwortung für die Qualitätssicherung übernehmen (HRK 2015:17)«. Dies schließt Lehrende und Studierende mit ein. Alle am Unterrichtsgeschehen haben daher nicht nur das Recht auf Qualität, sondern auch die Pflicht, sich aktiv an der Schaffung und Verbesserung von Qualität zu beteiligen und müssen ihre dementsprechenden Aufgaben wahrnehmen (vgl. ibid.).

2.3.1.1.2 Gestaltung und Genehmigung von Studiengängen

Den Studierenden sollen nicht nur akademisches Wissen und Fähigkeiten vermittelt werden, sondern auch Schlüsselkompetenzen, »die die persönliche Entwicklung der Studierenden beeinflussen und für ihre spätere Berufslaufbahn nützlich sein können« (HRK 2015:19). Hierzu ist, wie im Kapitel zur Evaluation noch detailliert angeführt wird, auch die Selbstreflexionskompetenz zu zählen, da die Fähigkeit, über das eigene LernerInnenselbst zu reflektieren, als ein wesentlicher Aspekt der persönlichen Entwicklung von Studierenden anzusehen ist.

Des Weiteren wird gefordert, dass die Studiengänge und daher auch die einzelnen Kurse so zu gestalten sind, dass die gewünschten Lernziele klar definiert werden und sowohl die Studierenden aktiv an der Mitgestaltung beteiligt sind als auch andere externe Referenzpunkte genutzt werden.

2.3.1.1.3 Studierendenzentriertes Lernen, Lehren und Prüfen

Ein besonders wichtiger Punkt, der unter diesem Standard angeführt wird, betrifft die Durchführung der Studiengänge in der Form, dass die Studierenden ermutigt werden, »eine aktive Rolle in der Gestaltung des Lernprozesses zu übernehmen (HRK 2015:20)«. Somit wird ein verstärkter Wert auf studierendenzentriertes Lernen und Lehren gelegt, was, wie in den Leitlinien expliziert, »eine große Bedeutung für die Motivation, die Selbstreflexion und das Engagement der Studierenden während des Lernprozesses (ibid.)« hat. Als wichtige Punkte hierbei werden folgende genannt (HRK 2015:20):

 »die Diversität der Studierenden und ihrer Bedürfnisse zu respektieren und ihnen durch flexible Lernwege Rechnung zu tragen;

 wo es angebracht ist, unterschiedliche Vermittlungsweisen in Betracht zu ziehen und zu nutzen;

 unterschiedliche pädagogische Methoden flexibel einzusetzen;

 regelmäßige Evaluierungen und Anpassungen der Vermittlungsweisen und pädagogischen Methoden vorzusehen;

 die Studierenden zu selbstständigem Lernen zu ermutigen und ihnen als Lehrer gleichzeitig angemessene Orientierung und Unterstützung zu bieten;

 gegenseitigen Respekt in der Beziehung zwischen Lernenden und Lehrenden zu fördern;

 ein angemessenes Verfahren für den Umgang mit studentischen Beschwerden bereitzustellen«.

Dieser Standard ist zentral in Hinblick auf Qualitätssicherung und darf daher in einem Evaluationsmodell, welches Daten zur Qualitätsoptimierung generieren soll, nicht fehlen. Wenn das Modell richtig konzipiert und eingesetzt wird und die Lehrenden die Rückmeldungen der Studierenden ernst nehmen und diese bei ihrer Unterrichtsgestaltung bzw. eventuell nötigen Adaption berücksichtigen, kann damit auch das Ausmaß an Beschwerden gering gehalten werden, denn Beschwerden kommen überwiegend dann zustande, wenn Probleme, auf die hingewiesen wurde, nicht gelöst werden bzw. die Studierenden überhaupt keine Möglichkeit haben, auf ein eventuell vorhandenes Suboptimum hinzuweisen. Das bedeutet auch, dass in einem qualitativ hochwertigen Unterrichtsgeschehen Probleme gezielt zu Tage gefördert und bearbeitet werden müssen.

2.3.1.1.4 Zulassung, Studienverlauf, Anerkennung und Abschluss

Ein wichtiger Aspekt dieses Standards ist, dass Hochschulen Verfahren und Instrumente benötigen, »die es ihnen ermöglichen, Informationen zu den Studienverläufen zu erfassen, zu beobachten und diesbezügliche Maßnahmen zu ergreifen (HRK 2015:22). Dies zielt bei Fremdsprachenkursen – die sich vielfach durch Heterogenität der KursteilnehmerInnen auszeichnen – u.a. auch darauf ab, die Vorkenntnisse der LernerInnen zu ermitteln. Welche Kurse haben sie bereits besucht? Wie schätzen sie ihre eigenen Kenntnisse ein? Welche Lehr- und Lernmethoden sind ihnen geläufig und für sie besonders geeignet? etc.

2.3.1.1.5 Lehrende

Dieser Standard ist – zusammen mit jenem der Studierendenzentriertheit – meiner Lehrerfahrung nach besonders wichtig, denn viele Evaluationsmodelle berücksichtigen die veränderte Rolle der Lehrenden kaum oder gar nicht bzw. wird viel zu häufig nach wie vor die Lehrperson als Wissensvermittlungsinstanz evaluiert und dem Lernen der Studierenden zu wenig Aufmerksamkeit geschenkt. Darüber hinaus kann ein Evaluationsmodell auch so gestaltet sein, dass es den Lehrenden als didaktisches Hilfsmittel dient und sie – durch die richtige Art des Feedbacks – auch dabei unterstützt werden, ihre eigenen Lehrmethoden zu verbessern. Dadurch kann letztendlich auch die Lehrkompetenz gefördert werden, die auch eine zentrale Forderung der ESG darstellt.

2.3.1.1.6 Lernumgebung

Eine besonders wichtige Leitlinie dieses Standards wird wie folgt definiert:

»Die Bedürfnisse einer heterogenen Studierendenschaft (u.a. ältere, ausländische, berufstätige oder in Teilzeit Studierende sowie Studierende mit Behinderungen oder Beeinträchtigungen) und die Ausrichtung auf studierendenzentriertes Lernen sowie flexible Lern- und Lehrmethoden werden bei der Zuteilung, Planung und Bereitstellung des Lernmittel- und Betreuungsangebots berücksichtigt« (HRK 2015:24).

Dies kann in Hinblick auf Qualitätssicherung so interpretiert werden, dass die Voraussetzungen der Studierenden bereits zu Beginn des Kurses in Erfahrung gebracht werden sollten, damit man diese als LehrendeR von Anfang an gezielt bei der Planung bzw. eventuell nötigen Adaption des Kurses berücksichtigen kann. Wer seine Gruppe kennt, kann einen für sie passenden Unterricht konzipieren.

2.3.1.1.7 Informationsmanagement

Zentraler Punkt dieses Standards ist, dass Universitäten relevante Daten erheben, analysieren und nutzen (vgl. HRK 2015:25). Evaluationsinstrumente können dabei eine wesentliche, vielleicht – wenn richtig konzipiert – die entscheidende Rolle spielen. Für mich ist an dieser Stelle zentral, dass relevante Daten erhoben und diese nach deren Analyse auch genutzt werden, um Optimierungen zu erzielen, oder wie in den Leitlinien formuliert, um »fundierte Entscheidungen treffen zu können und zu erkennen, was gut funktioniert und was verändert werden sollte (ibid.)«. Hierbei spielt natürlich auch der Erhebungszeitpunkt eine wesentliche Rolle, denn wenn die relevanten Daten zu spät erhoben werden, können sie für eine Optimierung nicht mehr genutzt werden.

Darüber hinaus wird bei diesem Punkt Wert auf die Verwendung »effektiver Verfahren (ibid.)« zur Informationsgenerierung gelegt, was mitunter bedeutet, dass nicht nur möglichst viele für die Qualitätsoptimierung relevante Informationen gefördert werden, sondern auch in einer Weise, die möglichst wenig Ressourcen benötigt.

Daten, die unter anderen als relevant angesehen werden können, sind laut ESG (siehe HRK 2015:25):

 »Leistungsindikatoren (KPI);

 das Profil der Studierendenschaft;

 Studienverläufe, Erfolgs- und Abbruchquoten;

 die Zufriedenheit der Studierenden mit den Studiengängen;

 die verfügbare Ausstattung und Betreuung;

 Berufswege der Absolventinnen und Absolventen«.

Die Daten können laut ESG auf unterschiedliche Weise erhoben werden, jedoch spielt das Miteinbeziehen aller am Lehr- und Lernprozess Beteiligten eine wesentliche Rolle – nicht nur beim Generieren der Daten, sondern auch bei deren Auswertung und bei sämtlichen Folgeaktivitäten (vgl. ibid.).

2.3.1.1.8 Fortlaufende Beobachtung und Überprüfung der Studiengänge

Zentral bei diesem Standard ist (siehe HRK 2015:26), dass Universitäten ihre Studiengänge kontinuierlich beobachten und sie – unter Einbeziehung der Studierenden – regelmäßig überprüfen und überarbeiten, damit gewährleistet werden kann, dass »sie die gesteckten Ziele erreichen und die Bedürfnisse der Studierenden und der Gesellschaft erfüllen«. Dies führt zu einer »kontinuierlichen Verbesserung der Studiengänge«. Ein besonders wichtiger Aspekt, der hier angeführt wird, ist, dass »die Erwartungen und Bedürfnisse sowie die Zufriedenheit der Studierenden mit den Studiengängen« berücksichtigt werden.

2.3.1.2 Fazit

Vergleicht man die ursprünglichen ESG mit jenen aus dem Jahr 2015, kann festgestellt werden, dass sich diese inhaltlich kaum verändert haben, dass sie jedoch an manchen Stellen detaillierter und mit stärkerem Nachdruck formuliert wurden. In beiden Fällen können sie zweifellos einen wesentlichen Beitrag zur Qualitätsoptimierung liefern und sollten daher auch in Modellen zur Qualitätsverbesserung berücksichtigt werden.

Hinsichtlich ihres Umfangs wurden bei den ESG 2015 jene Veränderungen berücksichtigt, die im Europäischen Hochschulraum in den Jahren 2005 bis 2015 stattgefunden haben. Damit einhergehend und besonders wichtig im Hinblick auf die vorliegende Arbeit ist, dass in den ESG 2015 der studierendenfokussierte Lernansatz stärker als davor im Vordergrund steht. Darüber hinaus sollen flexible Bildungswege vermehrt berücksichtigt werden und Kompetenzen stärkere Anerkennung finden, die außerhalb formaler Bildung erworben werden. Zudem wird neben dem bisherigen Fokus auf Qualitätssicherung beim Lehren und Lernen ein Bezug zur Lernumgebung sowie zur Forschung und Innovation hergestellt (vgl. BFUG 2015).

Neben zahlreichen weiteren und eher kleineren Veränderungen sind folgende Grundsätze der ESG 20151 für Qualitätssicherung von immenser Wichtigkeit: die Forderung, dass Qualitätssicherung keine Formsache sein darf, sondern eine Qualitätskultur fördern soll und, dass Qualitätssicherung die Bedürfnisse und Erwartungen der Studierenden, der übrigen Interessengruppen und der Gesellschaft berücksichtigt. Entscheidend ist in diesem Zusammenhang auch die Feststellung, dass Studierende zu den institutionellen Akteuren zählen und eine Verantwortung bei der Qualitätssicherung haben und diese auch wahrnehmen müssen, dass sie vielmehr noch, in den Qualitätssicherungsprozess aktiv miteinbezogen werden müssen. Eine weitere Schlüsselpassage ist die Forderung, dass Qualitätssicherung kontinuierlich und nicht punktuell erfolgen soll.

Sämtliche dieser Forderungen decken sich auch mit Ansätzen aus dem Qualitätsmanagement, der Evaluationsforschung und der Fremdsprachendidaktik, wie in den folgenden Kapiteln noch ausgeführt wird.

2.3.2 Methoden aus dem Qualitätsmanagement

In den vergangenen 15 Jahren wurden von der ENQA drei1 umfangreiche Erhebungen zum Thema qualitätssichernde Maßnahmen an europäischen Hochschulen durchgeführt. Die erste aus dem Jahr 2003 (siehe The Danish Evaluation Institute 2003) untersuchte die einzelnen Verfahren, die diesbezüglich an den Universitäten der 23 partizipierenden Länder zum Einsatz kamen und versuchte neben den Ebenen und dem Umfang auch Ähnlichkeiten bzw. Unterschiede bei diesen Verfahren festzustellen. Die primären Ergebnisse dieser Befragung waren u.a., dass die unterschiedlichen Maßnahmen sowohl im Umfang als auch vom Typus seit den späten 1990er Jahren komplexer wurden, dass eine Zunahme von Qualitätssicherungsagenturen in Europa zu verzeichnen war und dass die Maßnahmen der einzelnen Länder im Wesentlichen auf den gleichen methodologischen Prinzipien aufbauen. Gleichzeitig wurde auch festgestellt, dass es mitunter nach wie vor erhebliche Unterschiede bei der Implementierung der einzelnen Methoden in den verschiedenen Ländern gab, wenngleich im Allgemeinen den Empfehlungen des Rates der Europäischen Union (Vier-Phasen-Modell) aus dem Jahr 1998 (siehe Amtsblatt L 270/59 vom 7.10.1998) Folge geleistet wird.

Die Untersuchung zeigte zudem, dass an den europäischen Hochschulen hauptsächlich vier – zumeist mehrstufige – Methoden der Qualitätssicherung eingesetzt werden. Diese sind – geordnet nach Häufigkeit des Einsatzes – in aufsteigender Reihenfolge: (1) Benchmarking, (2) Audit, (3) Akkreditierung und als wichtigstes Verfahren (4) Evaluation (siehe The Danish Evaluation Institute 2003:17ff). Da die ersten drei nicht direkte Bestandteile dieses Buches sind, werden sie nur in aller Kürze behandelt. Auf Evaluation soll jedoch in weiterer Folge – vor allem in Kapitel 3 – im Detail eingegangen werden.

2.3.2.1 Benchmarking

Im Qualitätsmanagement versteht man unter Benchmarking, wie Kamiske/Brauer (2008:10ff) ausführen, den »Prozess des Vergleichens und Messens der eigenen Produkte und Prozesse mit den besten Wettbewerbern oder mit den anerkannten Marktführern«. Dabei werden jene Unternehmen bzw. Organisationen, die einen zu untersuchenden Prozess, ein Produkt oder eine Dienstleistung hervorragend beherrschen, als sogenannte Klassenbeste (Best in Class) bezeichnet, und im Vergleich zu diesen sollen Unterschiede zum eigenen Unternehmen erkannt und Möglichkeiten zur Verbesserung aufgezeigt werden. Das bedeutet: Primäres Ziel eines Benchmarkings im herkömmlichen Sinn ist, aus dem Vergleich mit den Besten zu lernen, die wirkungsvollsten Methoden (Best Practice) herauszufinden, zu adaptieren und dadurch die eigene Leistungsfähigkeit zu steigern, um selbst die Spitzenposition (Best of the Best) zu erreichen (vgl. ibid.). Als Orientierungspunkte hierfür dienen sogenannte Benchmarks, also Normen bzw. Referenzgrößen, die als Bezugspunkte herangezogen werden.

Auch im Hochschulkontext wird diese Methode in den unterschiedlichsten Bereichen – von der Forschung bis zur Lehre – eingesetzt und funktioniert im Prinzip ähnlich wie im Qualitätsmanagement in der Wirtschaft: Eine Universität sucht bei anderen Hochschulen nach Vorbildern in bestimmten Bereichen, die dann übernommen werden können, orientiert sich somit an dieser Hochschule, oder es wird gemeinsam nach Lösungen für ähnliche Probleme gesucht. Das zentrale Anliegen ist in jedem Fall, durch Vergleiche voneinander zu lernen (vgl. HRK 2007:21).

Während Benchmarking im Jahr 2003 von keiner, an der ENQA-Befragung teilnehmenden Hochschulen als primäre Methode der Qualitätssicherung angeführt wurde und im Wesentlichen nur im Bereich der Bewertung von Studiengängen (programme benchmarking) bzw. Fachgebieten (subject benchmarking) einen kleinen Prozentsatz ausmachte, aber im Allgemeinen bei der überwiegenden Mehrheit der Universitäten überhaupt nicht als qualitätssichernde Maßnahme angeführt wurde1 (vgl. The Danish Evaluation Institute 2003:21), schien diese Methode in den letzten Jahren an Bedeutung zu gewinnen.

So wurden zahlreiche Projekte und Workshops zum Thema Benchmarking an europäischen Hochschulen ins Leben gerufen (siehe z.B. European Centre for Strategic Management of Universities, esmu und ENQA) und 2010 ein Handbuch zu diesem Thema publiziert (siehe van Vught et al. 2010). Zudem entstanden sogenannte Benchmarking-Clubs, denen zahlreiche Universitäten angehören und die gemeinsam an neuen Projekten arbeiten bzw. als Orientierung für andere Universitäten fungieren.

Trotz all dieser Initiativen und Prozesse ist in diesem Bereich im Hochschulkontext noch erheblicher Handlungsspielraum gegeben und die Zahl der Publikationen bzw. die Zahl der dokumentierten Verfahren in diesem Bereich ist überschaubar, wie auch Schröder/Sehl (vgl. 2010:1) festhalten. Dies zeigt auch die ENQA-Umfrage aus dem Jahr 2012 (vgl. 2012:18), aus welcher hervorgeht, dass ein Großteil der befragten Qualitätssicherungsagenturen auf den noch erheblichen Bedarf an Weiterentwicklung der aktuellen internationalen Benchmarks für Qualitätssicherung hinweist.

2.3.2.2 Audit

Die DIN ISO 9000:2005 (3.9.1) definiert Audit als einen systematischen, unabhängigen und dokumentierten Prozess1 zur Erlangung von Auditnachweisen2 und zu deren objektiver Auswertung, um zu ermitteln, inwieweit Auditkriterien3 erfüllt sind«. Dem Prinzip nach ist ein Audit somit »eine besondere Form einer Prüfung, bei der festgestellt wird, inwieweit eine betrachtete Einheit die Forderungen erfüllt, die an sie gestellt werden« (Herrmann 2007:332). Geiger (1994:79) weist diesbezüglich darauf hin, dass man ein Audit nicht mit einer herkömmlichen Qualitätsprüfung verwechseln darf, da es sich bei einem Audit ausdrücklich um »Tätigkeiten und nur auf die damit zusammenhängenden Ergebnisse« handelt, es somit »um das QM4-System und um das ›ob‹ geht« und nicht »um das ›inwieweit‹ und um beliebige Einheiten«, wie dies bei einer »Qualitätsprüfung« der Fall ist. Demgemäß sollen mit einem Audit »Schwachstellen aufgezeigt, Verbesserungsmaßnahmen angeregt und deren Wirkung überwacht werden. Damit ist das Audit auch als Führungsinstrument zu sehen, das zur Vorgabe von Zielen und zur Information des Managements über die Zielerreichung eingesetzt werden kann« (Kamiske/Brauer 2008:5).

Audits werden von unabhängigen AuditorInnen durchgeführt und können unterschieden werden hinsichtlich der zu untersuchenden Einheit (Produkt, Verfahren, System) oder hinsichtlich der Durchführungsart (intern oder extern). Demgemäß spricht man von »Produktaudit«, »Verfahrensaudit« und »Systemaudit«, bzw. deren Hyperonym, dem »Qualitätsaudit«, oder von einem internen bzw. externen Audit. Die Informationen, die man mit Hilfe eines Audits gewinnt, zeigen z.B. der Leitung eines Unternehmens den Verbesserungsbedarf auf und weisen auf jene Bereiche der Organisation hin, in denen sich noch nicht ausgeschöpfte Potentiale befinden. Die Ergebnisse dienen somit als Ausgangspunkt eines kontinuierlichen Verbesserungsprozesses (vgl. Herrmann 2007:332).

An europäischen Universitäten wurden Audits in Großbritannien in den 1990er Jahren eingeführt (vgl. Mittag 2006:5) und zählen daher, vergleicht man sie beispielsweise mit Evaluationen, eher zu jüngeren Verfahren der Qualitätssicherung. Das Audit richtet sich an die Hochschule als Ganzes (vgl. HRK 2007:14) und ist »ein partnerschaftlicher Prozess, an dem sich die Hochschule und kompetente Gutachter/innen beteiligen« (AQ 2013:3). Die AQ definiert Audit als »ein periodisch wiederkehrendes Peer-Verfahren, in dem Organisation und Umsetzung des internen Qualitätsmanagementsystems einer Hochschule durch externe Gutachter/innen beurteilt werden« (ibid.). Es handelt sich um eine Art »kollegiales Feedback« (ibid.) bei welchem man sich an Auditstandards orientiert und zwei primäre Ziele verfolgt: Erstens bestätigt das Audit, »dass eine Hochschule ihr Qualitätsmanagementsystem gemäß den gesetzlichen Bestimmungen eingerichtet hat« und zweitens fördert es die Hochschule »bei der Weiterentwicklung ihres internen Qualitätsmanagementsystems« (ibid.). Infolge kann die Universität, wenn sie die nötigen Standards erfüllt, zertifiziert werden (siehe unten).

Laut The Danish Evaluation Institute (vgl. 2003:8) sind Audits die drittmeist verwendete Methode der Qualitätssicherung an europäischen Universitäten und erfreuen sich besonders im englischsprachigen Raum großer Beliebtheit. Auch im deutschsprachigen Raum, in welchem sie sich anfangs vergleichsweise weniger durchsetzten (vgl. Mittag 2006:5), finden Audits zusehends Eingang. In Österreich beispielsweise wurden Audits mit dem Hochschul-Qualitätssicherungsgesetz 2011 zum fixen Bestandteil der externen Qualitätssicherung.

2.3.2.3 Akkreditierung und Zertifizierung

Im Qualitätsmanagement werden die beiden Begriffe Zertifizierung und Akkreditierung sehr oft in Verbindung miteinander verwendet.

Bei der Zertifizierung handelt es sich laut Wirtschaftslexikon24.com um die »Prüfung eines Unternehmens durch einen unabhängigen Dritten zum Erhalt eines Zertifikats, das die Übereinstimmung (Konformität) der Leistungserstellung […] mit bestimmten Anforderungen und Normen ausdrückt«. Die Zertifizierung stellt somit eine Bewertung und Bestätigung des Qualitätsmanagementsystems durch eine kompetente und unabhängige Stelle dar, und das Zertifikat dient als Nachweis der Qualitätsfähigkeit der Organisation (vgl. Drechsel 2007:344), wobei als Prüfungsgrundlage für die Zertifizierung Normen (z.B. ISO 9000) oder Standards (z.B. ESG) herangezogen werden.

Laut ISO/IEC 17011:2004 (zit. nach Drechsel 2007:345) versteht man unter Akkreditierung »die Bestätigung durch eine dritte Stelle, die formal darlegt, dass eine Konformitätsbewertungsstelle1 die Kompetenz besitzt, bestimmte Konformitätsbewertungsaufgaben durchzuführen«. Mit anderen Worten: Eine allgemein anerkannte Instanz (Akkreditierungsstelle) bescheinigt einer anderen (Zertifizierungsstelle), dass sie gemäß nationaler oder internationaler Normen bestimmte Anforderungen2 in einem bestimmten Bereich erfüllt.

Bei einem Akkreditierungsverfahren handelt es sich somit um eine »Prüfung der Prüfer«, (Drechsel 2007:345) wobei die Zertifizierungsstelle nachweisen muss, »dass sie die einschlägigen Regeln befolgt und über kompetentes Personal verfügt«. Das wird von der Akkreditierungsstelle überprüft, »die Audits beim Zertifizierer durchführt und ihn bei ausgewählten Audits begleitet, um sich von dessen Kompetenz zu überzeugen« (ibid.). Vereinfacht gesagt bedeutet dies, dass die Zertifizierungsstelle ein Unternehmen oder eine Organisation prüft und selbst wiederum von einer Akkreditierungsstelle geprüft wird. Die Zertifizierung bestätigt z.B., dass die Produkte oder Dienstleistungen eines Unternehmens qualitativ hochwertig sind, und die Akkreditierung der Zertifizierungsstelle ist dabei wichtig für die Glaubwürdigkeit und Akzeptanz dieses Zertifikats.

Obwohl der Terminus »Akkreditierung« im Kontext der Universitäten nicht immer eindeutig definiert wurde und oftmals doppeldeutig verwendet wird (vgl. The Danish Evaluation Institute 2003:19), gewinnt diese Methode im Rahmen der Qualitätssicherung an Hochschulen auch durch die Schaffung des europäischen Hochschulraums an Bedeutung. Sie dient vor allem der Sicherung von Mindeststandards, der Herstellung von Transparenz, der Förderung der Studierendenmobilität und der internationalen Vergleichbarkeit und Anerkennung der Studienabschlüsse (vgl. Mittag 2006:3). Die AQ definiert Akkreditierung als »ein formales und transparentes Qualitätsprüfverfahren anhand definierter Kriterien und Standards, das zu einer staatlichen Anerkennung einer hochschulischen Bildungseinrichtung und/oder Studien führt« (AQ 2014:3). Demnach handelt es sich bei Akkreditierung um eine summative Betrachtung von Qualität (vgl. HRK 2007:11).

Die erste ENQA-Erhebung (vgl. The Danish Evaluation Institute 2003:19) ergab, dass Akkreditierung vor allem im Zusammenhang mit Studiengängen (accreditation of programme) Anwendung findet. Demgemäß wurde sie 2003 an über 50 % der befragten Institutionen durchgeführt, allen voran an Hochschulen im deutschsprachigen Raum. Auch im Bereich der Institute wurde Akkreditierung von über 20 % der Beteiligten angewandt. Um die oben angesprochene Diffusität des Begriffs »Akkreditierung« zu klären, wurde der Terminus in der ENQA-Erhebung (The Danish Evaluation Institute 2003:20) durch folgende Charakteristika definiert:

1 Akkreditierung erkennt an (oder nicht), dass ein universitärer Kurs, ein Studium oder eine Institution einen gewissen Standard (Minimalstandard oder Exzellenzstandard) erfüllt.

2 Akkreditierung beinhaltet daher immer ein Benchmarking.

3 Die Ergebnisse einer Akkreditierung werden immer auf Basis von Qualitätskriterien und niemals aufgrund politischer Überlegungen getroffen.

4 Akkreditierung beinhaltet ein binäres Element, welches entweder positiv oder negativ ist.

Ganz wesentlich bei der Unterscheidung zwischen Akkreditierung und anderen qualitätssichernden Maßnahmen ist der vierte Punkt, denn am Ende jeder Akkreditierung wird von der durchführenden Agentur ein Zertifikat (Qualitätssiegel) ausgestellt (oder nicht), das darlegt, ob die untersuchte Institution die jeweiligen Standards erfüllt oder nicht, wobei theoretisch die Möglichkeit besteht, dass dies auch mit Auflagen erfolgt und die betreffende Institution die geforderten Nachbesserungen innerhalb einer bestimmten Zeit durchzuführen hat (vgl. HRK 2007:11).

2.3.2.4 Evaluation

Neben den drei bereits genannten Maßnahmen zur Qualitätsoptimierung setzte sich an europäischen Hochschulen seit den 1980er Jahren vor allem eine weitere Methode durch: die Evaluation. Der Terminus Evaluation wird in der Literatur, wie u.a. Gollwitzer/Jäger (vgl. 2009:XI) und Stockmann (vgl. 2010:9) feststellen, geradezu »inflationär« verwendet, und es ist daher in jedem Fall ratsam, darauf zu achten, in welchem Kontext er jeweils wie verwendet wird, bzw. explizit darzulegen, was man selbst meint, wenn man von Evaluation spricht (siehe Kapitel 3).

Im Kontext der universitären Qualitätsverbesserung und -sicherung spricht man verwirrenderweise in zumindest zweierlei Hinsicht von Evaluation: Einerseits als Hyperonym für sämtliche qualitätssichernden Maßnahmen wie Audit, Akkreditierung und Benchmarking, die alle unterschiedliche Evaluationsverfahren sind. Zum anderen wird Evaluation selbst auch als spezielle Methode dieser Verfahren gesehen, was die exakte Unterscheidung oft erschwert. Bei letzterem handelt es sich im Wesentlichen um die Evaluation von Studium, Lehre, Forschung, Verwaltung und Dienstleistungen (vgl. Mittag 2006:2), und man spricht beispielsweise von der Evaluation eines (Studien-)Faches (evaluation of a subject), eines Studienganges/Programms (programme evaluation) oder eines Institutes (institutional evaluation) etc.

Obwohl es in der Evaluationsforschung unterschiedlichste Evaluationstheorien, -ansätze und Modelle gibt (einen Überblick bieten Balzer 2005: Kapitel 4 bzw. Rindermann 2009:12ff), spricht man im Zusammenhang mit Evaluationsverfahren an Hochschulen zumeist von einem sogenannten mehrstufigen Verfahren, welches aus einer internen und einer externen Evaluation, der Veröffentlichung eines Evaluationsberichts und dem sogenannten Follow-up besteht, welches als die Phase der Umsetzung der Evaluationsergebnisse betrachtet werden kann.

Die interne Evaluation ist ihrem Wesen nach eine Selbstevaluation, eine »kritische Bestandsaufnahme durch ein Fach/einen Fachbereich bezüglich des Geleisteten« und in der »externen Evaluation wird dies durch Gutachter (Peers) überprüft« (HRK 2007:7). Die interne Evaluation wird mit einem Bericht (Selbstreport) abgeschlossen, welcher den externen EvaluatorInnen als Basis für ihre Untersuchung dient. Nach einer – üblicherweise zweitägigen – Vor-Ort-Begehung fassen die Peers ihre Empfehlungen und Anregungen in einem schriftlichen Gutachten zusammen (vgl. HRK 2007:7f), welches in der Regel veröffentlicht wird und den eigentlichen Evaluationsprozess beendet. Im Anschluss daran folgt das Follow-up, welches, wie Mittag (vgl. 2006:9) festhält, in den Händen der evaluierten Hochschule liegt und bis dato wenig untersucht wurde (vgl. ibid.:24).

Wie oben bereits kurz angeführt, kann Evaluation als Methode der Qualitätsverbesserung und Qualitätssicherung nicht nur in den verschiedensten Bereichen der Hochschule eingesetzt, sondern auch auf unterschiedliche Weise durchgeführt werden. So kann sie beispielsweise summativ, zur Bewertung von Ergebnissen oder formativ, zur Begleitung und Beratung Verwendung finden. Je nachdem, welche Ziele mit einer Evaluation verfolgt werden, sind unterschiedliche Evaluationstypen und Abläufe zu nennen.

Evaluiert kann grundsätzlich alles werden, von einzelnen Lehrveranstaltungen, Studienrichtungen, über Lehrgänge bis hin zur Universität als Ganzes. Ergebnisse sind dann neben Evaluationsberichten und eventuellen Veränderungen z.B. auch Universitätsrankings, wie etwa die oben genannten vom Magazin Times Higher Education. Die Bandbreite, wie, was und wann evaluiert wird, ist dabei sehr unterschiedlich, ebenso wie potenzielle Schritte und Entscheidungen, die nach der Evaluation getroffen werden.

Nachdem die Institution Universität primär der Gewinnung und Bewahrung von Erkenntnis und der akademischen Bildung und Ausbildung von Studierenden dient (vgl. Rindermann 2009:24), wird neben der Forschung in erster Linie auch die Qualität der Lehre evaluiert. Obwohl allein die Nennung von Evaluation, Qualität und Lehre in einem Atemzug an sich bereits oftmals für explosiven Diskussionsstoff sorgt, der mehrere Bände füllen könnte, so haben sich dennoch Methoden etabliert, die darauf abzielen, die Qualität der Lehre zu messen bzw. zu optimieren. Als eines der wichtigsten (vgl. Alphei 2006:7) aber zugleich auch eines der umstrittensten Verfahren (vgl. z.B. McKeachie 1997), welches hierzu eingesetzt wird, gilt die Evaluation von Lehrveranstaltungen durch Studierende (student ratings), die das Herzstück dieses Buches darstellt. Dass bei der Messung von Lehrqualität auch immer wieder Fallstricke zu finden sind, darauf weist Wolbring (2013) im Detail hin.

2.4 Zusammenfassung

Dieses einführende Kapitel verfolgte primär die Intention, den Leser/die Leserin auf die Wichtigkeit qualitätsoptimierender Maßnahmen hinzuweisen, wie diese nicht nur im Alltag und in der Wirtschaft, sondern auch im universitären Kontext zusehends an Bedeutung gewinnen. Darüber hinaus wurde versucht, einen Überblick über die gängigsten Verfahren der Qualitätsoptimierung zu geben, die im Hochschulbereich aktuell zum Einsatz kommen und auch für den Inhalt und weiteren Aufbau dieses Buches entscheidend sind. Dazu zählen zum einen Standards und Leitlinien, die vor allem der Orientierung dienen, und zum anderen explizite Verfahren wie Benchmarking, Audit, Akkreditierung/Zertifizierung und Evaluation. Ein weiteres Ziel dieses Kapitels war auch, auf die komplexe Verknüpfung von Universität, Wirtschaft und Politik hinzuweisen und auf den Eindruck, den man diesbezüglich in Verbindung mit einigen Modellen qualitätsoptimierender Maßnahmen gewinnen kann, dass nämlich manche eher der Rechtfertigung nach Außen dienen bzw. formalen Status haben als tatsächlich Verbesserungen zu bewirken, was bei vielen Beteiligten nicht selten zur bereits genannten Evaluitis führt.

3 Evaluation und Fremdsprachenunterricht

»Evaluation is like a lock and key,

if you have the right key

you can open the lock and make it work.

If you have the right information

you can make the thing work«

Patton (1997:36).

In Kapitel 1 wurden die Evaluationsstandards angeführt, die vom Joint Commitee on Standards for Educational Evaluation konzipiert wurden und beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen sollen. Darüber hinaus wurden die Evaluationsmodelle von fünf österreichischen Sprachenzentren in aller Kürze auf Basis dieser Standards analysiert und einige Bedenken geäußert, die daraus resultierend, mit diesen und ähnlichen Lehrveranstaltungsevaluationen in Hinblick auf die Qualitätsoptimierung des universitären Fremdsprachenunterrichts einhergehen.

In Folge wurde die primäre Zielsetzung dieser Arbeit angeführt, der Entwurf eines theoriebasierten Evaluationsmodells, KDE (Komplexe Dynamische Evaluation), welches zum einen auf den ESG und den Evaluationsstandards basiert, und zum anderen intendiert, den universitären Fremdsprachenunterricht in einer umfassenderen als der bisher durchgeführten Weise zu optimieren, indem auch Lehrende und Studierende in die Konzeption miteingebunden werden.

Um dies zu realisieren, werden im aktuellen Kapitel zentrale Evaluationsansätze angeführt und vor dem Hintergrund des universitären Fremdsprachenunterrichts diskutiert, da diese – bzw. Aspekte davon – in Folge bei der Konzeption der KDE zum Einsatz kommen (siehe Kapitel 6). Davor wird jedoch erörtert, was im vorliegenden Ansatz genau unter Evaluation verstanden wird und wie sich der Terminus von anderen ähnlichen Konzepten unterscheidet. Dies ist unabdingbar, da sonst Missverständnisse nicht auszuschließen sind.

3.1 Der Begriff »Evaluation«

Evaluation ist ein »außerordentlich vielfältiger Begriff« (Wottawa/Thierau 1998:13), ein schillerndes »Allerweltswort« (Kromrey 2005:33), dem »unterschiedliche Verständnisse« (Götz 1999:9) zugrunde liegen. Bereits Suchman (vgl. 1967:27) stellte vor 50 Jahren fest, dass dieser Terminus – abgesehen von seiner verbreiteten Beliebtheit – mangelhaft definiert und oftmals unpassend verwendet wird, geradezu »inflationär«, wie u.a. Spiel/Gössler (2001:9) und Stockmann (2010:9) dies bezeichnen. Das hat sich seither kaum verändert und es ist in der Tat schwer, in wenigen Worten exakt zu definieren, was Evaluation ist bzw. nicht ist, vor allem auch deshalb, weil je nach Kontext, in welchem der Terminus verwendet werden kann, Unterschiedliches damit verbunden scheint. Daher ist man »gut beraten, genau zu prüfen, ob dort, wo Evaluation draufsteht auch Evaluation drin ist« (Stockmann 2010:9), denn dieser Begriff gehört, wie es Liessmann (vgl. 2005:17) ausdrückt, zu jenen »Zauberwörtern«, die nie das bezeichnen, was die Wortbedeutung nahelegt, und das verbergen, was durch sie tatsächlich indiziert wird.

Während Guba/Lincoln (vgl. 1989:21) überhaupt die Ansicht vertreten, dass es keinen »richtigen« Weg gibt, Evaluation zu definieren, und sie meinen, dass die Frage »Was ist denn nun Evaluation wirklich?1« nicht nur nicht beantwortet werden kann, sondern es auch keinen Sinn macht, diese Frage überhaupt zu stellen, versucht Kromrey (vgl. 2005:33–36) sich diesem Begriff von zwei Richtungen aus anzunähern: Zum einen unterscheidet er die Verwendung von Evaluation hinsichtlich der unterschiedlichen Referenzebenen und zum anderen hinsichtlich der verschiedenen Kontexte, in welchen der Terminus Verwendung findet. Diese Unterscheidung ist plausibel und notwendig, denn selbst wenn man die Frage, was Evaluation letztendlich ist, nicht im Allgemeinen, sondern nur in der jeweiligen Situation und dem gegebenen Kontext beantworten kann, benötigt man einen Signifikanten, um über dieses Phänomen sprechen zu können, denn sonst befindet man sich schnell in jenem Dilemma, auf welches bereits Suchman (1967:27) hinwies:

»For the most part, its meaning is taken for granted and very few attempts have been made, even by those most concerned, to formulate any conceptually rigorous definition or to analyze the main principles of its use. The result is wide disagreement, with many other terms such as ’assessment’, ’appraisal’ and ’judgment’ often being used interchangeably with evaluation«.

3.1.1 Drei Referenzebenen von Evaluation

Die erste Gruppe von Referenzobjekten befindet sich, Kromreys Einteilung nach, auf der symbolischen und gedanklichen Ebene, wo Evaluation zum einen synonym mit Bewerten bzw. Bewertung verwendet wird und zum anderen für ein spezifisches […] Denkmodell eines nachprüfbaren Verfahrens des Bewertens steht (vgl. Kromrey 2005:33).

Diese Verwendung kann man aller Voraussicht nach etymologisch erklären, denn der deutsche Terminus Evaluation lässt sich auf lateinische1 Wurzeln zurückführen. Evaluation kann, wie u.a. bereits Stockmann (vgl. 2004:2) und Balzer (vgl. 2005:9f) feststellen, vom lateinischen Nomen »valor« (Wert) und der Vorsilbe »e/ex« (aus, heraus) hergeleitet werden, was man in weiterer Folge mit »einen Wert aus etwas ziehen« übersetzen kann, oder vom lateinischen Verb »valere« (wert sein). Ähnlich führen Gollwitzer/Jäger (vgl. 2009:XI) Evaluation auf das lateinische Verb »valuere« zurück, was auch dem deutschen Verb »wert sein« entspricht.

In diesem Kontext wird folglich z.B. der Wert bzw. die Qualität oder Güte von etwas vor dem Hintergrund bestimmter Vergleichswerte (Standards) beurteilt. Das beurteilte Etwas kann dabei ein Produkt, ein Prozess, ein Projekt, Programm etc. sein. Voraussetzung für die Beurteilung ist zum einen das Vorhandensein bestimmter Kriterien, die zur Bewertung herangezogen werden und zum anderen das Einholen von Informationen hinsichtlich des zu bewertenden Gegenstandes. Die gewonnene Information wird mit den vorhandenen Kriterien verglichen, was in weiterer Folge zu einer Bewertung bzw. Beurteilung führt. Der Terminus Evaluation stellt folglich ein Fremdwort im Deutschen dar, wenngleich das, was damit gemeint ist, alltäglich ist und überall stattfindet (vgl. Nuissl 2013:9).

Die zweite Begriffsebene bezieht Kromrey (vgl. 2005:33) auf ein spezifisches Handeln, auf die Durchführung eines Evaluationsprojektes, auf zielorientiertes Informationsmanagement. Evaluationsprojekte können auf unterschiedlichste Art durchgeführt werden und verschiedenste Intentionen verfolgen (siehe unten). So können z.B. die Lehrenden, die Studierenden, die Universität, einzelne Studienrichtungen oder Lehrveranstaltungen evaluiert werden. Dabei kann man das Augenmerk auf bestimmte Prozesse, Ergebnisse, Materialien u.Ä. richten.

Als dritte Begriffsebene versteht Kromrey (vgl. 2005:34) das Ergebnis des oben angeführten spezifischen Handelns, also das Resultat eines Evaluationsprozesses, etwas Punktuelles, welches z.B. in einem Evaluationsbericht oder Evaluationsgutachten dargestellt werden kann und für das Nachvollziehen des Evaluationsvorgangs besonders wichtig ist.

Resümierend kann Evaluation demnach für ein spezifisches Handeln stehen, welches sowohl die Gewinnung als auch die Bewertung von Informationen zum Ziel hat. Zudem kann sie auch das Ergebnis dieses Prozesses bezeichnen (vgl. Stockmann 2006:65). Diese Vielschichtigkeit führt mitunter zu Missverständnissen, wenn nicht genau expliziert wird, worauf man sich in einem bestimmten Kontext bezieht. Um dies zu vermeiden, werden in Folge verschiedene Kontexte von Evaluation diskutiert und festgestellt, was im vorliegenden Buch explizit darunter verstanden wird. Im Anschluss daran wird der Begriff von anderen, ähnlich wirkenden Konzepten abgegrenzt, um Unklarheiten zu vermeiden.

3.1.2 Unterschiedliche Kontexte von Evaluation

Im Hinblick auf die unterschiedlichen Kontexte, in welchen Evaluation verwendet werden kann, führt Kromrey (vgl. 2005:34) (1) den alltäglichen Sprachgebrauch, (2) die politische Argumentation, (3) die empirische Methodologie und (4) ihre Verwendung im Zusammenhang mit »gewöhnlicher« Umfrageforschung an. Das alleinige Vorhandensein dieser unterschiedlichen Kontexte wäre, wie er ausführt, grundsätzlich nicht problematisch, wenn sich nicht – je nach Zusammenhang – mitunter völlig unterschiedliche Konzepte hinter dem Terminus verbergen würden.

Er expliziert (vgl. Kromrey 2005:34f), dass Evaluation im alltäglichen Sprachgebrauch »ausgesprochen unspezifisch« ist und im Wesentlichen nicht mehr ausdrückt, als dass irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird. Das führt zur Problematik, dass derselbe Sachverhalt von unterschiedlichen Individuen sehr unterschiedlich bis gegensätzlich eingeschätzt und beurteilt werden kann, wie er fortführt. Im Kontrast hierzu wird der Begriff in politischen Argumentationen Kromreys Ansicht nach wesentlich spezifischer, wenngleich auch vielfältiger verwendet, und erstreckt sich z.B. von Effizienzmessungen in ökonomischen Zusammenhängen über von Sachverständigen durchgeführten Analysen der Funktionsfähigkeit von Organisationen bis hin zur beratenden Funktion im Bereich der Entwicklung und Optimierung von Handlungsprogrammen etc. In der empirischen Methodologie versteht man hingegen das Design für einen spezifischen Typ von Sozialforschung, der die Informationsbeschaffung mit expliziten Zielen und Instrumenten zum Gegenstand hat, während Evaluation im Zusammenhang mit Umfrageforschung die Erhebung und Auswertung bewertender (evaluierender) Aussagen von Befragten meint, die in einem bestimmten Verhältnis zum evaluierenden Gegenstand stehen (vgl. Kromrey 2005:35). Diese Ausführungen Kromreys verdeutlichen die Komplexität, die mit der Verwendung des Terminus Evaluation einhergeht.

Auf eine ähnliche Vielschichtigkeit des Begriffs im Hochschulkontext wurde auch in diesem Buch bereits hingewiesen, weil Evaluation in diesem Zusammenhang einerseits oft als Oberbegriff für sämtliche qualitätssichernde Maßnahmen wie Audit, Akkreditierung und Benchmarking verwendet wird, und andererseits, weil Evaluation i.e.S. auch eine spezielle Methode dieser Verfahren ist – z.B. die Evaluation von Lehrveranstaltungen.

Zudem kann man feststellen, wenn man die Literatur zu diesem Begriff analysiert, dass er häufig nicht korrekt oder nicht explizit genug von anderen Begriffen, wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. abgegrenzt wird, was die Problematik, eine exakte Definition zu finden, erschwert, wie in Folge erläutert wird.

3.2 Abgrenzung zu anderen Begriffen

Eine detaillierte Abgrenzung des Begriffs Evaluation von Begriffen wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. stellt nicht nur eine große Herausforderung dar, sondern kann nicht in wenigen Worten erfolgen. Da dies auch nicht die Intention dieses Buches ist, genügt für den gegebenen Kontext eine überblicksartige Skizze, wenngleich auf die jeweiligen Werke, die diese Analyse in größerem Umfang ermöglichen, in den einzelnen Abschnitten verwiesen wird.

3.2.1 Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung

Ein Grund, warum die Verwendung des Begriffes Evaluation oftmals unklar erscheint, ist, weil dieser in der Literatur nicht selten synonym zu anderen Begriffen wie Evaluationsforschung, Programmevaluation, Evaluierung etc. verwendet wird. Obwohl bereits Suchman (vgl. 1967) versuchte, eine klare Abgrenzung zwischen Evaluation und Evaluationsforschung herzustellen, konnte sich diese Bemühung in der scientific community bis dato nicht durchsetzen und auch in neueren Auflagen von Standardwerken (siehe z.B. Rossi/Lipsey/Freeman, 2004:6) werden diese Begriffe nach wie vor bzw. wieder weitgehend synonym verwendet.

Suchman (vgl. 1976) verstand unter Evaluation im Wesentlichen den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms. Dabei sind seiner Ansicht nach keine systematischen und wissenschaftlichen Verfahren oder datengestützten Beweise zur Untermauerung einer Beurteilung nötig. Unter Evaluationsforschung hingegen verstand er die explizite Verwendung dieser wissenschaftlichen Methoden bzw. Verfahren bei einer Beurteilung. Auf diese Weise ist seiner Ansicht nach die Trennung zwischen einer reinen Behauptung und einer auf Beweisen basierenden Bewertung möglich. Für mich kommt diese erste Unterscheidung der Abgrenzung zwischen allgemeiner und wissenschaftlicher Evaluation gleich, auf die noch näher eingegangen wird (siehe 3.2.5).

Wenngleich der Ansatz von Suchman zweifelsfrei seine Berechtigung hat und ein erneuter allgemeiner Versuch sämtliche, mit Evaluation in Verbindung stehenden Termini klar zu definieren und voneinander abzugrenzen auch heute noch sehr sinnvoll ist, so kann bezweifelt werden, dass dieser Versuch aktuell mehr Erfolg hätte als jener von 1967. Daher wird dies im vorliegenden Buch nicht intendiert, sondern lediglich expliziert, was hier konkret unter den jeweiligen Begriffen im jeweiligen Kontext verstanden wird:

Evaluation wird in diesem Buch im Allgemeinen und in ihrer simpelsten Form als das Sammeln, Analysieren und Bewerten von Informationen gesehen und ist synonym zu Evaluierung. Letzteres wird als Nomen von evaluieren verstanden und wird dann verwendet, wenn explizit der Prozess des Bewertens vor dem Hintergrund bestimmter Kriterien betont werden soll. Dies kann bei einer allgemeinen Evaluation ohne wissenschaftliche Methoden erfolgen oder bei einer wissenschaftlichen Evaluation auf Basis dieser. Im Zusammenhang mit dem Kontext dieses Buches muss bereits hier darauf hingewiesen werden, dass im erweiterten Rahmen des pädagogischen Handelns bzw. der Optimierung von Lehr- bzw. Lernsituationen etc. weitere Definitionen von Evaluation folgen, sie jedoch im gegebenen Kontext erörtert und demgemäß an den jeweiligen Stellen angeführt und besprochen werden.

Das Ergebnis einer Evaluation wird hier nicht als Evaluation bezeichnet, sondern als Evaluationsergebnis bzw. Ergebnis der Evaluation. Unter Programmevaluation wird eine konkrete Form der Evaluation verstanden, die sich auf das Evaluieren eines Programms (z.B. eines Fremdsprachenkurses) bezieht.

Evaluationsforschung betont nicht nur den wissenschaftlichen Kontext einer Evaluation, sondern sie ist als eine eigenständige Wissenschaftsdisziplin zu verstehen (wenngleich sie in der Regel nur als Teildisziplin der Sozialforschung betrachtet wird), die sich der üblichen wissenschaftlichen Methoden und Techniken bedient, um wissenschaftliche Evaluationen zu beschreiben und durchzuführen. Sie stellt das theoretische Grundgerüst für professionelle Evaluationen zur Verfügung bzw. zieht sie aus den Ergebnissen von Evaluationen Rückschlüsse, auf deren Basis erneut Erkenntnisse gewonnen und verallgemeinert werden können, die in Folge eine Weiterentwicklung von Evaluation(-sforschung) ermöglichen. Daher wird dieser Begriff im vorliegenden Buch explizit nicht synonym zu Evaluation gesehen.

3.2.2 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung

Im Kontext dieses Buches ist auch explizit zwischen Evaluation, Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung zu unterscheiden. Evaluation kann, wie bereits unter Abschnitt 2.3.2.4 angeführt, zum einen als Hyperonym zu diesen Begriffen gesehen werden und stellt zum anderen das Generieren, Analysieren und Bewerten – das Evaluieren – von Informationen dar. Unter Lehrveranstaltungsevaluation wird das Evaluieren einer expliziten Lehrveranstaltung (in der Regel) durch die Studierenden verstanden. Alternativ bzw. zusätzlich zur Lehrveranstaltungsevaluation durch Studierende könnte diese auch von KollegInnen evaluiert werden, was dann als Peer-Evaluation bezeichnet wird (siehe Abschnitt 3.3.2.4.2). Wird die gesamte Lehre eines Studiums oder eine Universität evaluiert, spricht man von Lehrevaluation oder Evaluation der Lehre.

Feedback wird als Synonym zu Rückmeldung gesehen und stellt nicht nur einen wichtigen Bestandteil herkömmlicher Kommunikationssituationen dar (siehe z.B. Watzlawick et. al. 2007:29ff), sondern ist auch essentiell im Unterricht – in der Kommunikation zwischen Lehrenden und Studierenden. In diesem Zusammenhang können Feedbacks/Rückmeldungen im Rahmen der Lehrveranstaltungsevaluation oder auf andere Weise gegeben und demnach auch als Teil eines Evaluationsvorgangs bzw. -prozesses aufgefasst werden, weil jedem Feedback/jeder Rückmeldung in der Regel eine Evaluation vorangeht und/oder eine weitere daran anschließt, wie die folgende Grafik verdeutlicht.

Abb. 2: Beispiel einer Kommunikationssituation im Unterricht mit Feedback

Allgemein versteht man unter Feedbacks Rückübermittlungen von Informationen, die vom Empfänger/von der Empfängerin einer Nachricht an den Sender/die Senderin der Nachricht übertragen werden. Diese Rückmeldungen können zum einen Informationen enthalten, ob – und wenn – wie und was von der jeweils gesendeten Nachricht der Empfänger/die Empfängerin wahrgenommen bzw. verstanden hat und welche Reaktionen dies bei ihm/ihr auslöste. Durch diese Information ist es dem Sender/der Senderin möglich, in geeigneter Weise auf diese Rückmeldungen zu reagieren.

Rückmeldungen können die unterschiedlichsten Formen aufweisen, indirekt oder direkt sein und im Unterrichtsgeschehen von der Lehrperson oder von den Studierenden ausgehen. Indirekte Feedbacks wären z.B. körpersprachlicher Natur, könnten durch Gestik oder Mimik zum Ausdruck gebracht werden und sind oft schwieriger zu deuten als direkte Feedbacks, da sie vielfach nur unbewusst wahrgenommen werden und oftmals eher zu Vermutungen anregen als zu konkreten Rückschlüssen zu führen. Direkte Feedbacks können, ausgehend von der Lehrperson, zum Beispiel durch mündliche oder schriftliche Korrekturen erfolgen oder durch Stellungnahmen zu diversen Arbeiten, die von den Studierenden abgegeben wurden. Die Lehrperson evaluiert die Performanz der Studierenden in den unterschiedlichsten Situationen und gibt ihnen Rückmeldung. Von den LernerInnen ausgehend sind direkte Feedbacks z.B. konkrete Äußerungen zu einzelnen Themen im Unterricht, wie beispielsweise Aufforderungen an die Lehrperson, etwas erneut zu erklären bzw. zu wiederholen oder Fragen, die sie während oder nach dem Unterricht stellen. Gerade diese direkten Feedbacks sind für mich als Lehrender im Hinblick auf gute Lehre und damit den Lehr- bzw. Lernerfolg von größter Bedeutung, da man als LehrendeR ohne diese Rückmeldungen von den Studierenden keine (akkurate) oder nur sehr wenig Auskunft darüber hat, ob und wie das vermeintliche input aufgenommen bzw. was davon zum tatsächlichen intake wurde.

3.2.3 Evaluation vs. Qualitätsmanagement

Für weitere Verwirrung sorgt die oftmals unzureichende terminologische Trennung von Evaluation und Qualitätsmanagement bzw. Total Quality Management (TQM). Wenngleich Evaluation und Qualitätsmanagement Gemeinsamkeiten aufweisen und die beiden Termini oft in einem Atemzug genannt werden, sind zwischen diesen beiden Begriffen zahlreiche Unterschiede zu verzeichnen, die für eine exakte Unterscheidung und gegen eine potentiell synonyme Verwendung der Termini sprechen. Einen detaillierten Überblick zu diesem Thema geben Stockmann (2006: Kap. 2.4), Ernst (2008: Kap. 2.1) und Ditton (2010), deren Ausführungen als Basis für die untenstehenden Tabellen dienen, in welchen Gemeinsamkeiten und Unterschiede in aller Kürze aufgezeigt werden sollen:

3.2.3.1 Gemeinsamkeiten

| Qualitätsmanagement | Evaluation
Ziele | zur Qualitätsoptimierung eines Produktes bzw. einer Dienstleistung beitragen
Ursprung | USA (1950er Jahre) | USA (frühes 19. bis Mitte 20. Jh.)
Einsatz | in moderner, rationaler Unternehmensführung als Entscheidungshilfe und zur nachvollziehbaren Begründung von Entscheidungen
Probleme | bei Akzeptanz und Umsetzung; oftmals sind Verfahren sehr aufwendig und wenig beliebt und die aus den Untersuchungen abgeleiteten Empfehlungen werden aus unterschiedlichsten Gründen (Wille, Organisation, Bürokratie etc.) nicht umgesetzt.

Tab. 3: Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation

3.2.3.2 Unterschiede

| Qualitätsmanagement | Evaluation
Herkunft | Betriebswirtschaft privatwirtschaftlicher Sektor | Sozialwissenschaften öffentlicher Sektor
Anwendungsfelder | Unternehmen Gewinnorientierung Wettbewerb | Nonprofit-Organisationen keine Gewinnorientierung kaum Wettbewerb
Orientierung | KundInnen Zielgruppen | Beteiligte, Betroffene Zielgruppen
Ausrichtung | total, komplex, klärend umfassend berücksichtigt alle Mitglieder einer Organisation, interne Strukturen, Abläufe und das Organisationsfeld Managementaufgabe top-down intern | partiell, fokussiert nicht umfassend, weil Entscheidungskomponente fehlt; es werden nur Informationen geliefert und bewertet bzw. Empfehlungen definiert; die Umsetzungsentscheidung bleibt beim Management selbstbestimmte Methode top-down, bottom-up intern und/oder extern
Beteiligung der Mitarbeiter | i.d.R. alle MitarbeiterInnen MitarbeiterInnen sollen von TQM überzeugt sein und dies in täglicher Arbeit umsetzen Einbindung v.a. bei Umsetzung | je nach Typ stärkere bis schwächere Einbindung keine Einbindung bei wissenschaftl. Evaluation wenn Einbindung: dann vor allem bei Design-, Bewertungs-, und Verwertungsphase
Funktion | Kontrollinstrument der Leitung | Beratung, Unterstützung, Überwachung
Primäre Intention | Optimierung der Qualität zur Steigerung der Nachfrage und des Gewinns shareholder value1 | Evaluationsziele frei bestimmbar stakeholder value2
Bewertungskriterien | festgelegt (z.B. ISO) Änderungen nicht vorgesehen | frei bestimmbar Änderungen möglich Orientierung an Standards Definiert durch: EntscheidungsträgerInnen bzw. AuftraggeberInnen (direktiv) EvaluatorInnen (wissenschafts-/ erfahrungsbasiert) Zielgruppen/StakeholderInnen (emanzipativ) alle zusammen (partizipativ)
Aktivität | kontinuierlich | zumeist periodisch und befristet kann kontinuierlich sein
Reichweite/ Tiefe des Untersuchungsfeldes | schmal, auf KundInnen bezogen (Kosten-Nutzen) Effizienz/Effektivität von Programmen Ursache-Wirkungszusammenhänge auf Unternehmen begrenzt | breit Beschaffung/ Bewertung von Informationen, Transparenz Effizienz/Effektivität, Nachhaltigkeit bezieht gesamten gesellschaftlichen Kontext mit ein (Kausalanalyse)

Tab. 4: Unterschiede zwischen Qualitätsmanagement und Evaluation

Wie die vorangehenden Tabellen verdeutlichen, sind die Unterschiede zwischen Qualitätsmanagement und Evaluation somit gravierender als die Gemeinsamkeiten. Wenngleich beide grundsätzlich dasselbe Ziel verfolgen, zur Qualitätsverbesserung beizutragen, so sind die dahinterstehenden Konzepte und Herangehensweisen doch sehr verschieden voneinander. TQM kann als ein umfassendes und kontinuierliches System der Qualitätssicherung gesehen werden, welches von der Informationsbeschaffung bis zur Umsetzung der Ergebnisse sämtliche Bereiche abdeckt, während bei der Evaluation vor allem die Informationsbeschaffung und deren Bewertung im Vordergrund steht. Die Umsetzung der Ergebnisse ist explizit nicht mehr Bestandteil einer Evaluation, die zudem hinsichtlich der Durchführungsart in der Regel zeitlich befristet bzw. periodisch ist.

Wichtiger als die einzelnen Unterschiede detailliert zu diskutieren, scheint, wie Stockmann (2006:93) ausführt, die Erkenntnis, dass diese beiden Verfahren keine sich gegenseitig ausschließenden Konzepte sind, sondern sich ergänzen, und dass die Evaluation von TQM-Konzepten lernen kann, damit sie effektiver und effizienter gestaltbar ist. Ein Hauptpunkt, der in diesem Zusammenhang von Stockmann (ibid.) genannt wird und auch ganz besonders vor dem Kontext des universitären Fremdsprachenunterrichts hervorzuheben wäre, ist die Forderung, dass Evaluation nicht als periodische Aktivität gesehen werden soll, sondern als prozessbegleitender, kontinuierlicher Vorgang. Diese Überlegung ist zentral bei der Konzeption der KDE, wie in Kapitel 6 im Detail ausgeführt wird.

3.2.4 Evaluations- vs. Grundlagenforschung

Neben den bisher genannten Gründen, warum der Terminus Evaluation oft missverständlich verwendet wird, kommt ein weiterer hinzu: Evaluationsforschung wird nicht immer korrekt von Grundlagenforschung unterschieden. Dies liegt darin begründet, dass, obwohl die meisten Unterschiede zwischen den beiden in der Regel relativ eindeutig sind, auch ein Graubereich vorhanden ist, der eine exakte Unterscheidung in manchen Bereichen erschwert.

Keine prinzipiellen Unterschiede zwischen Evaluations- und Grundlagenforschung sind, wie auch Stockmann (vgl. 2010:58) feststellt, in Hinblick auf (1) die Auswahl des Untersuchungsgegenstandes sowie (2) die Verwendung von Datenerhebungs- und Analysemethoden zur Identifizierung von Wirkungen und der Bearbeitung der Kausalitätsfrage (Ursache-Wirkungszusammenhänge) zu erkennen. In beiden Bereichen können und werden sowohl quantitative als auch qualitative Forschungsmethoden eingesetzt. Hinsichtlich des Untersuchungsgegenstandes ist jedoch zu vermerken, dass im Bereich der Evaluationsforschung die Fragestellung oftmals von einem Auftraggeber bzw. einer Auftraggeberin kommt, während diese in der Grundlagenforschung in der Regel von den WissenschaftlerInnen selbst formuliert wird. In beiden Fällen ist aber auch das Gegenteil möglich. Untersucht können somit in beiden Fällen prinzipiell die gleichen Gegenstände werden.

Im Hinblick auf die Unterschiede zwischen Evaluations- und Grundlagenforschung gibt Balzer (vgl. 2005:17ff) einen guten Überblick, der – zusammen mit Analysen von Stockmann (vgl. 2010:57ff) – die Basis für untenstehende Tabelle bildet, die Gemeinsamkeiten und Unterschiede zwischen Evaluation- und Grundlagenforschung aufzeigen soll.

| Evaluationsforschung | Grundlagenforschung
Methoden | qualitativ, quantitativ, gemischt | qualitativ, quantitativ, gemischt
Gegenstand | theoretisch frei, in d. Praxis meist definiert | zumeist frei, kann definiert sein
Ziele | Wissensgenerierung als Basis für Entscheidungen verwertungsorientiert Verbesserung v. Praxis | Wissensgenerierung als Basis für Theoriebildung theorieorientiert Verifizieren, Falsifizieren v. Theorien
Zweck | zweckbestimmt | zweckfrei
Ergebnisse | Nützlichkeit für konkretes Projekt müssen stimmen sollten handlungsrelevant sein | Generalisierbarkeit dürfen falsch sein sollten wertvoll für Wahrheitsfindung sein; Basis für weitere Forschung
Bewertung | Vergleich Ist-Sollzustand Differenz = Grundlage für Bewertung Interpretation und Bewertung | untersucht, beschreibt, erklärt aktuellen Ist-Zustand (kein Vergleich) nur Interpretation, keine Bewertung
Urteilskriterien | davor festgelegt nötig für Vergleich | keine
Fragestellung | in der Regel von AuftraggeberIn festgelegt (fremdbestimmt) von Zielsetzung geleitet | in der Regel durch ForscherIn bestimmt (selbstbestimmt) von Suche nach Erkenntnisgewinn geleitet
Erkenntnisgewinn | zum Treffen konkr. Entscheidungen | für die Gesellschaft
Rolle | potentielle Eingebundenheit in ein System kontrollierter, fester Rahmen oft in politische Settings eingebunden nach rechtsverbindlichem Auftrag abgewickelt | dem Erkenntnisgewinn verpflichtet freier Rahmen der scientific community verpflichtet kann an Verträge gebunden sein
Zeitrahmen | Deadline (zeitgebunden) Verspätete Ergebnisse für z.B. Entscheidungen sind nach Entscheidungstermin nicht mehr verwertbar | i.d.R zeitungebunden bei Bedarf mehr Zeit bzw. Deklarieren weiteren Forschungsbedarfs neue Erkenntnisse lassen sich nicht mit Terminkalender erzwingen
Empfänger von Ergebnissen | Programmverantwortliche konkretes Publikum Beteiligte | andere ForscherInnen interessiertes Fachpublikum für alle Interessierten
Veröffentlichung | zumeist keine (freie) Veröffentlichung | Publikation ist ein zentrales Anliegen
Ergebnisnutzung | ist ein Hauptanliegen | nicht zwingend; Ergebnisse können aber nützlich sein
Ressourcen | i.d.R AuftraggeberInnen | i.d.R. öffentlich
Kontext | eher politisch sensibel | zumeist pol. unproblematisch

Tab. 5: Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung

Während die Grundlagenforschung demnach überwiegend zweckfrei nach (neuen) Erkenntnissen sucht und die Frage nach ihrer Nützlichkeit in der Regel kaum gestellt wird, zeichnet sich die Evaluationsforschung gerade dadurch aus, dass sie, wenngleich sie sich auch der Methoden und Theorien der Sozialforschung bedient, nützlich sein soll und Informationen zur Verfügung stellt, auf Basis welcher Entscheidungen getroffen werden. Diese Gratwanderung zwischen Wissenschaft und Nützlichkeit bezeichnet Stockmann (2010:59) als die »besondere Dualität« der Evaluationsforschung.

Die Tatsache, dass Evaluationsforschung im Gegensatz zur Grundlagenforschung praxisorientiert ist (vgl. Rindermann 2009:14) und auch der Nützlichkeitsaspekt von Evaluationen im Vordergrund steht bzw. eine enge Verknüpfung zwischen den Evaluationsergebnissen und (politischen) Entscheidungen nicht immer negiert werden kann, hat nicht selten zur Folge, dass Evaluationsforschung von grundlagen- bzw. disziplinorientierten ForscherInnen nicht immer als vollwertige Wissenschaft anerkannt wird, wie Stockmann (vgl. 2010:57) anführt. Dies geht auch mit oft konträren Anforderungen einher, mit welchen sich viele EvaluatorInnen in der Praxis konfrontiert sehen.

Evaluation, wie sie im Rahmen der KDE gesehen wird, schafft gewissermaßen eine Gratwanderung, weil sie zum einen Informationen generiert, auf Basis welcher Optimierungen im Fremdsprachenunterricht erwirkt werden können, und weil diese Informationen bzw. Veränderungen zugleich als Ausgangspunkt für neue Theorien und fremdsprachen-didaktische Überlegungen genutzt werden können.

3.2.5 Allgemeinsprachliche vs. wissenschaftliche Evaluation

Ein weiterer wichtiger Aspekt, der im Hinblick auf die Verwendung des Begriffs Evaluation Klarheit schaffen soll, ist die Abgrenzung der allgemeinsprachlichen Evaluation von der wissenschaftlichen Evaluation. Spricht man von einer allgemeinsprachlichen Evaluation, wie etwa jener im oben angeführten Zitat von Kromrey (vgl. 2001:21) bei welcher irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird, oder handelt es sich um eine Evaluation im wissenschaftlichen Kontext, die auch wissenschaftlichen Kriterien und Standards gerecht werden muss? Für letztere sind, wie Stockmann (2004:2) ausführt, »empirische Methoden zur Informationsgewinnung und systematische Verfahren zu Informationsbewertung anhand offengelegter Kriterien« erforderlich, »die eine intersubjektive Nachprüfbarkeit möglich machen«.

Kromrey (2001:22) verdeutlicht diesbezüglich, dass bei einer wissenschaftlichen Evaluation nicht irgendetwas beurteilt werden soll, sondern »ein eindeutig zu definierender und empirisch abgrenzbarer Gegenstand oder Sachverhalt«. Zudem ist nicht irgendjemand für die Informationssammlung und Analyse zuständig, sondern »eine mit der notwendigen Kompetenz versehene Evaluations-Instanz«. Darüber hinaus soll nicht nach irgendwelchen Kriterien und nicht in irgendeiner Weise evaluiert werden, sondern »nach explizit auf den Sachverhalt bezogenen und begründeten Beurteilungskriterien und Standards, sowie in einem objektivierten Verfahren im Rahmen eines im Detail geplanten Evaluationsdesigns«.

Demgemäß müssen, wenn es sich bei einer Evaluation nicht nur um die einfache Abgabe eines subjektiven Werturteils handeln soll, wie dies bei den in 1.3 analysierten Evaluationsmodellen vielfach der Fall war, sondern wenn es sich um eine Evaluation im wissenschaftlichen Kontext handelt, wesentliche Kennzeichen und Kriterien erfüllt bzw. Standards berücksichtigt werden, die eine empirisch-wissenschaftliche Evaluation von einer Alltagsbewertung unterscheiden.

3.2.5.1 Kennzeichen wissenschaftlicher Evaluation

Wottawa/Thierau (vgl. 1998:14) führen folgende Kennzeichen für eine wissenschaftliche Evaluation an:

1 Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun.

2 Evaluation ist ziel- und zweckorientiert. Ihr primäres Ziel besteht darin, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.

3 Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.

Neben den drei genannten Kennzeichen führen sie (ibid.) zudem an, dass ethisch-moralische Überlegungen nicht vernachlässigt werden dürfen, denn EvaluatorInnen »verändern durch ihre Arbeit beratend (manchmal sogar als Entscheider) die Lebensumstände anderer Menschen gezielt und erheben dabei den Anspruch, aufgrund ihrer ›Wissenschaftlichkeit‹ über Kompetenzen zu verfügen, die dem ›Laien‹ fehlen«.

3.2.5.2 Kriterien wissenschaftlicher Evaluation

Für Stockmann (vgl. 2010:66) zeichnet sich eine wissenschaftliche Evaluation durch folgende Kriterien aus:

1 Die Evaluation ist auf einen klar definierten Gegenstand bezogen.

2 Für die Informationsgenerierung werden objektivierende empirische Datenerhebungsmethoden eingesetzt.

3 Die Bewertung erfolgt explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien.

4 Die Bewertung wird mit Hilfe systematischer Verfahren vorgenommen.

5 Die Evaluation wird von dafür besonders befähigten Personen (EvaluatorInnen) durchgeführt.

6 Ziel der Evaluation ist, auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen.

Zudem stellen Evaluationen keinen Selbstzweck dar und sind nicht nur dem puren Erkenntnisinteresse verpflichtet, sondern sollen einen Nutzen stiften und dazu beitragen, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um dadurch Entscheidungen treffen zu können, die dazu beitragen, die Qualität einer Maßnahme, eines Programms oder einer Dienstleistung zu optimieren (vgl. Stockmann 2006:65).

Ist im wissenschaftlichen Kontext der systematische Zugang essentiell, stellt dieser im Alltag keine Notwendigkeit dar. In beiden Fällen verfolgt die Evaluation jedoch ein bestimmtes Ziel oder einen bestimmten Zweck, wie z.B. auf Basis der aus der Evaluation gewonnenen Erkenntnisse eine Entscheidung zu treffen, die zu einer Optimierung eines Prozesses oder Produktes – im konkreten Fall, des universitären Fremdsprachenunterrichts – führt.

Damit eine wissenschaftliche Evaluation auch die für jede andere wissenschaftliche Untersuchung geforderten Kriterien der Neutralität, Objektivität, Validität und Reliabilität erfüllt, ist eine Herangehensweise zu wählen, die man auch für andere wissenschaftliche Untersuchungen anwenden würde: Zuerst ist eine Fragestellung zu formulieren, dann muss eine Methode gewählt und beschrieben werden, die jene Daten erhebt, die zur Beantwortung der Frage führen. Der bewertende Aspekt, der bei einer Evaluation besonders stark im Vordergrund steht, darf jedoch nicht mit der Abgabe eines subjektiven Werturteils verwechselt werden. Hier ist von eminenter Wichtigkeit, dass die Kriterien, anhand welcher der Ist-Soll-Vergleich durchgeführt wird, sich auf wissenschaftliche Erkenntnisse stützen, exakt festgelegt werden und nicht nur für alle nachvollziehbar sind, sondern sich auch auf etablierte Standards beziehen, wie beispielsweise die Evaluationsstandards und die ESG.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.