Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts

1.5 Forschungsdesign

Die Forderungen, die mit den oben angeführten Zielen dieses Ansatzes einhergehen, haben für die Konzeption der KDE weitreichende Folgen, weil viele der in der Zielsetzung angeführten Ansprüche und Begriffe mit weiteren Fragen in Verbindung stehen, die beantwortet werden müssen, bevor die eigentliche Konzeption der KDE in Angriff genommen werden kann. Dies erklärt, warum der Konzeption des Modells ein derart umfangreicher Theorieteil vorangeht.

1.5.1 Ableitung der Forschungsfragen

Die Hauptforschungsfrage in diesem ersten Band ergibt sich aus der Zielsetzung und lautet wie folgt: Wie kann ein Evaluationsmodell aussehen, damit es den universitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend verbessert?

Mit dieser Frage stehen folgende Unterfragen in direktem Zusammenhang:

1 Was bedeutet Qualität im universitären Fremdsprachenunterricht?

2 Was bedeutet Verbesserung des universitären Fremdsprachenunterrichts?

3 Welche Evaluationsmethoden können zur Optimierung des Fremdsprachenunterrichts beitragen?

4 Was bedeuten wirksam und umfassend in Zusammenhang mit Qualitätsoptimierung auf Basis von Lehrveranstaltungsevaluation?

5 Welche Informationen werden im Detail für die Qualitätsverbesserung benötigt?

6 Wann ist der richtige Zeitpunkt, um die benötigten Informationen zu generieren bzw. allfällige Verbesserungsmaßnahmen einzuleiten?

7 Auf welche Weise (wie) müssen die Informationen generiert werden, damit sie zur Qualitätsoptimierung genutzt werden können?

1.5.2 Beantwortung der Forschungsfragen

Die Beantwortung der primären Forschungsfrage ergibt sich im Wesentlichen aus der Beantwortung der sieben Unterfragen, was implizit im Verlauf des Theorieteils erfolgt, der die drei Hauptthemen (1) Evaluation, (2) Qualität und (3) universitärer Fremdsprachenunterricht zum Gegenstand hat. Zudem werden die gewonnenen Erkenntnisse explizit in Abschnitt 6.4 rekapituliert.

Gemäß den Evaluationsstandards (vgl. Sanders 2006) reicht es für ein Evaluationsinstrument, welches auf umfassende Weise dazu beitragen soll, den universitären Fremdsprachenunterricht zu verbessern, nicht aus, wenn dieses nur eine solide theoretische Basis aufweist. Vielmehr muss auch der direkte Praxisbezug hergestellt werden, was bedeutet, dass neben theoretischen Überlegungen auch die am Unterrichtsgeschehen Beteiligten – die Lehrenden und Studierenden – bei der Konzeption miteinbezogen werden müssen. Vereinfacht kann diese Annäherung an das Evaluationsinstrument (KDE) wie folgt skizziert werden:

Abb. 1: Annäherung an die KDE

Der praxisbezogene Aspekt bei der Konzeption der KDE kann aus Gründen des Umfangs im Rahmen dieses Bandes nicht berücksichtigt werden und wird für den jeweiligen Teilaspekt in den folgenden Bänden dargestellt.

1.5.3 Gliederung und Aufbau des Buches

 Kapitel 2: Dieses Kapitel versteht sich als Einführung in die Themenbereiche Qualität und Evaluation im Kontext von Hochschulen. Zu Beginn wird dargestellt, welchem Wandel die zentralen Begriffe mit der Zeit unterworfen waren, bevor die Diskussion um Qualitätssicherung auf Basis von Evaluation im universitären Kontext und ganz besonders auch im Fremdsprachenunterricht Einzug gefunden hat. Im Anschluss daran werden zentrale Begriffe wie Norm, Zertifizierung, Rating und andere Termini aus dem Qualitätsmanagement erklärt und zentrale qualitätsoptimierende Verfahren vorgestellt, die im Hochschulkontext eingesetzt werden, um Qualität zu sichern.

 Kapitel 3: In diesem Kapitel sollen die wesentlichen Grundzüge der Evaluation bzw. Evaluationsforschung expliziert werden. Nach einer kurzen allgemeinen Einführung in das Thema wird auf die Komplexität des Begriffs Evaluation eingegangen und dessen Abgrenzung von inhaltsähnlichen Begriffen, wie beispielsweise dem Qualitätsmanagement, erklärt. Im Anschluss daran werden zentrale Evaluationsmodelle aus der Evaluationsforschung vorgestellt, die häufig in Lehrveranstaltungsevaluationen Verwendung finden, und ihr potentieller Einsatz im universitären Fremdsprachenunterricht wird diskutiert. Diese Ausführungen sollen im Detail die unterschiedlichen Evaluationsansätze aufzeigen, da diese in der einen oder anderen Form auch bei der KDE zum Einsatz kommen, und außerdem darlegen, welches Potential Evaluation in Bezug auf Qualitätsoptimierung haben kann.

 Kapitel 4: Kapitel 4 nähert sich an das zweite Kernthema der Arbeit, Qualität, an und versucht, die unterschiedlichen Aspekte, Dimensionen und Perspektiven zu diesem Begriff zu erörtern, bevor der Versuch unternommen wird, Qualität für den universitären Fremdsprachenunterricht zu definieren. Im Anschluss daran wird expliziert, warum Qualitätsverbesserung mit Hilfe von Evaluation nur erfolgen kann, wenn diese als Bestandteil eines übergeordneten Qualitätsmanagementsystems gesehen wird. Daran anschließend werden Total Quality Management (TQM) und KAIZEN, zwei sehr geeignete Ansätze aus dem Qualitätsmanagement, eingeführt und ihre Anwendung für die Qualitätsverbesserung des universitären Fremdsprachenunterrichts diskutiert.

 Kapitel 5: Hier wirft man zu Beginn einen hochschuldidaktischen Blick auf das Lehren und Lernen von Sprachen, bevor im Anschluss daran die Complex Dynamic System Theory vorgestellt wird, die die komplexen Dynamiken beschreibt, die beim Lernen, Lehren und Evaluieren im universitären Fremdsprachenunterricht festgestellt werden können. Im Anschluss daran werden Anforderungen an ein Evaluationsmodell herausgearbeitet, die im Kontext eines komplexen dynamischen Unterrichtsgeschehens notwendig sind, um für dessen Verbesserung relevante Informationen zu generieren. Die Umsetzung durch die KDE wird im Anschluss daran beschrieben.

 Kapitel 6: In Kapitel 6 wird zuerst aufgezeigt, wie die für die Optimierung relevanten Daten gesammelt werden und welche Grundfragen dabei zu stellen sind, bevor im Anschluss daran die theoretischen Erkenntnisse der vorangehenden Abschnitte kurz rekapituliert werden, um den theoretischen Entwurf der Komplexen Dynamischen Evaluation auszuführen, die sich aus den Komponenten Vorevaluation, Begleitende Evaluation, Endevaluation und Selektive Evaluation zusammensetzt. Danach wird das Multifaktorielle Modell der Lehrveranstaltungsqualität (Rindermann 2009) skizziert, welches den Lehrerfolg aus dem Zusammenspiel von Dozent, Studierenden und Rahmenbedingungen herleitet und als ein Aspekt bei der theoretischen Grundlage zur Itemsgenerierung der KDE herangezogen wird, bevor das Kapitel mit der Beantwortung der Forschungsfragen endet.

 Kapitel 7: Dieser Abschnitt rekapituliert die zentralen Themen der Arbeit erneut und die daraus gewonnen Erkenntnisse werden diskutiert, bevor aufgezeigt wird, welche weiteren Schritte für die Fertigstellung der KDE noch unternommen werden müssen.

2.1 Dynamik von Qualität und Evaluation

Das Philosophieren über, das Streben nach und das Evaluieren von Qualität sind, wie oben genanntes Platon-Zitat verdeutlicht, keine neuen Phänomene, sondern in der einen oder anderen Form vermutlich so alt wie die Menschheit selbst. Zahlreiche Gelehrte setzten sich im Laufe der Geschichte in ihren Schriften immer wieder mit diesen Begriffen auseinander und waren darum bemüht, ein konkretes Verständnis davon zu erlangen, was letztendlich die Qualität einer Sache bestimmt (für eine detaillierte Abhandlung siehe z.B. Zollondz 2011:8–19, Küpers 2001, Ritter et al 1971–2007) und wie man diese messen oder evaluieren kann. Was jedoch ein vergleichsweise neues Phänomen zu sein scheint – möglicherweise auch ein Zeitgeist der letzten 25 Jahre – ist, dass zur üblichen Reflexion bzw. zum Diskurs über Qualität und dem eigentlichen Bestreben, eine Sache möglichst gut bzw. kontinuierlich besser machen zu wollen, gegenwärtig auch ein stärkeres Nach-Außen-Hin-Sichtbarmachen dieser Bestrebungen zu beobachten ist.

Manchmal hat es sogar den Anschein, als wäre dieses Aufzeigen sämtlicher qualitätsverbessernder Maßnahmen, die in Verbindung mit einem Produkt oder einer Dienstleistung durchgeführt werden, beinahe noch wichtiger als die tatsächliche Qualitätsverbesserung an sich. Es geht primär nicht nur darum, danach zu streben, ein Produkt bzw. eine Dienstleistung zu verbessern oder die Herstellung des besten Produktes und eine optimale Dienstleistung zu gewährleisten, sondern (oftmals vor allem auch) darum, potentielle KundInnen, KäuferInnen oder InvestorInnen davon zu überzeugen, dass eine bestimmte Ware nicht nur besser ist als eine andere und wert ist, produziert bzw. gekauft zu werden, sondern auch darum, darauf hinzuweisen, dass der jeweilige Betrieb/das Produkt/die Dienstleistung etc. von externen ExpertInnen evaluiert wurde und eine gute Platzierung in einem nationalen oder gar internationalen Vergleich (Rating) erhielt oder mit einem bestimmten Gütesiegel ausgezeichnet wurde. Es geht darum, aufzuzeigen, dass die Ware Qualität hat. Qualität wird in dieser Hinsicht oft synonym zu Exzellenz gesehen. Ähnliche Tendenzen sind auch im Hochschulbereich längst kein Novum mehr, vor allem dann, wenn es um das Akquirieren von finanziellen Mitteln geht, sei dies für den regulären Betrieb oder für die Finanzierung von (Drittmittel-)Projekten.

Die Motive für dieses explizite Hinweisen auf qualitätsoptimierende Prozesse sind in großer Zahl vorhanden. Während sich in der Wirtschaft z.B. durch die Globalisierung generell ein stärkerer Konkurrenzdruck bemerkbar macht(e), hat auch das Internet in den letzten zwei Jahrzehnten zu einer völlig neuen Marktsituation geführt. Die bequeme Bestellung von nahezu allen nur erdenklichen Produkten von zu Hause aus, deren schnelle und weltweite Verfügbarkeit bzw. (oftmals kostenlose) Lieferung und die von KundInnen und HerstellerInnen vielfach gleichermaßen in Kauf genommene Kurzlebigkeit diverser Produkte (e.g. Mobiltelefone, PCs, Betriebsprogramme etc.) zugunsten noch schnellerer und besserer Modelle bzw. Updates, hat viele kleine und mittelgroße Betriebe zum Vorteil von Großkonzernen vor scheinbar unlösbare Herausforderungen gestellt und in weiterer Folge oftmals zur Aufgabe ihrer Produktion getrieben.

Auch bei den Universitäten sind ähnliche Veränderungen zu spüren. Sie müssen sich, wie Landfried (vgl. 1999:5) festhält, »zunehmend im nationalen und internationalen Wettbewerb behaupten« und »müssen sich auf internationalen Bildungsmärkten positionieren und ihre Leistungsfähigkeit mehr als bisher öffentlich darstellen«. Neben diesem verstärkten Wettbewerbsdruck wurden und werden vielfach auch die finanziellen Mittel auf nationaler und auch auf europäischer Ebene für die Forschung und Wissenschaft gekürzt, was in Folge nicht nur zu personellen Einsparungen führt(e), sondern auch Einschränkungen bzw. sogar das potentielle Ende gewisser Studienrichtungen oder Institute bedeuten kann. Eine Petition1 gegen die Kürzung der Forschungsmittel wurde etwa von der Initiative for Science in Europe (ise) im Oktober 2012 gestartet und aktuell (Stand 23.04.2017) von über 154500 Personen unterzeichnet.

Mit der Kürzung der Forschungsmittel geht aber auch ein verstärkter Rechtfertigungsdruck der Hochschulen nach außen einher und es wird von der Öffentlichkeit zusehends mehr Transparenz und Rechenschaftslegung über die Verwendung knapper öffentlicher Mittel gefordert (vgl. Landfried 1999:5). Zudem sehen sich Universitäten vermehrt dazu gezwungen, darauf hinzuweisen, dass sie kontinuierlich darum bemüht sind, akademische Standards zu sichern und die Lehre zu verbessern, wie Dill (vgl. 2000:212) anführt.

2.1.1 Bildung als Ware und Lehre als Dienstleistung

In der Wirtschaft kann generell beobachtet werden, dass sich der Markt in den letzten Jahrzehnten sehr stark verändert hat und überwiegend von einem HerstellerInnenmarkt zu einem KundInnenmarkt geworden ist. Daraus resultieren vor allem für die KundInnen Vorteile, es gibt aber auch negative Begleiterscheinungen. Der Käufer/die Käuferin hat nun in der Regel nicht nur eine fast unüberblickbare Auswahl an weltweit hergestellten und beziehbaren Produkten und eventuell sogar Preisvergleiche, die von diversen Firmen (nicht selten gegen eine versteckte Gebühr) angeboten werden und dem Kunden/der Kundin das gewünschte Produkt beim günstigsten Anbieter/der günstigsten Anbieterin herausfiltern, sondern er/sie muss nun vielfach auch vermehrt auf das Kleingedruckte bei den angepriesenen Waren achten. Neben Betrügereien klagen immer mehr KäuferInnen über eine scheinbar sinkende Qualität bzw. Kurzlebigkeit vieler Produkte.

Diese Veränderungen haben u.a. dazu geführt, dass sich mittlerweile zahlreiche Unternehmen der Tatsache bewusst sind, in einer Marktwirtschaft im Zeitalter der Globalisierung und des ständig zunehmenden Konkurrenzdrucks, bei scheinbar kontinuierlich sinkenden Preisen vieler Produkte nur mehr dann langfristig bestehen zu können, wenn sie die KundInnen durch die Qualität der von ihnen angebotenen Waren überzeugen. Während manche HerstellerInnen weiterhin auf den niedrigen Preis ihrer Produkte und Dienstleistungen bauen und dies oftmals nur durch verminderte Qualität bzw. durch das Produzieren der Ware in Billiglohnländern erreichen können, versuchen andere verstärkt auf die Wichtigkeit von Nachhaltigkeit, Service und Qualität hinzuweisen.

Das Kriterium Qualität hat somit nicht nur wieder an Bedeutung gewonnen, sondern muss auch vor einem anderen Hintergrund als bisher betrachtet werden. Laut Timischl (vgl. 2007:1) ist gegenwärtig sogar die Tendenz feststellbar, dass der Kunde/die Kundin eine Qualität auf einem ihm/ihr ansprechenden Niveau fordert und dass zukünftig hochentwickelte Technologien weniger entscheidend sein werden als die Einstellung eines Unternehmens, die Erwartungen der KundInnen erfüllen zu wollen. In einem derart kundInnenorientierten Ansatz (user-based-approach) ist Qualität folglich weitgehend davon abhängig, was der Kunde/die Kundin darunter versteht. Dieser Aspekt ist auch im Kontext des vorliegenden Ansatzes wesentlich, da durch diverse Umstrukturierungen an den Hochschulen – wie z.B. die Auslagerung von Fremdsprachenkursen an universitäre Sprachenzentren – der Sicherung und Verbesserung von Qualität eine ganz neue Wichtigkeit zugekommen ist.

Zudem werden an vielen Universitäten bzw. Fachhochschulen Studierende verstärkt als KundInnen wahrgenommen, bzw. fühlen sie sich selbst als KundInnen, die für eine Ware Bildung bzw. eine Dienstleistung Lehre bezahlen und demgemäß gewisse Forderungen damit verbinden. Dass diese Sichtweise nicht nur bei vielen Lehrenden für Ablehnung sorgt und auch hinsichtlich der akademischen (Aus-)Bildung der Studierenden zu hinterfragen ist, muss an dieser Stelle nicht expliziert werden.

Während mit dieser Wahrnehmung mancher Studierenden, KundInnen zu sein bzw. dem Umstand, dass viele von ihnen an den Universitäten für eine gewisse Leistung in Form von Studiengebühren bezahlen müssen, oftmals von ihrer Seite stärkere Forderungen nach Qualität bzw. Service einhergehen, ist gleichzeitig in vielen universitären Kursen auch ein von innen heraus entstehendes Bestreben zu beobachten, verstärkt teilnehmerInnenorientiert zu lehren. Dies steht mitunter vielleicht zum einen mit der Forderung der ENQA1 (vgl. 2012:6) in Zusammenhang, dass bei sämtlichen qualitätssichernden Maßnahmen im Bereich des Lehrens und Lernens an den europäischen Hochschulen die Studierenden im Zentrum der Aufmerksamkeit stehen sollen, und zum anderen mit dem Paradigmenwechsel shift from teaching to learning, welcher das Lernen gegenüber dem Lehren explizit hervorhebt.

Zweifelsfrei sind derartige Strömungen nicht neu, sondern finden ihre Ursprünge im deutschsprachigen Raum – vor allem auch in Zusammenhang mit Evaluation – bereits in der 68er-Bewegung und den Protesten an Hochschulen, die, wie Rindermann (vgl. 2009:31) anführt, die Reformen an deutschen Universitäten einleiteten. Was jedoch als Novum der letzten Jahre gesehen werden kann, ist, dass Evaluationsergebnisse mitunter online gestellt werden und dadurch verhältnismäßig leicht zugänglich sind. Demzufolge werden diverse Fragen, Probleme, Erwartungen bzw. Forderungen den einzelnen am Unterrichtsgeschehen Beteiligten aktuell vielleicht deutlicher als bisher vor Augen geführt. Qualität bzw. fehlende Qualität wird sichtbar (gemacht) und steht auf Lehrendenseite auch vielfach in direkter Verbindung mit Vertragsverlängerungen oder eben der Nichtverlängerung von Lehraufträgen. Evaluation, besser gesagt, deren Ergebnisse können dadurch nolens volens auch als Druckmittel fungieren.

2.1.2 Normen, Zertifizierungen, Ratings

Zu diesen bisher genannten Gründen für Veränderungen muss auch die Veröffentlichung zahlreicher Normen und Zertifizierungen gezählt werden, die seit den 1980er Jahren verstärkt zum Einsatz kommen und auch explizit das Thema Qualität zum Gegenstand haben.

Allen voran seien hier die DIN-EN-ISO Normen 8402 und 9000–9004 genannt. In diesen Qualitätsmanagementnormen, die von internationalen ExpertInnen erarbeitet wurden und erstmals die KundInnen in den Mittelpunkt rücken, werden jene Kriterien beschrieben, die ein Unternehmen erfüllen muss, um einem bestimmten Standard bei der Umsetzung des Qualitätsmanagements zu entsprechen. Anders formuliert: Sie definieren auf eine allgemeine Weise jene Maßnahmen, die der Optimierung von Prozessen, Produkten oder Leistungen jeglicher Art dienen. Werden die betriebsinternen Abläufe und in weiterer Folge auch das hergestellte Produkt diesen bestimmten, festgelegten Qualitätskriterien gerecht, dann spricht man von einem ISO-zertifizierten Unternehmen und einem Qualitätsprodukt. Normen und Standards haben mittlerweile in fast allen Bereichen des täglichen Lebens Einzug gefunden. Alles scheint genormt zu sein, selbst der Begriff Qualität.

2.1.3 QM-Begriffe im Hochschulkontext

Auch Universitäten im deutschsprachigen Raum wurden von diesen oben angeführten Strömungen nicht verschont und diverse Begriffe und Termini, die ursprünglich der Wirtschaft bzw. dem Qualitätsmanagement zugeordnet waren, sind mittlerweile ebenfalls im Hochschulkontext längst salonfähig geworden und prägen ferner seit gut zwanzig Jahren verstärkt den wissenschaftlichen Diskurs. Dies inkludiert interessanterweise auch jene Disziplinen, deren primäre Forschungsschwerpunkte üblicherweise a priori nicht unbedingt mit Qualitätsmanagement, Qualitätssicherung, Ratings und dergleichen assoziiert werden, aber mit den Themen dieses Buches in direkter Verbindung stehen, wie z.B. die Sprachlehrforschung oder die Fremdsprachendidaktik.

Hätte man beispielsweise Qualitätsverbesserung, Qualitätssicherung, Evaluation, Audit, Akkreditierung, Sicherung von Standards, KundInnenzufriedenheit etc. vor etwa 25 Jahren an den Universitäten noch hauptsächlich mit Wirtschafts-, Unternehmens- und Managementwissenschaften assoziiert, oder generell mit Produktion, Produkten und Dienstleistungen etc. in Verbindung gebracht, so haben sich diese heute in fast allen wissenschaftlichen Bereichen etabliert und auch im Bildungssektor bzw. im Bereich des Fremdsprachenunterrichts Einzug gefunden. Hier spricht man u.a. von pädagogischer Qualität, didaktischer Qualität, Bildungsstandards oder diskutiert z.B. die Anwendung diverser Normen auf die Hochschule (siehe z.B. Knoll 2005).

Während der Impuls der Qualitätssicherung und -entwicklung in Wirtschaftsunternehmen überwiegend von innen heraus entstand und in vielen Bereichen eine unabdingbare Voraussetzung darstellte, um erfolgreich am nationalen und internationalen Wettbewerb teilnehmen zu können, so waren bei den Bildungseinrichtungen zu Beginn vor allem externe Faktoren, wie zum Beispiel Impulse aus der Politik ausschlaggebend, um das Rad in Sachen Qualität ins Rollen zu bringen (vgl. Kaufmann 2009:9). Spätestens seit Ende der 1990er Jahre findet man jedoch auch im Hochschulbereich vermehrt ein von innen gesteuertes Bestreben, nicht nur qualitativ hochwertige Forschung, sondern auch Qualität in der Aus- und Weiterbildung zu forcieren. Qualität ist folglich »zu einem zentralen Fokus der theoretischen, forschungsmethodischen und gestalterischen Bemühungen geworden« (Helmke/Hornstein/Terhart 2000:7). Dasselbe trifft auf Evaluation zu.