Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts
- -
- 100%
- +
Wie die vorangehenden Tabellen verdeutlichen, sind die Unterschiede zwischen Qualitätsmanagement und Evaluation somit gravierender als die Gemeinsamkeiten. Wenngleich beide grundsätzlich dasselbe Ziel verfolgen, zur Qualitätsverbesserung beizutragen, so sind die dahinterstehenden Konzepte und Herangehensweisen doch sehr verschieden voneinander. TQM kann als ein umfassendes und kontinuierliches System der Qualitätssicherung gesehen werden, welches von der Informationsbeschaffung bis zur Umsetzung der Ergebnisse sämtliche Bereiche abdeckt, während bei der Evaluation vor allem die Informationsbeschaffung und deren Bewertung im Vordergrund steht. Die Umsetzung der Ergebnisse ist explizit nicht mehr Bestandteil einer Evaluation, die zudem hinsichtlich der Durchführungsart in der Regel zeitlich befristet bzw. periodisch ist.
Wichtiger als die einzelnen Unterschiede detailliert zu diskutieren, scheint, wie Stockmann (2006:93) ausführt, die Erkenntnis, dass diese beiden Verfahren keine sich gegenseitig ausschließenden Konzepte sind, sondern sich ergänzen, und dass die Evaluation von TQM-Konzepten lernen kann, damit sie effektiver und effizienter gestaltbar ist. Ein Hauptpunkt, der in diesem Zusammenhang von Stockmann (ibid.) genannt wird und auch ganz besonders vor dem Kontext des universitären Fremdsprachenunterrichts hervorzuheben wäre, ist die Forderung, dass Evaluation nicht als periodische Aktivität gesehen werden soll, sondern als prozessbegleitender, kontinuierlicher Vorgang. Diese Überlegung ist zentral bei der Konzeption der KDE, wie in Kapitel 6 im Detail ausgeführt wird.
3.2.4 Evaluations- vs. Grundlagenforschung
Neben den bisher genannten Gründen, warum der Terminus Evaluation oft missverständlich verwendet wird, kommt ein weiterer hinzu: Evaluationsforschung wird nicht immer korrekt von Grundlagenforschung unterschieden. Dies liegt darin begründet, dass, obwohl die meisten Unterschiede zwischen den beiden in der Regel relativ eindeutig sind, auch ein Graubereich vorhanden ist, der eine exakte Unterscheidung in manchen Bereichen erschwert.
Keine prinzipiellen Unterschiede zwischen Evaluations- und Grundlagenforschung sind, wie auch Stockmann (vgl. 2010:58) feststellt, in Hinblick auf (1) die Auswahl des Untersuchungsgegenstandes sowie (2) die Verwendung von Datenerhebungs- und Analysemethoden zur Identifizierung von Wirkungen und der Bearbeitung der Kausalitätsfrage (Ursache-Wirkungszusammenhänge) zu erkennen. In beiden Bereichen können und werden sowohl quantitative als auch qualitative Forschungsmethoden eingesetzt. Hinsichtlich des Untersuchungsgegenstandes ist jedoch zu vermerken, dass im Bereich der Evaluationsforschung die Fragestellung oftmals von einem Auftraggeber bzw. einer Auftraggeberin kommt, während diese in der Grundlagenforschung in der Regel von den WissenschaftlerInnen selbst formuliert wird. In beiden Fällen ist aber auch das Gegenteil möglich. Untersucht können somit in beiden Fällen prinzipiell die gleichen Gegenstände werden.
Im Hinblick auf die Unterschiede zwischen Evaluations- und Grundlagenforschung gibt Balzer (vgl. 2005:17ff) einen guten Überblick, der – zusammen mit Analysen von Stockmann (vgl. 2010:57ff) – die Basis für untenstehende Tabelle bildet, die Gemeinsamkeiten und Unterschiede zwischen Evaluation- und Grundlagenforschung aufzeigen soll.
Evaluationsforschung Grundlagenforschung Methoden qualitativ, quantitativ, gemischt qualitativ, quantitativ, gemischt Gegenstand theoretisch frei, in d. Praxis meist definiert zumeist frei, kann definiert sein Ziele Wissensgenerierung als Basis für Entscheidungen verwertungsorientiert Verbesserung v. Praxis Wissensgenerierung als Basis für Theoriebildung theorieorientiert Verifizieren, Falsifizieren v. Theorien Zweck zweckbestimmt zweckfrei Ergebnisse Nützlichkeit für konkretes Projekt müssen stimmen sollten handlungsrelevant sein Generalisierbarkeit dürfen falsch sein sollten wertvoll für Wahrheitsfindung sein; Basis für weitere Forschung Bewertung Vergleich Ist-Sollzustand Differenz = Grundlage für Bewertung Interpretation und Bewertung untersucht, beschreibt, erklärt aktuellen Ist-Zustand (kein Vergleich) nur Interpretation, keine Bewertung Urteilskriterien davor festgelegt nötig für Vergleich keine Fragestellung in der Regel von AuftraggeberIn festgelegt (fremdbestimmt) von Zielsetzung geleitet in der Regel durch ForscherIn bestimmt (selbstbestimmt) von Suche nach Erkenntnisgewinn geleitet Erkenntnisgewinn zum Treffen konkr. Entscheidungen für die Gesellschaft Rolle potentielle Eingebundenheit in ein System kontrollierter, fester Rahmen oft in politische Settings eingebunden nach rechtsverbindlichem Auftrag abgewickelt dem Erkenntnisgewinn verpflichtet freier Rahmen der scientific community verpflichtet kann an Verträge gebunden sein Zeitrahmen Deadline (zeitgebunden) Verspätete Ergebnisse für z.B. Entscheidungen sind nach Entscheidungstermin nicht mehr verwertbar i.d.R zeitungebunden bei Bedarf mehr Zeit bzw. Deklarieren weiteren Forschungsbedarfs neue Erkenntnisse lassen sich nicht mit Terminkalender erzwingen Empfänger von Ergebnissen Programmverantwortliche konkretes Publikum Beteiligte andere ForscherInnen interessiertes Fachpublikum für alle Interessierten Veröffentlichung zumeist keine (freie) Veröffentlichung Publikation ist ein zentrales Anliegen Ergebnisnutzung ist ein Hauptanliegen nicht zwingend; Ergebnisse können aber nützlich sein Ressourcen i.d.R AuftraggeberInnen i.d.R. öffentlich Kontext eher politisch sensibel zumeist pol. unproblematischTab. 5: Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung
Während die Grundlagenforschung demnach überwiegend zweckfrei nach (neuen) Erkenntnissen sucht und die Frage nach ihrer Nützlichkeit in der Regel kaum gestellt wird, zeichnet sich die Evaluationsforschung gerade dadurch aus, dass sie, wenngleich sie sich auch der Methoden und Theorien der Sozialforschung bedient, nützlich sein soll und Informationen zur Verfügung stellt, auf Basis welcher Entscheidungen getroffen werden. Diese Gratwanderung zwischen Wissenschaft und Nützlichkeit bezeichnet Stockmann (2010:59) als die »besondere Dualität« der Evaluationsforschung.
Die Tatsache, dass Evaluationsforschung im Gegensatz zur Grundlagenforschung praxisorientiert ist (vgl. Rindermann 2009:14) und auch der Nützlichkeitsaspekt von Evaluationen im Vordergrund steht bzw. eine enge Verknüpfung zwischen den Evaluationsergebnissen und (politischen) Entscheidungen nicht immer negiert werden kann, hat nicht selten zur Folge, dass Evaluationsforschung von grundlagen- bzw. disziplinorientierten ForscherInnen nicht immer als vollwertige Wissenschaft anerkannt wird, wie Stockmann (vgl. 2010:57) anführt. Dies geht auch mit oft konträren Anforderungen einher, mit welchen sich viele EvaluatorInnen in der Praxis konfrontiert sehen.
Evaluation, wie sie im Rahmen der KDE gesehen wird, schafft gewissermaßen eine Gratwanderung, weil sie zum einen Informationen generiert, auf Basis welcher Optimierungen im Fremdsprachenunterricht erwirkt werden können, und weil diese Informationen bzw. Veränderungen zugleich als Ausgangspunkt für neue Theorien und fremdsprachen-didaktische Überlegungen genutzt werden können.
3.2.5 Allgemeinsprachliche vs. wissenschaftliche Evaluation
Ein weiterer wichtiger Aspekt, der im Hinblick auf die Verwendung des Begriffs Evaluation Klarheit schaffen soll, ist die Abgrenzung der allgemeinsprachlichen Evaluation von der wissenschaftlichen Evaluation. Spricht man von einer allgemeinsprachlichen Evaluation, wie etwa jener im oben angeführten Zitat von Kromrey (vgl. 2001:21) bei welcher irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet wird, oder handelt es sich um eine Evaluation im wissenschaftlichen Kontext, die auch wissenschaftlichen Kriterien und Standards gerecht werden muss? Für letztere sind, wie Stockmann (2004:2) ausführt, »empirische Methoden zur Informationsgewinnung und systematische Verfahren zu Informationsbewertung anhand offengelegter Kriterien« erforderlich, »die eine intersubjektive Nachprüfbarkeit möglich machen«.
Kromrey (2001:22) verdeutlicht diesbezüglich, dass bei einer wissenschaftlichen Evaluation nicht irgendetwas beurteilt werden soll, sondern »ein eindeutig zu definierender und empirisch abgrenzbarer Gegenstand oder Sachverhalt«. Zudem ist nicht irgendjemand für die Informationssammlung und Analyse zuständig, sondern »eine mit der notwendigen Kompetenz versehene Evaluations-Instanz«. Darüber hinaus soll nicht nach irgendwelchen Kriterien und nicht in irgendeiner Weise evaluiert werden, sondern »nach explizit auf den Sachverhalt bezogenen und begründeten Beurteilungskriterien und Standards, sowie in einem objektivierten Verfahren im Rahmen eines im Detail geplanten Evaluationsdesigns«.
Demgemäß müssen, wenn es sich bei einer Evaluation nicht nur um die einfache Abgabe eines subjektiven Werturteils handeln soll, wie dies bei den in 1.3 analysierten Evaluationsmodellen vielfach der Fall war, sondern wenn es sich um eine Evaluation im wissenschaftlichen Kontext handelt, wesentliche Kennzeichen und Kriterien erfüllt bzw. Standards berücksichtigt werden, die eine empirisch-wissenschaftliche Evaluation von einer Alltagsbewertung unterscheiden.
3.2.5.1 Kennzeichen wissenschaftlicher Evaluation
Wottawa/Thierau (vgl. 1998:14) führen folgende Kennzeichen für eine wissenschaftliche Evaluation an:
1 Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun.
2 Evaluation ist ziel- und zweckorientiert. Ihr primäres Ziel besteht darin, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.
3 Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.
Neben den drei genannten Kennzeichen führen sie (ibid.) zudem an, dass ethisch-moralische Überlegungen nicht vernachlässigt werden dürfen, denn EvaluatorInnen »verändern durch ihre Arbeit beratend (manchmal sogar als Entscheider) die Lebensumstände anderer Menschen gezielt und erheben dabei den Anspruch, aufgrund ihrer ›Wissenschaftlichkeit‹ über Kompetenzen zu verfügen, die dem ›Laien‹ fehlen«.
3.2.5.2 Kriterien wissenschaftlicher Evaluation
Für Stockmann (vgl. 2010:66) zeichnet sich eine wissenschaftliche Evaluation durch folgende Kriterien aus:
1 Die Evaluation ist auf einen klar definierten Gegenstand bezogen.
2 Für die Informationsgenerierung werden objektivierende empirische Datenerhebungsmethoden eingesetzt.
3 Die Bewertung erfolgt explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien.
4 Die Bewertung wird mit Hilfe systematischer Verfahren vorgenommen.
5 Die Evaluation wird von dafür besonders befähigten Personen (EvaluatorInnen) durchgeführt.
6 Ziel der Evaluation ist, auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen.
Zudem stellen Evaluationen keinen Selbstzweck dar und sind nicht nur dem puren Erkenntnisinteresse verpflichtet, sondern sollen einen Nutzen stiften und dazu beitragen, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um dadurch Entscheidungen treffen zu können, die dazu beitragen, die Qualität einer Maßnahme, eines Programms oder einer Dienstleistung zu optimieren (vgl. Stockmann 2006:65).
Ist im wissenschaftlichen Kontext der systematische Zugang essentiell, stellt dieser im Alltag keine Notwendigkeit dar. In beiden Fällen verfolgt die Evaluation jedoch ein bestimmtes Ziel oder einen bestimmten Zweck, wie z.B. auf Basis der aus der Evaluation gewonnenen Erkenntnisse eine Entscheidung zu treffen, die zu einer Optimierung eines Prozesses oder Produktes – im konkreten Fall, des universitären Fremdsprachenunterrichts – führt.
Damit eine wissenschaftliche Evaluation auch die für jede andere wissenschaftliche Untersuchung geforderten Kriterien der Neutralität, Objektivität, Validität und Reliabilität erfüllt, ist eine Herangehensweise zu wählen, die man auch für andere wissenschaftliche Untersuchungen anwenden würde: Zuerst ist eine Fragestellung zu formulieren, dann muss eine Methode gewählt und beschrieben werden, die jene Daten erhebt, die zur Beantwortung der Frage führen. Der bewertende Aspekt, der bei einer Evaluation besonders stark im Vordergrund steht, darf jedoch nicht mit der Abgabe eines subjektiven Werturteils verwechselt werden. Hier ist von eminenter Wichtigkeit, dass die Kriterien, anhand welcher der Ist-Soll-Vergleich durchgeführt wird, sich auf wissenschaftliche Erkenntnisse stützen, exakt festgelegt werden und nicht nur für alle nachvollziehbar sind, sondern sich auch auf etablierte Standards beziehen, wie beispielsweise die Evaluationsstandards und die ESG.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.