Evaluation

Aus bildungsprozessmanagement.de

Wechseln zu: Navigation, Suche
<< vorher :: Guided Tour :: weiter >>

Walter, Rahel; Gerds, Michaela; Hary, Christine; Hutter, Bärbel (2006)


"Wenn wir immer nur tun, was wir schon immer getan haben, werden wir auch immer nur erreichen, was wir schon immer erreicht haben." (Unbekannt)



Mit einer Evaluation wird definitionsgemäß der Nutzen/Wert eines Prozesses systematisch untersucht. Individuelle Interessen, Bedürfnisse und Meinungen der Betroffenen werden prozessbegleitend erfasst, ausgewertet und interpretiert. Evaluation bewertet Wirkungen von Maßnahmen und Prozessen, überprüft die Zielerreichung und zeigt ein Ergebnis auf. Aus diesem Ergebnis lassen sich Empfehlungen für das weitere Vorgehen ableiten.


Inhaltsverzeichnis

Begriff und Kontext

Evaluation bedeutet laut dem Fremdwörterbuch des Dudens: „Bewertung, Bestimmung des Wertes bzw. Beurteilung von Lehrplänen und Unterrichtsprogrammen im pädagogischen Bereich.“ Evaluationsuntersuchungen arbeiten in der Regel mit aufwendigen Mitteln der empirischen Forschung, deren Anwendung in der Praxis kaum leistbar ist. Trotzdem ist die Evaluation zu einem vielfältigen Arbeitsgebiet in Praxis und Wissenschaft der Weiterbildung geworden. Aspekte der Evaluation müssen schon bei der Bildungsbedarfsanalyse, sowie allen anderen Teilbereichen (Programm, Veranstaltung, Prüfung, Transfermanagement, Programmrevision) beachtet werden. Somit verlangt es eine Selbstkontrolle des Planenden und eine Reflexion der Struktur dessen, was im Lehr- und Lernprozess jeweils vermittelt wird. Evaluation bezieht sich auf allgemeine Prozesse und Ergebnisse im Bildungsbereich und nicht nur ausschließlich auf die konkreten Interaktionen und Lernprozesse in Bildungsveranstaltungen. Sie kann sich aber auf der makrodidaktischen Ebene, auch für die Ziele der Einrichtung, das Programm für die Adressaten, oder die Ausstattung der Organisation beziehen. Stets eine Bewertung des Verhältnisses von Zielen und Planung einerseits, sowie der Realisierung der Ergebnisse andererseits.

Wenn man evaluieren möchte, muss man eine klare Formulierung des Gegenstands voraussetzen und es muss sich eine nachvollziehbare Datengrundlage ergeben. Im Anschluss an die Evaluation muss gewährleistet werden, dass die Daten aufbereitet und veröffentlicht werden, denn nur so erlangt eine Evaluation den gewünschten Erfolg.


Evaluationen können unterschiedliche Funktionen annehmen: Legitimations-(Rechtfertigung), Vergewisserungs-, Kontroll-, und Steuerungsfunktion. Deshalb ist es unabdingbar, dass man sich vor Beginn der Evaluationsmaßnahme Klarheit darüber verschafft, welcher Funktion man entsprechen möchte. Je praxisorientierter Evaluationsvorhaben sind, desto eher werden die Methoden variiert.

Ziele und Interessen der Evaluation

An das Thema Evaluation wird mit unterschiedlichen Zielsetzungen und Interessenlagen herangegangen.


Interessengruppe Ziele
Pädagogen
  • Qualitätssicherung der Lehr- und Lernaktivitäten
  • Feedback der Teilnehmer
  • Bestandteil eigener Professionalisierung
Forschung
  • Interesse nach allgemeinen Erkenntnissen und generellen Aussagen
  • Früher: Fragen zur Gestaltung des Lehrens und Lernens
  • Heute: Institutionenforschung
Weiterbildungspolitik
  • Institutionsevaluation
  • Klärung von Fragen der staatlichen Steuerung und der Effizienz des Mitteleinsatzes
Weiterbildungsorganisation
  • Evaluation der Gesamtorganisation aufgrund des Konkurrenzdrucks
  • Verbesserung der Qualität/Finanzen
  • Prüfung des eigenen Entwicklungs- und Planungstandes
Weiterbildungspraxis
  • Normaler Vorgang im Planungszyklus
  • Evaluiert werden:
    • Programm
    • Teilnehmer
    • Zielgruppe
Träger
  • Effizienzuntersuchungen stehen im Vordergrund


Methoden

Es gibt viele verschiedene Methoden, die zur Durchführung einer Evaluation verwendet werden können. Bei der Wahl der passenden Methode gilt es, die zur Verfügung stehenden Mittel und das Ziel der Evaluation zu beachten. Manchmal ist es sinnvoll und notwendig, mehrere Erhebungsverfahren anzuwenden, da durch die Ergänzung der verschiedenen Methoden ein genaueres Ergebnis erzielt werden kann. Im Folgenden werden die bekanntesten Erhebungsverfahren vorgestellt:


Befragung

Qualitative Befragungen arbeiten mit offenen Fragen, lassen Befragten viel Spielraum beim Antworten und berücksichtigen die Interaktion zwischen Befragtem und Interviewer sowie die Eindrücke und Deutungen des Interviewers als Informationsquellen.

Im Unterschied dazu sind quantitative Befragungen standardisiert, fordern vom Befragten inhaltlich zugespitzte Antworten und vom Interviewer ein gleichförmiges Verhalten. Es wird unterschieden zwischen mündlicher und schriftlicher Befragung.


Beobachtung

Qualitative Beobachtungen arbeiten mit offenen Kategorien bzw. Fragestellungen, erfassen größere Einheiten des Verhaltens und Erlebens und finden im natürlichen Lebensumfeld bei meist aktiver Teilnahme des Beobachters statt.

Im Gegensatz dazu werden bei der systematischen Beobachtung bestimmte zu beobachtende Ereignisse zum Gegenstand der Forschung gemacht und Regeln angegeben, die den Beobachtungsprozess so eindeutig festlegen, dass die Beobachtung zumindest theoretisch nachvollzogen werden kann.


Feldforschung

Die Feldforschung beschäftigt sich damit, wie alltägliche soziale Systeme funktionieren. Hauptmethode der Feldforschung ist die teilnehmende Beobachtung, d. h. der Forscher nimmt (offen oder verdeckt) am Geschehen teil.


Nonreaktive Verfahren

Nonreaktive Verfahren sind Datenerhebungsmethoden, die keinerlei Einfluss auf die untersuchten Personen, Ereignisse oder Prozesse ausüben, weil a) die Datenerhebung nicht bemerkt wird oder b) nur Verhaltensspuren betrachtet werden.

Bsp: Schilder, Hinweistafeln, Hausordnungen (z. B. Häufigkeit von „Spielen verboten“-Schildern als Indikator für Kinderfeindlichkeit); Symbole (Autoaufkleber, Abzeichen, Buttons und Anstecker als Indikator für soziale Identität und Gruppenzugehörigkeit).

Evaluationsgegenstände

Die verschiedenen Evaluationsansätze, die im Weiterbildungsbereich von Bedeutung sind, orientieren sich in erster Linie an den Gegenständen der Evaluation. Unabhängig von der Frage, ob es sich beim Gegenstand um Lehr- und Lernprozesse, Bildungsprogramme oder Bildungsorganisationen handelt, lassen sich folgende Evaluationsgegenstände unterscheiden.


Mögliche Evaluationsgegenstände Mögliche Fragen
Input
  • Räumliche und finanzielle Ausstattung
  • Leitbild
  • Qualifikation des Personals
  • Wie wird der Bedarf erhoben?
  • Sind die Qualifikationen ausreichend?
Output
  • Kurzfristig beobachtbare Ergebnisse
    • Programm
    • Jahresabschluss
    • Konkrete Lehrresultate
  • Sind die Teilnehmer zufrieden?
  • Wie entwickelt sich die Teilnehmerzahl?
Prozess
  • Planungsabläufe
  • Verlauf von Bildungsprozessen
  • Stimmt die Zeitorganisation?
  • Werden Probleme der Teilnehmer berücksichtigt?
Outcome
  • Längerfristigen Folgen:
    • Position gegenüber der Konkurrenz
    • Politische Wirkung des Programms
  • Sind die vermittelten Inhalte praktisch umsetzbar? (Transfer)


Evaluationsansätze

Ansatz Beschreibung
summative Evaluation:
  • Entspricht der Evaluation des Outputs
  • Am Ende einer Maßnahme wird Erfolg aufsummiert
  • Typisch: Effektivitätsuntersuchungen (Beispiel: Kosten – Nutzen – Analyse)
formative Evaluation:
  • Bezieht sich auf den Prozess und dessen Monitoring
  • dient der Prozesssteuerung und – beratung
  • Rückmeldesysteme (Teilnehmern werden Informationen und Einschätzungen des Evaluator zugänglich gemacht)
  • Typisch: Prozessevaluation zielt auf eine kontinuierliche Verbesserung der Arbeit ab
interne Evaluation:
  • von den Mitgliedern einer Organisation selbst durchgeführt
Selbstevaluation:
  • Eigene berufliche Handeln wird mit seinen Konsequenzen erforscht
  • dient zur Verbesserung der Selbstreflexion und des fachlichen Handelns
  • gehört mittlerweile zum allgemeinen professionellen Qualitätsstandard
Fremdevaluation:
  • Werden von unabhängigen Expertenteams durchgeführt

Leitfaden zur Durchführung des Evaluationsprozesses

1. Schritt: Qualitätsstandard vereinbaren

  • Klären, wann der Verlauf und das Ergebnis als gut gelten.
  • Alle Betroffenen Gruppen miteinbeziehen.


2. Schritt: Evaluationsgegenstand vereinbaren

  • Einen bestimmten Aspekt des Prozesses diskursiv zum Thema machen.


3. Schritt: Evaluationsziele vereinbaren

  • Konkret definieren, was mit der Evaluation erreicht werden soll und welche Aufschlüsse/Rahmenbedingungen erwartet werden.


4. Schritt: Kriterien und Indikatoren vereinbaren

  • Feststellen, an welchen Aspekten des Prozesses angesetzt werden muss, um Aufschlüsse zum Evaluationsgegenstand zu gewinnen.
  • Aussagen über die festgelegten Kriterien treffen.


5. Schritt: Geeignetes Evaluationsverfahren bestimmen

  • Methoden auswählen oder entwickeln, die eine Erkenntnis versprechen.
  • Eventuell externe Beratung oder Elemente einer Fremdevaluation hinzunehmen.


6. Schritt: Evaluation durchführen

  • Ernsthaftigkeit und Sorgfalt bei der Durchführung
  • Regeln für die methodischen Einzelelemente müssen allen Beteiligten bekannt sein.


7. Schritt: Ergebnisse analysieren und interpretieren

  • Die Evaluation bringt Aufschlüsse über den Gegenstand, die nach ihrer Bedeutung wiederum befragt werden müssen.
  • Konsens über die Feststellung und Interpretation der Ergebnisse mit allen Beteiligten finden.
  • Eventuell müssen konkurrierende Ergebnisdefinitionen und Maßnahmestrategien entwickelt werden.
  • Die Ergebnisse werden zusammengefasst und übersichtlich dargestellt. Es ist empfehlenswert, an dieser Stelle schon einen Vorschlag zur Verbesserung zu entwickeln.


8. Schritt: Maßnahmen vereinbaren

  • Ergebnisse müssen handlungs- und strukturrelevant sein.
  • Die Evaluationsergebnisse sind keine Handlungsanweisung, sondern liefern interpretierbare Prämissen für Handlungsentscheidungen.
  • Maßnahmen müssen einvernehmlich beschlossen werden.


9. Schritt: Vereinbarte Maßnahmen einleiten

  • Praxis- und strukturrelevante Konsequenzen für den Prozess sind das eigentliche Ergebnis der Evaluation.


Beispiele

Evaluation eines Seminars der Erwachsenenbildung

1. Vereinbarung des Qualitätsstandards

Die Lernprozesse sind so gestaltet, dass der Bezug zur Praxis der Teilnehmer jederzeit sichtbar ist.


2. Vereinbarung des Evaluationsgegenstands

Die Bedeutung des Seminarinhaltes für die Praxis nach Einschätzung der Teilnehmer. Die Lernprozesse sind so gestaltet, dass der Bezug zur Praxis der Teilnehmer jederzeit sichbar ist, wenn die Teilnehmer die Bedeutung des Seminarinhaltes für die Praxis als bedeutsam einschätzen.


3. Vereinbarung des Evaluationsziels

Wir wollen wissen, ob ein Bezug zur Praxis der Teilnehmer hergesllt wird und wie dieser gegebenenfalls intensiviert werden kann.


4. Vereinbarung des Qualitätskriteriums und des Qualitätsindikators

Der Bezug zur Praxis der Teilnehmer wird dann hergestellt, wenn die Teilnehmer nach eigener Aussage den Bezug zu ihrer beruflichen Tätigkeit herstellen können.

Die Teilnehmer können nach eigener Aussage den Bezug zu ihrer beruflichen Tätigkeit herstellen, wenn sie sich auf Nachfrage überwiegend zustimmend äußern.


5. Bestimmung oder Entwicklung geeigneter Evaluationsverfahren

Bewertung der vier Segmente durch Aufkleben von Punkten in Abstufungen von 1 = "trifft völlig zu" bis 6 = "trifft gar nicht zu".
Bewertung der vier Segmente durch Aufkleben von Punkten in Abstufungen von 1 = "trifft völlig zu" bis 6 = "trifft gar nicht zu".

"Zielscheibe" mit den Segmenten:

  • Ich denke, dass ich mit den im Seminar erworbenen Kenntnissen Problemen im Berufsalltag besser begegnen kann.
  • Der Bezug zur Praxis war für mich während des Seminars sichtbar.
  • Ich konnte die Lerninhalte auf meinen beruflichen Alltag übertragen.
  • Die Trainingseinheiten sind für meinen beruflichen Alltag wichtig.

Fragebogen mit vier Fragen:

  • Das Seminar hat mir Spaß gemacht.
  • Das Seminar hat meine Erwartungen erfüllt.
  • Der Kurs als Ganzes hat mir gefallen.
  • Der Kurs als Ganzes war für mich nützlich.

Bewertung durch Ankreuzen in Abstufungen von "Trifft gar nicht zu" bis "Trifft völlig zu".


6. Durchführung des Evaluationsverfahrens

Um persönliche Eindrücke zu gewinnen, wurde das dreitägige Seminar besucht und als Teilnehmer mitgearbeitet. Nach Abschluss des Seminars wurden die Fragebögen von den Teilnehmern ausgefüllt. Durch eine Variante der Punktabfragung der einzelnen Teilnehmer wurde die Zufriedenheit mit dem Seminar ermittelt.


7. Analyse und Interpretation der Ergebnisse

Anhand dieser Untersuchung wurde festgestellt, dass die Teilnehmer sehr zufrieden mit dem Seminar waren. Daraus folgt, dass der Qualitätsstandard erfüllt wurde, da der Praxisbezug für die Teilnehmer jederzeit sichtbar war.


8. Vereinbarung von Maßnahmen

Durch die herausragende Zufriedenheit und die anschließende Diskussion im Plenum wurde folgender Entschluss gefasst: Es gibt keine zwingend erforderlichen Maßnahmen, die zur Verbesserung des Seminars beitragen würden. Anmerkung: Ein solches Ergebnis wird selten erreicht, da es fast nie zu einer vollständigen Erfüllung des Qualitätsstandards kommt.


9. Einleitung der vereinbarten Maßnahmen

In diesem Fall wurde die Evaluation mit Schritt 8 beendet.


Evaluation eines Mathematikunterrichts

1. Vereinbarung des Qualitätsstandards

Im Unterricht wird Gelegenheit geboten, Rückfragen zum Unterrichtsinhalt zu stellen.


2. Vereinbarung des Evaluationsgegenstands

Gelegenheiten, die die Lernenden haben um Rückfragen zum Unterrichtsinhalt zu stellen


3. Vereinbarung des Evaluationsziels

Wir wollen Aufschlüsse darüber gewinnen, ob den Lernenden Gelegenheit geboten wird, Rückfragen zum Inhalt des Unterrichts zu stellen.


4. Vereinbarung des Qualitätskriteriums und der Qualitätsindikatoren

Im Unterricht wird Gelegenheit zu Rückfragen geboten, wenn der Lehrer zu Rückfragen anregt.

Dass der Lehrende Gelegenheit zu Rückfragen bietet, erkennt man an folgenden Indikatoren:

  • Es macht den Schülern nichts aus, jederzeit Fragen zum Unterrichtsthema zu stellen.
  • Die Schüler haben den Eindruck, dass der Lehrer ihre Fragen versteht.
  • Nach Meinung der Schüler fragt der Lehrer oft genug nach, ob alles verstanden wurde.
  • Der Lehrer beantwortet die Fragen der Schüler.


5. Bestimmung oder Entwicklung geeigneter Evaluationsverfahren

Teilnehmende Unterrichtsbeobachtung mit Kameraaufzeichnung und anschließende Fragebogenuntersuchung


6. Durchführung des Evaluationsverfahrens

Um persönliche Eindrücke zu gewinnen, beobachteten wir nach einer kurzen Vorstellung als gesamte Gruppe eine Unterrichtsstunde und notierten uns den Ablauf und Auffälligkeiten. Nach dem Unterricht ließen wir die Fragebögen von den Schülern ausfüllen und erklärten dann kurz den Zweck unserer Untersuchung. Den gesamten Unterrichtsverlauf zeichneten wir auf, was uns die Möglichkeit gab, uns zu jedem späteren Zeitpunkt das Unterrichtsgeschehen nochmals vor Augen zu führen. Mit diesem Verfahren konnten wir den größtmöglichen Erkenntnisertrag für uns gewinnen.


7. Analyse und Interpretation der Ergebnisse

Anhand des Fragebogens, der die Indikatoren beinhaltete, konnten wir feststellen, dass unser Qualitätsstandard nicht erfüllt worden war, d.h. die Schüler hatten nicht genügend Gelegenheiten Rückfragen zum Unterrichtsinhalt zu stellen. Zwar bestand eine Kommunikation zwischen dem Lehrer und den Schülern, jedoch stellte der Lehrer die Fragen so, dass nur eine spezielle Antwort möglich war. Gelegenheiten selbst Rückfragen zu stellen, hatten die Schüler dadurch kaum.


8. Vereinbarung von Maßnahmen Eine Möglichkeit, den Schülern Gelegenheiten zu Rückfragen zu geben, ist, sie bewusst zu überfordern. Der Lehrer könnte beispielsweise solche Fragen stellen, die die Schüler gar nicht beantworten können, um sie so zum eigenen Nachdenken anzuregen. Dadurch wäre eine Basis für Rückfragen geschaffen. Allerdings müsste dann während des Unterrichts genügend Zeitraum für das Nachdenken und Formulieren von Rückfragen bleiben.


9. Einleitung der vereinbarten Maßnahmen

Die Maßnahmen wurden nach ihrer Durchführbarkeit und Wirksamkeit gewichtet und von uns an den Lehrer weitergeleitet, der sich dann alleine damit befasste und für sich entschied welche er anwenden will.

Glossar

empirische Forschung

die systematische Entwicklung von Tatbeständen durch intersubjektiv nachvollziehbare Verfahren und Methoden; wissenschaftliche Forschung -> auf methodischem Weg gewonnene Erfahrung;

Evaluation

Bewertung, Einschätzung; Auswertung von Planungen, Programmen und Projekten auf Grundlage bestimmter Wertmaßstäbe und Kriterien, in der Regel in Form einer wissenschaftlichen Begleitforschung (Evaluationsforschung); soll den ursächlichen Zusammenhang zwischen Projekt und Ergebnis nachweisen im Sinne einer wissenschaftlichen Wirkungsforschung.

Qualitätsrelevanz

Qualitätsstandard

Monitoring

ständiges sorgfältiges Untersuchen, Überwachen und Beobachten einer bestimmten Situation oder Gegebenheit; Monitoring ist ein Überbegriff für alle Arten der Erfassung, Beobachtung oder Überwachung eines Vorgangs oder Prozesses mittels technischer Hilfsmittel oder anderer Beobachtungssysteme. Ein Monitoringsystem ermöglicht zum Teil auch Eingriffe bzw. Steuerung der betreffenden Prozesse, sofern sich abzeichnet, dass der Prozess nicht den gewünschten Verlauf nimmt.

Ausblick/Fazit

Eine Evaluation macht nur dann Sinn, wenn die ausgewerteten Daten weitergeleitet und bearbeitet werden und keine "Datenfriedhöfe" daraus entstehen. Da sie Bedarfe aufdecken und auf Verbesserungen aufmerksam machen kann, sollte die Evaluation in Zukunft öfter und intersiver angewandt werden. In allen Einrichtungen sollten weder Kosten noch Mühen gescheut werden, eine professionelle Evaluation durchzuführen, da mit diesem Verfahren die eigene Optimierung stark vorangetrieben werden kann.

Literatur

  • Meisel, Klaus (1999): Evaluation.
  • Bortz, Jürgen und Döring, Nicola (2005): Forschungsmethoden und Evaluation.
Ansichten
Persönliche Werkzeuge
ÜBERSICHT