Evaluation eines Bildungsprogramms

Wenn wir über “Programmevaluierung” sprechen, beziehen wir uns auf eine Maßnahme, die aus zwei Teilen zusammengesetzt wird: die Evaluierung und die Bildungsprogramme.

Die Evaluation bedeutet, Urteile zu fällen oder Bewertungen vorzunehmen, um auf deren Basis bestimmte Entscheidungen zu treffen.

Ein Bildungsprogramm kann man als Zusammenstellung von personellen, methodischen, materiellen und zeitlichen Ressourcen beschreiben, für ein Bildungs- oder Kompetenzziel von Personen in einer konkreten sozialen Realität.

Programmevaluation kann daher verstanden werden als:

Geplante und systematische Maßnahmen, die auf ein zielgerichtetes Bildungsprogramm angewendet werden. Dabei wird die Absicht verfolgt, eine Wertbeurteilung für einen Teil oder für die gesamte Entwicklung, Planung oder Wirkung dieses Programms abzugeben und daraus nützliche Informationen für Entscheidungen zur Wirksamkeit, Fortführung oder ggf. Anpassung des Programms zu erhalten.

Gründe für Evaluationen

Die Umsetzung eines Programms setzt die Beteiligung von Menschen voraus, investiert Zeit und Ressourcen und beeinflusst unser enges soziales Umfeld.

Ein Programm durchgeführen bedeutet also eine Investition zu tätigen, Ressourcen zu mobilisieren, die während der verbleibenden Zeit nicht für andere Aktivitäten verfügbar sind. Dabei ist es wichtig den langfristigen Einfluss des Programms sicherstellen und die Auswirkungen zu prognostizieren und natürlich laufend zu überprüfen.

Eine Evaluierung ermöglicht es und, den Nutzen des Programms sowohl für Personen (Beobachter, Schüler, Lehrer, Unterstützer usw.) in den beteiligten Institutionen als auch im Umfeld / Netzwerk zu ermitteln. Sie ist ebenso ein wertvolles Instrument, um die getätigten Investitionen zu begründen.

Zusammenfassend kann man die folgenden Gründe für die Durchführung einer Evaluation nennen:

• Mitteleffizienz öffentlicher Gelder
• Gesichterte Entscheidungsgrundlage
• Programmverbesserungen
• Überprüfen und Dokumentation kurzfristiger und langfristiger Auswirkungen
• nachhaltig Kompetenzentwicklung bei Klienten und Schülern
• Möglichkeiten zur Adaption auf andere Bildungszusammenhänge

Mithilfe der Evaluation warden Aspekte identifiziert, die nicht auf dem erwarteten Niveau funktionieren. Daneben ermöglicht sie auch, die Probleme zu identifizieren und herauszustellen, die im Programm korrekt funktionieren. Schließlich können sogar die Problemstellungen identifiziert werden, die im eigentlichen Programm nicht berücksichtigt wurden, die aber zur Verbesserung der Wirksamkeit des Programms hilfreich sein können.

Die Evaluation kann also angewendet werden auf:

• Das Identifizieren von Bedürfnissen der Schüler zu Beginn des Programms.
• Sie ermöglicht die Beobachtung der Schülerleistungen während der Durchführung des Programms.
• Ermöglicht die Bewertung der von den Schülern erreichten Ziele.

Die Evaluierung ermöglicht es auch, die getätigten Investitionen im Kontext der Wirksamkeit zu begründen. Dieser Aspekt ist essentiell, wenn man davon ausgeht das Projekte und Programme durch öffentliche Gelder finanziert warden.

Eine klare und transparente Evaluation, die die Effizienz und Wirksamkeit eines Programms belegt, erleichtert es also, die Unterstützung öffentlicher Stellen zu erreichen.

Evaluationsplan

Das Verfahren von Programmevaluationen hängt in hohem Maße von den Merkmalen des Programms selbst sowie vom Kontext ab. Es wirkt sich somit auf das gewählte Evaluationsmodell aus, das als Referenz herangezogen wird. Am wahrscheinlichsten ist es jedoch bei den meisten Bewertungsverfahren.

• Ansatz
• Design
• Informationssammlung
• Analyse
• Bericht

Um eine Bewertung durchführen zu können, müssen vorher einige Fragen geklärt werden

Stellen Sie sich vor, Sie werden um eine Evaluation eines in Ihrem Arbeitskontext stattfindenden Programms gebeten. Dabei können Fragen auftauchen, wie:

• Wer soll die Evaluation durchführen?
• Warum wollen Sie das Programm bewerten?
• Was genau soll evaluiert werden (das gesamte Programm oder einen Teil davon)?
• Welche Neben- und Randbedingungen gibt es?
• Kann die Evaluation unter den aktuellen Bedingungen durchgeführt werden?

Weitere Fragen, die zu Beginn auftreten können, sind:

• Welche Elemente müssen beachtet werden?
• Gibt es Indikatoren zum Handeln?
• Welche Qualitätskriterien sollten verwendet werden?
• Welche Informationen stehen über den Kontext des Programms hinaus zur Verfügung?

Dies sind einige der Punkte, die vor Beginn der Evaluierung geklärt werden müssen.

Realisierung des Programms

Bei der Realisierung eines Programms können wir zwei Situationen beschreiben. Zum einen, dass das Programm selbst die Evaluation geplant hat bzw. beinhaltet und zum anderen, dass dies nicht der Fall ist.

Im ersten Fall wird es möglich sein, eine Evaluation ausgehend von den im eigentlichen Programm festgelegten Grundsätze umzusetzen. Diese Evaluation kann durch ein allgemeineres Konzept ergänzt oder verbessert werden, das zwar nicht im Programm vorgesehen ist, jedoch zur Verbesserung der Bewertung angewendet werden kann. Im zweiten Fall sollte die Evaluation auf den Merkmalen und der Entwicklung des Programms beruhen, Obwohl sie nicht eigentlicher Bestandteil des Programmes selber ist.

Angenommen, ein Programm wird in der direkten Nachbarschaft gestartet, um die Müllrecyclingrate zu erhöhen. Im selben Programm gab es eine Phase über die Folgenabschätzung und -verbesserung, die mit dem Programm erzielt werden kann. In dieser Phase wird

… nach der Anwendung des Programms eine Erhöhung der Recyclingquote um 10% erwartet. Das könnte als wenig erfolgreich angesehen und in anderen Stadtteilen sogar als Fehlschlag gewertet werden, da die betrachtete Nachbarschaft eine eigene Charakteristik hat. Allerdings können in diesem Fall 10% als Erfolg gewertet werden, da im betrachteten Stadtteil, der sich him Spannungsfeld langwierig bestehender sozialen Spannungen bewegt, eine solche Verbesserungen urbaner Stadtentwicklung noch nie erreicht wurden.

Mit einer solchen Interpretation setzt der Evaluator den Prozess die Wirksamkeitskriterien in einen entsprechenden Kontext, der auch von Aspekten außerhalb des Programms beeinflusst wird. Wenn dieser Kontext ausbleibt, können vollkommen verzerrte und unrealistische Bewertungen entstehen. Deshalb ist das Programm im Vorteil, in dessen eigentlichen Setup die Evaluation enthalten ist.

Unabhängig davon, ob es im Programm enthalten ist oder nicht, muss bei der Durchführung einer Evaluierung immer berücksichtigt werden, welche Lösungen vorgeschlagen und welche Alternativen dazu genannt werden. Damit besteht die Möglichkeit, den jeweils effektiveren Weg auszuwählen.

Der Erfolg einer Evaluation

Der Erfolg einer Evaluierung hängt in hohem Maße von der Prozessplanung und -organisation ab. Essentiell ist, dass in der Planung das Sammeln von Informationen berüchtigt wird. Das Evaluierungsteam muss so bald wie möglich über die Datenerfassungstermine (sowohl Initialen als auch gegebenenfalls später) verfügen und sicherstellen, dass das Verfahren zur Erfassung der Daten (Fragebögen, Beobachtungen, Tests usw.) angewendet wird und entsprechende Autorisierungen dafür vorliegen.

Nach dem Sammeln der Informationen verfügt der Bewerter über sensible Daten, die der Verschwiegenheit unterliegen. Wie bei jeder anderen Art von personenbezogenen Daten unterliegen auch die Daten, gesetzlichen Datenschutzbestimmungen sowie gewissen Ethik-Codecs von Evaluatoren. Ein adäquates Speichersystem zusammen mit der absoluten Vertraulichkeitsgarantie sind zwei wesentliche Anforderungen, die der Evaluator in Bezug auf die personenbezogenen Daten benötigt.

Unmittelbar nach Erhalt der Informationen wird mit der Analyse begonnen. Dies geschieht unter Einhaltung der Bewertungsziele und der Anforderungen an die Evaluation.  Die Art der Analyse und die verwendeten technischen Ressourcen hängen von den Merkmalen der Daten, den Merkmalen des Programms, den für die Bewertung verfügbaren Ressourcen usw. ab.

In einer Programmevaluation können die erhobenen Daten sowohl qualitativ (textuell) als auch quantitativ (numerisch) sein. Ebenso ist es möglich, die Analyse qualitativ (Bewertung der Informationsqualität) oder quantitativer (Bewertung der ermittelten Maßnahmen) durchzuführen. Wenn beide Möglichkeiten gekreuzt sind, werden vier Analysekategorien benannt:

• qualitative Analyse qualitativer Daten
• qualitative Analyse quantitativer Daten
• quantitative Analyse qualitativer Daten
• quantitative Analyse quantitativer Daten

Reporting

Schließlich muss das Bewerterteam alle seine Arbeiten in den entsprechenden Bericht übersetzen. Abhängig von den wissenschaftlichen Anforderungen an die Evaluatoren oder anderer Zielgruppen, für die der Bericht erstellt wird, wird dieser in dem einen oder anderen Format verfasst. Es wird demnach nicht ein und derselbe Bericht für bspw. die Eltern von Schülern, Lehrergremium, Supervisionsteam oder etwa Politiker des Bildungsministeriums verfasst. Trotz der unterschiedlichen Möglichkeiten, den Bericht zu übernehmen und auch der unterschiedlichen Ausdrucksstile, lassen sich die Berichte in einer allgemeinen Struktur zusammenfassen, die ein Deckblatt, eine Zusammenfassung, Informationen zum evaluierten Programm, die Evaluierungsmethode und die erzielten Ergebnisse enthält. Die Diskussion, die sich aus den Ergebnissen ableiten lässt, endet mit einer Reihe von Schlussfolgerungen und Empfehlungen.

«  Exercise!

Erzählen Sie es Ihren Eltern (oder Ihrem Partner). Stellen Sie sich vor, wie Sie gefragt werden, was Sie in diesem Kurs tun. Dabei haben Sie sie doch bestimmt die Idee, ihnen von einer Programmevaluierung zu erzählen, oder? Wenn Sie das tun, wird Er / sie Sie anstarren und fragen, bitte erkläre genauer, was eine Evaluation ist.

Versuchen Sie so zu erklären, als hätte er / sie noch nie von Evaluationen gehört und auch sonst keine Beziehung dazu. Notieren Sie die Erklärung.

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.