Basiskonzepte
Viele Konzepte und Strategien aus unterschiedlichen Quellen werden in akademischen Bereichen der Programmevaluierung verwendet. In diesem Abschnitt werden wir einige von ihnen aufzeigen und durch Aufgaben und Übungen greifbar machen.
CIPP Modell
Das CIPP-Modell von Stufflebeam ist ein äußerst nützlicher Ansatz, um die Evaluierung von Programmen zu organisieren.
Alles, was wir im CIPP-Modell über Context, Input, Process, Product, Aktionen, Ziele und Ergebnisse zu sagen haben, basiert auf den Grundwerten unserer Bildungsorganisation und bezieht sich darauf.
Es ist die Aufgabe des Managements und des Vorstands einer Bildungsorganisation, gemeinsam mit dem Team und den Stakeholdern die Grundwerte zu formulieren. Für INTENSE finden sich die Grundwerte in der Charta, dem Trainingsprogramm für Transition Coaches, Diskussionen mit Stakeholdern und dem Transition Plan für die Organisation. Siehe unten.
Um mehr Einblick in die Anwendung des Modells zu bekommen empfehlen wir den folgenden Artikel aufmerksam durchzuarbeiten:
http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482
« Übung!
Suchen Sie weitere Informationen zum CIPP-Modell im Internet. Erstellen Sie eine eigene kurze Zusammenfassung des CIPP-Modells.
Contribution Analysis
“Questions of cause and effect are critical to assess the performance. When it is not practical to develop a project to assess the performance, contribution analysis can provide credible assessments of cause and effect. Verifying the theory of change that the programme is based on and paying attention to other factors that may influence the outcomes, provides reasonable evidence about the contribution being made by the programme.”
John Mayne
Contribution Analysis: An approach to exploring cause and effect. 2008
Es ist nicht beabsichtigt, eine direkte Kausalität zu beweisen. In der komplexen sozialen Welt, in der wir arbeiten, ist es unwahrscheinlich, dass eine Intervention den einzigen Einfluss auf bestimmte Ergebnisse hat. Daher müssen wir ein ATTRIBUTION PROBLEM formulieren. Inwieweit werden Ergebnisse aufgrund von Programmaktivitäten beobachtet?
Die Contribution Analysis ist ein strukturierter Ansatz, um zu verstehen, inwieweit beobachtete Ergebnisse eine Konsequenz einer bestimmten Intervention sind, im Vergleich zu anderen Faktoren. In der komplexen sozialen Welt, in der wir arbeiten, ist es unwahrscheinlich, dass eine Intervention den einzigen Einfluss auf bestimmte Ergebnisse hat.
Die Beitragsanalyse konzentriert sich auf das Verständnis, warum die beobachteten Ergebnisse aufgetreten sind, welche Rolle die Aktivität spielt und auf andere interne und externe Faktoren. Indem Sie Beweise für eine Argumentationslinie (eine Theory of Change) sammeln und vorlegen, können Sie eine vernünftige Schlussfolgerung ziehen. Es gibt sechs sich wiederholende Schritte in der Contribution Analysis. Jeder Schritt baut die Contribution Story auf und legt die Schwachstellen in der vorherigen Phase offen. Siehe unten.
« Step 1. Stellen Sie das zu behandelnde Attributionsproblem dar.
Dieser Schritt ist notwendig, um die verschiedenen Fragen zu formulieren.
- Bestätigen Sie das Problem. Ein fundamentaler Fehler ist, dass wir andere oft scharf beurteilen, während wir uns selber nicht an den gleichen Maßstäben messen, indem wir unser eigenes (unethisches) Verhalten rationalisieren. In dieser Analyse muss man sich immer diesen Fehlers vor Augen führen.
- Bestimmen Sie die spezifische Ursache-Wirkung-Frage, die damit adressiert wird.
- Bestimmen Sie das erforderliche Vertrauensniveau.
- Informieren Sie sich über die Art des erwarteten Beitrags
- Bestimmen Sie die anderen wesentlichen Einflussfaktoren
- Beurteilen Sie die Plausibilität des erwarteten Beitrags in Bezug auf den Umfang des Programms
« Step 2. Entwickeln Sie die Theory of Change. (ToC)
Dieser Schritt zusammen mit der Resultchain sind die Schlüsselinstrumente der Analyse. Die ToC und die Ergebniskette stehen also in direktem Zusammenhang zueinander.
Jede Intervention mittels eines Projekts (INTENSE) basiert auf Annahmen darüber, was das Projekt (durch Interventionen) bewirken wird. Eine Theory of Change ist also eine Erklärung dafür, warum wir glauben, dass Ihr Projekt zu positiven Ergebnissen führen wird.
Wenn eine Organisation eine Theory of Change erstellen möchte, muss man sich einige Gedanken machen:
- Was sind die Voraussetzungen, um die Ziele von INTENSE zu verwirklichen?
- Was sind die Risiken?
Darstellung der ToC:
- Bestimmen Sie den Detaillierungsgrad
- Bestimmen Sie den erwarteten Beitrag des Programms
- Führen Sie die Annahmen auf, die der ToC zugrunde liegen
- Berücksichtigen Sie auch andere Faktoren, die das Ergebnis beeinflussen können
- Bestimmen Sie, wie viel die ToC angefochten wird
- Wie kann eine Kausalkette in Bezug auf die ToC realisiert werden?
- Formulieren Sie die Kausalkette in Bezug auf Inputs – Aktivitäten – Outputs – (Zwischen-) Ergebnisse und Endeffekte.
« Step 3: Sammeln Sie unterstützende Beweise für die Theory of Change.
Bewerten Sie die Logik der Verknüpfungen in der ToC. Die Prüfung der Stärken und Schwächen der Logik, der Plausibilität der verschiedenen Annahmen in der Theorie und des Ausmaßes, in dem sie bestritten werden, liefern Hinweise, wo konkrete Beweise am dringendsten benötigt werden. Sammeln Sie die Beweise. Die Bestätigung der ToC ist zwingend in drei Bereichen erforderlich: Beobachtete Ergebnisse, Annahmen zur ToC und andere Einflussfaktoren.
- Belege für Ergebnisse und Aktivitäten
- Belege für Annahmen
- Hinweise auf andere Einflussfaktoren
« Step 4: Welchen Beitrag leistet die ToC und welche Herausforderungen enstehen? – Bewerten Sie diese.
Die bisher entwickelten Beiträge zur Zielerreichung können nun zusammengestellt und kritisch bewertet werden. In dieser Phase sind noch weitere Fragen zu stellen. Einige wichtige Beispiele:
- Wie glaubwürdig ist das Konstrukt insgesamt?
- Welche Glieder in der Ergebniskette sind stark?
- Stimmen die Stakeholder dem Konzept / Konstrukt zu?
- Ist klar, welche Ergebnisse erzielt wurden?
- Sind wichtige Annahmen validiert?
« Step 5. Suchen Sie nach zusätzlichen, externen Beweisen.
- Identifizieren Sie, welche neuen Daten benötigt werden.
- Justieren sie die ToC.
- Sammeln Sie weitere Beweise.
« Step 6. Hinterfragen Sie und schärfen Sie den Blick auf die Beiträge zur Zielerreichung (ToC).
- Neue Beweise werden ein glaubwürdigeres Konstrukt schaffen.
- Unterstützung der schwächeren Teile der früheren Version oder Änderungsvorschläge für die aktuelle ToC.
- Es ist unwahrscheinlich, dass die überarbeitete ToC narrensicher sein wird, aber sie wird stärker und glaubwürdiger.
Die Contribution Analysis funktioniert am besten als sich wiederholender Kreislauf. Dabei ist es möglich, zu einen bestimmten Punkt im Kreislauf zurückzukehren und ggf. die Stärken und Schwächen der Beiträge neu bewerten.
Einen differenzierten Einblick in die ToC des Projektes INTENSE liefert die nachfolgende Grafik. Sie ist zentraler Bestandteil des Evaluationsdesigns und damit Basis ToC für alle individuell entwickelten ToCs der Partner.
Quelle: University of Malaga
Um Informationen und Daten zu sammeln, können abhängig vom Partner, der sie auswählt, die folgenden Instrumente verwendet werden:
- Offizielle Statistiken
- Offizielle Berichte
- Interviews
- Fragebögen oder Umfragen
- Skalen und Diagramme
- Auswertungen von Testverfahren
- Beobachtungen: Selbstbericht, Diaries, Fallstudien, Checklisten.
Für weiterführenden Input lesen Sie bitte die folgenden Artikel:
- https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
- https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf
OECD Kriterien
Ein weiteres wichtiges Element sind die Kriterien, die als Leitfaden für die Durchführung der Evaluation dienen. Die Abteilung DAC-OECD hat eine Reihe von Kriterien erarbeitet, die als Aktivitäten vorgeschlagen werden. Bitte lesen Sie die Bewertungskriterien des DAC-OECD.
https://www.oecd.org/development/evaluation/qualitystandards.pdf
Theory of change
“Every intervention in an organization is based on assumptions that together form a theory. The Theory of Change approach tests the theory of performers – because nothing is as practical as a good theory.” (Erik Snel, 2013)
Die unten gezeigte Ergebniskette visualisiert den seriellen Zusammenhang hinter der Theorie of Change (ToC), die lt. Wikipedia
“… explains the process of change by outlining causal linkages in an initiative, i.e., its shorter-term, intermediate, and longer-term outcomes. The identified changes are mapped – as the “outcomes pathway” – showing each outcome in logical relationship to all the others, as well as chronological flow. The links between outcomes are explained by “rationales” or statements of why one outcome is thought to be a prerequisite for another”.
Die ToC beschreibt parallel auch den Verlauf des Implementierungsprozesses. Der Plan den man daraus erstellen kann, ist sozusagen der Leitfaden für eine erfolgreiche Umsetzung. Er hilft auch, die Denkweise der Menschen in einer Organisation zu ändern und einen gemeinsam getragenen Prozess zu etablieren. Bekanntlich ändert sich ohne ein Umdenken, das in den Menschen stattfindet, nichts.
Ein erfolgreicher Umsetzungsprozess hängt von vielen Faktoren ab, wie angemessener Schulung, theoretischem Wissen, Unterstützung durch das Management, vor allem aber von einem klaren Bekenntnis zum Wandel. Wenn diese Verpflichtung nicht besteht, ist es fast unmöglich, INTENSE als Gesamtkonzept oder in Teilen umzusetzen.
Für weiterführende Informationen und Input sehen Sie sich das folgende Video an:
« Übung!
Antworten Sie kurz auf die Frage – Ihrer Meinung nach: Welche Rolle kann die Theory of Change in Ihrer Arbeit als Coach spielen?
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License
The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.