Intro

Ein Design ist ein Aktionsplan für die in der Evaluation auszuführenden Schritte, um Änderungen in dem bewerteten System zu identifizieren. In der Evaluierung können drei Szenarien angegeben werden, die bestimmen, welche Art von Design verwendet werden soll. Die ersten beiden basieren auf der Annahme, Gruppen miteinander zu vergleichen. Die dritte ist eine Alternative, wenn Vergleichsgruppen unmöglich sind:

Erstes Szenario: Wiederholend-kontrollierte Studien. Dies sind Designs, die ausgeführt werden, wenn Sie die volle Kontrolle über den Start des Programms sowie über die teilnehmenden Personen haben. Dies beinhaltet die Steuerung über die Programmabschlusszeiten, die Auswahl der Teilnehmer, die Zuordnung zu verschiedenen Versionen oder Modalitäten des Programms, die von ihnen verwendeten Ressourcen usw.. In diesem Fall ist das Design typisch für den Bereich der experimentellen Forschung.

Zweites Szenario: Nicht zufällige Gruppendesigns. Wenn es nicht möglich ist, eine vollständige Steuerung über das Programm oder die Teilnehmer zu haben, muss die Kontrolle über frühere Designs aufgegeben werden. Es geht um Situationen, in denen Sie Evaluierungspläne entwickeln können, die in Form und Organisation den vorherigen ähnlich sind. Da jedoch keine vollständige Kontrolle besteht, sollten die Ergebnisse mit Vorsicht betrachtet werden. Mit anderen Worten, obwohl das Design dem ersten Szenario ähnelt, bedroht die Unmöglichkeit, alle Aspekte des Prozesses zu kontrollieren, die Gültigkeit der Ergebnisse. Aus diesem Grund sollten die genannten Ergebnisse eher kritisch bewertet und ergänzende Wege gefunden werden, um gesicherte Resultate zu erzielen.

Drittes Szenario: Kohärenzstudien. Dabei handelt es sich um ein Szenario, in dem nicht garantiert ist, dass Kontrolle über die verschiedenen und bedeutenden Elemente besteht. Mit diesen Studien wird gezielt nach Alternativen gesucht, die unabhängig vom Vergleich der Maßnahmen zwischen 2 oder mehr Gruppen sind.

Diese drei Szenarien lassen sich anhand zweier grundlegender Ansätze organisieren:

Kontrafaktische Designs: Sie bestehen aus Entwürfen, die faktische Gruppen verwenden. Eine faktische oder kontrafaktische Gruppe ist die Gruppe, bei der das Programm nicht angewendet wird, die jedoch in Charakteristika genau der Gruppe entspricht, bei der es angewendet wird. Innerhalb dieser Designs sind wiederholden-kontrollierte Studien am wirkungsvollsten. In der differenzierten Anwendung können auch Teile als nicht zufällige Gruppendesigns organisiert werden, obwohl diese weniger Aussagekraft besitzen.

Nicht kontrafaktische Designs: Das sind solche, bei denen man sich nicht auf gruppenbezogene Fakten verlassen kann und somit der Vergleich zwischen Gruppen nicht möglich ist. Zu dieser Art von Design gehören Kohärenzdesigns.

Kausale Attribution

Eines der Grundelemente der Designs besteht darin, die kausale Attribution für das Programm zu erhalten. Um mehr zu erfahren, lesen Sie bitte das folgende Dokument:

https://www.unicef-irc.org/publications/751-overview-strategies-for-causal-attribution-methodological-briefs-impact-evaluation.html

«  Übungen!

1. Ein Programm zur Kontrolle der Aggressivität wird in einer Haftanstalt mit akzeptablen Ergebnissen durchgeführt. Trotzdem wurde beschlossen, ein weiteres auf gegenseitiger Achtsamkeit basierendes Programm zu starten. Um die Wirksamkeit dieses neuen Programms im Vergleich zu dem anderen zu überprüfen, wurde zufällig eine Gruppe von Teilnehmern ausgewählt. Geben Sie an, welches Evaluationsdesign angewendet werden kann und begründen Sie kurz Ihre Antwort.
2. Ein Englischlehrer verwendet eine neuartige Methode, die auf der Zusammenarbeit mit Lehrern anderer Fächer beruht. Zum Beispiel entwickeln sie mit dem Wirtschafts- und Sozialkundelehrer das Budget eines fiktiven Unternehmens auf Englisch. Stellen Sie sich vor, Sie müssen sich bei der Studentengruppe anmelden, um relevante Daten zu erheben. Der Kurs läuft ein ganzes Semester und Sie benötigen die Einwilligungen der Schulleitung, der Lehrer und der teilnehmenden Schüler. Machen Sie anhand dieser Angaben einen Designvorschlag für die Evaluierung, in dem berücksichtigt wird, dass mehr als ein Schüler für die Erhebung der Daten angesprochen werden kann. Begründen Sie Ihren Vorschlag kurz.
3. Sie arbeiten in der Einwanderungszentrale und versuchen, sich an die kürzlich genehmigten Regelungen anzupassen. Ihrer Wahrnehmung nach hat die Einführung dieser Regelung eine Verschlechterung der Aufmerksamkeit der Nutzer zur Folge. Daneben scheint die Bearbeitungszeit bis zur Validierung der Benutzerdokumentation erheblich zugenommen zu haben. Ebenso hat sich die Anzahl der Nutzer pro Sozialarbeiter um durchschnittlich 3 Personen erhöht. In Anbetracht dieser Situation geben Sie an, welches Evaluierungsdesign Sie anwenden könnten, um diese Situation faktisch zu untersetzen und begründen Sie Ihren Vorschlag.

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.