Veel concepten en strategieën uit verschillende bronnen worden gebruikt in academische gebieden van programma-evaluatie. In deze sectie zullen we enkele daarvan benadrukken en ze tastbaar maken door middel van taken en oefeningen.

CIPP-MODEL

Het Stufflebeam CIPP-model is een zeer handige manier om de evaluatie van programma’s te organiseren.

Alles wat we te zeggen hebben in het CIPP-model over Context, Input, Proces, Product, acties, doelen en resultaten is gebaseerd op de KERNWAARDEN van onze educatieve organisatie en komt daarop terug.

Het is de opdracht voor het management en het bestuur van een onderwijsorganisatie om samen met het team en de stakeholders de kernwaarden te formuleren. Voor INTENSE zijn de kernwaarden te vinden in het CHARTER, het TRAININGSPROGRAMMA voor transitiecoaches, DISCUSSIONS met stakeholders en het TRANSITION PLAN voor de organisatie. Zie hieronder.

Om meer inzicht te krijgen in de toepassing van het model, raden we aan om het volgende artikel zorgvuldig door te nemen:

http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482

«  Oefening!

Meer informatie over het CIPP-model op internet. Maak je eigen korte samenvatting van het CIPP-model.

MODEL VAN DE BIJDRAGEANALYSE

“Vragen over oorzaak en gevolg zijn cruciaal om de prestaties te beoordelen. Wanneer het niet praktisch is om een ​​project te ontwikkelen om de prestaties te beoordelen, kan een bijdrageanalyse geloofwaardige beoordelingen van oorzaak en gevolg opleveren. Het verifiëren van de veranderingstheorie waarop het programma is gebaseerd en aandacht besteden aan andere factoren die de uitkomsten kunnen beïnvloeden, levert redelijk bewijs over de bijdrage die het programma levert. ” John Mayne

Bijdrageanalyse: een benadering om oorzaak en gevolg te onderzoeken. 2008

Voor alle duidelijkheid: het is niet bedoeld als directe causaliteit. In de complexe sociale wereld waarin we werken, is het onwaarschijnlijk dat elke interventie de enige invloed heeft op bepaalde resultaten. Daarom moeten we een ATTRIBUTIEPROBLEEM formuleren. In hoeverre zijn waargenomen resultaten te wijten aan programma-activiteiten?

Bijdrageanalyse is een gestructureerde benadering om te begrijpen in hoeverre waargenomen resultaten een gevolg zijn van een bepaalde activiteit, in tegenstelling tot andere factoren. Het is niet bedoeld om directe causaliteit te bewijzen. In de complexe sociale wereld waarin we werken, is het onwaarschijnlijk dat elke interventie de enige invloed op bepaalde resultaten heeft.

Bijdrageanalyse is gericht op het vergroten van het inzicht in waarom de waargenomen resultaten zijn opgetreden, de rollen die de activiteit speelt en andere interne en externe factoren. Door het verzamelen en leveren van bewijs rond een redenering (een Theory of Change), kan een redelijke conclusie worden getrokken. Er zijn zes iteratieve (herhalende) stappen in Bijdrageanalyse. Elke stap die het BIJDRAGEVERHAAL bouwt en zwaktes in de vorige fase aanpakt. Zie hieronder.

«  Stap 1. Geef aan welk probleem met de toeschrijving moet worden aangepakt.

Deze stap is nodig om alle verschillende vragen te formuleren.

• Erken het toewijzingsprobleem. De fundamentele attributiefout verklaart waarom we anderen vaak hard beoordelen terwijl we onszelf tegelijkertijd van de haak laten gaan door ons eigen (onethische) gedrag te rationaliseren. In Bijdrage Analyse moet men zich altijd bewust zijn van de attributiefout.
• Bepaal de specifieke oorzaak-gevolgvraag die wordt aangepakt.
• Bepaal het vereiste betrouwbaarheidsniveau.
• Ontdek het type bijdrage dat wordt verwacht
• Bepaal de andere belangrijke beïnvloedende factoren
• Beoordeel de plausibiliteit van de verwachte bijdrage in relatie tot de omvang van het programma

«  Stap 2. Ontwikkel de Theory of Change. (TOC)

Deze stap samen met de resultatenketen zijn de belangrijkste hulpmiddelen voor de bijdrageanalyse. De inhoudsopgave en de resultatenketen zijn direct aan elkaar gerelateerd.

Elke interventie door middel van een project (INTENS) is gebaseerd op veronderstellingen over wat het project (door interventies) zal teweegbrengen. Een Theorie van Verandering is dus een verklaring van waarom u denkt dat uw project tot positieve resultaten zal leiden. Wanneer een organisatie een The-ory of Change wil creëren, moet men nadenken over een paar dingen:

1. Wat zijn de veronderstellingen bij het realiseren van de doelstellingen van INTENSE?
2. Wat zijn de risico’s?

Vertegenwoordigt een toC:

• Bepaal het detailniveau
• Bepaal de verwachte bijdrage van het programma
• Maak een lijst van de aannames die aan de ToC ten grondslag liggen
• Neem de overweging van andere factoren op die de uitkomsten kunnen beïnvloeden
• Bepaal hoeveel de ToC wordt betwist

3. Hoe een resultatenketen realiseren in relatie tot de ToC?
4. Formuleer de resultatenketen in termen van inputs – activiteiten – output- (tussen) uitkomsten en aan het einde van de impact.

«  Stap 3: Verzamel het bestaande bewijsmateriaal over de Theory of Change.

Beoordeel de logica van de links in de inhoudsopgave. Een beoordeling van de sterke en zwakke punten van de logica, de plausibiliteit van de verschillende aannames in de theorie en de mate waarin deze worden betwist, zal een goede indicatie geven waar concreet bewijs het meest nodig is. Verzamel het bewijsmateriaal. Bewijs om de veranderingstheorie te valideren is nodig op drie gebieden: waargenomen resultaten, veronderstellingen over de veranderingstheorie en andere beïnvloedende factoren.

• Bewijs van resultaten en activiteiten
• Bewijs op veronderstellingen
• Bewijs van andere beïnvloedende factoren

«  Stap 4: Verzamel en beoordeel het bijdragesverhaal en de uitdagingen daarvoor.

Het bijdrageverhaal, zoals tot nu toe ontwikkeld, kan nu worden samengesteld en kritisch worden beoordeeld. Er zijn nog vragen te stellen in dit stadium. Enkele belangrijke voorbeelden:

• Hoe geloofwaardig is het verhaal in het algemeen?
• Welke schakels in de resultatenketen zijn sterk?
• Zijn stakeholders het eens met het verhaal?
• Is het duidelijk welke resultaten zijn bereikt?
• Zijn belangrijke veronderstellingen gevalideerd?

«  Stap 5. Zoek naar aanvullend bewijsmateriaal.

• Identificeer welke nieuwe gegevens nodig zijn.
• Pas de inhoudsopgave aan.
• Verzamel meer bewijsmateriaal.

«  Stap 6. Herzie en versterk het Contribution-verhaal.

• Nieuw bewijsmateriaal zal een geloofwaardiger bijdrageverhaal bouwen.
• Ondersteuning van de zwakkere delen van de eerdere versie of wijzigingen in de inhoudsopgave voorstellen.
• Het is onwaarschijnlijk dat het herziene verhaal onfeilbaar is, maar het zal sterker en geloofwaardiger zijn.

Bijdrageanalyse werkt het beste als een herhalend proces. Dus op dit punt kan de analyse terugkeren naar stap 4 en de sterke en zwakke punten van het bijdragesverhaal opnieuw beoordelen.

De volgende afbeelding geeft een gedifferentieerd inzicht in de ToC van het project INTENS. Het is een centraal onderdeel van het evaluatieontwerp en daarom Basis-TOC voor alle individueel ontwikkelde TOC’s van de partners.

Bron: University of Málaga

Om informatie en gegevens te verzamelen, kunnen de volgende instrumenten worden gebruikt, afhankelijk van de partner die ze kiest:

• Officiële statistieken
• Officiële rapporten
• Interviews
• Vragenlijst of enquête
• Schalen en grafieken
• Tests
• Observatie: zelfrapportage, dagboeken, checklist.

Lees de volgende documenten voor meer informatie:

• https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
• https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

OESO-CRITERIA

Een ander belangrijk element zijn de criteria die worden gebruikt als leidraad voor de evaluatie. De afdeling DAC-OESO heeft een reeks criteria ontwikkeld die als activiteiten worden voorgesteld. Lees de evaluatiecriteria van de DAC-OESO.

https://www.oecd.org/development/evaluation/qualitystandards.pdf

VERANDERINGSVERWIJZING

“Elke interventie in een organisatie is gebaseerd op veronderstellingen die samen een theorie vormen. De Theory of Change-benadering test de theorie van uitvoerders – omdat niets zo praktisch is als een goede theorie. ”(Erik Snel, 2013)

De onderstaande resultaatketen visualiseert de seriële verbinding achter Theory of Change (ToC), die volgens Wikipedia

“… verklaart het veranderingsproces door causale verbanden in een initiatief te schetsen, dwz de uitkomsten op kortere, middellange en langere termijn. De geïdentificeerde veranderingen worden in kaart gebracht – als het” uitkomstenpad “- waarbij elke uitkomst logisch wordt weergegeven relatie tot alle anderen, evenals chronologische stroom. De links tussen resultaten worden verklaard door “rationales” of verklaringen van waarom de ene uitkomst wordt beschouwd als een voorwaarde voor de andere “.

De ToC beschrijft ook parallel het verloop van het implementatieproces. Het plan dat u hiervan kunt maken, is als het ware de gids voor een succesvolle implementatie. Het helpt ook om de manier waarop mensen in een organisatie denken te veranderen en een samenwerkingsproces op te zetten. Zoals u weet, verandert er niets zonder heroverweging die plaatsvindt bij mensen.

Een succesvol implementatieproces is afhankelijk van vele factoren, zoals een passende training, de theoretische kennis, managementondersteuning en vooral een duidelijke verplichting tot verandering. Als deze verplichting niet bestaat, is het bijna onmogelijk om INTENSE als een algemeen concept of in delen te implementeren.

Bekijk de volgende video voor meer informatie: https://youtu.be/KRptX_DNL2Q

«  Oefening

… door de volgende vraag kort te beantwoorden. Naar jouw mening: wat kan de rol van de Theory of Change in jouw werk als coach zijn?

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.