INTRO

Een ontwerp is een actieplan voor de stappen die moeten worden uitgevoerd in de evaluatie om veranderingen in het geëvalueerde systeem te identificeren. De evaluatie kan drie scenario’s specificeren die bepalen welk type ontwerp moet worden gebruikt. De eerste twee zijn gebaseerd op de veronderstelling dat groepen vergelijkbaar zijn. Het derde is een alternatief wanneer vergelijking van groepen onmogelijk is:

EERSTE SCENARIO: gerandomiseerde gecontroleerde studies. Dit zijn ontwerpen die worden uitgevoerd wanneer u volledige controle hebt over de lancering van het programma en de deelnemers. Dit omvat de controle over de uitvoeringstijden van het programma, de selectie van deelnemers, de toewijzing aan verschillende versies of modaliteiten van het programma, de door hen gebruikte middelen, enz. In dit geval is het ontwerp typisch voor het gebied van experimenteel onderzoek.

TWEEDE SCENARIO: Niet gerandomiseerde groepontwerpen. Als het niet mogelijk is om volledige controle over het programma of de deelnemers te hebben, moet de controle over eerdere ontwerpen worden opgegeven. Dit zijn situaties waarin u evaluatieplannen kunt ontwikkelen die qua vorm en organisatie vergelijkbaar zijn met de bovengenoemde. Aangezien er echter geen volledige controle is, moeten de resultaten met voorzichtigheid worden overwogen. Met andere woorden, hoewel het ontwerp op het eerste scenario lijkt, bedreigt het onvermogen om alle aspecten van het proces te beheersen de geldigheid van de resultaten. Om deze reden moeten de genoemde resultaten tamelijk kritisch worden geëvalueerd en moeten aanvullende manieren worden gevonden om betrouwbare resultaten te bereiken.

DERDE SCENARIO: Coherentiestudies. Het is een scenario waarin er geen garantie is dat er controle is over de verschillende en belangrijke elementen. Deze studies zijn specifiek op zoek naar alternatieven die onafhankelijk zijn van de vergelijking van maatregelen tussen 2 of meer groepen.

Deze drie scenario’s kunnen worden georganiseerd met behulp van twee basisbenaderingen:

COUNTERFACTUELE ONTWERPEN: Ze bestaan uit ontwerpen die feitelijke groepen gebruiken. Een feitelijke of contrafeitelijke groep is de groep die het programma niet gebruikt, maar qua kenmerken exact overeenkomt met de groep waarop het wordt toegepast. Binnen deze ontwerpen zijn herhaal-gecontroleerde studies het meest effectief. In de gedifferentieerde toepassing kunnen delen ook worden georganiseerd als niet-willekeurige groepstekens, hoewel ze minder betekenisvol zijn.

NIET-COUNTERFACTUELE ONTWERPEN: dit zijn die waar u niet kunt vertrouwen op groepsgerelateerde feiten en daarom is een vergelijking tussen groepen niet mogelijk. Dit soort ontwerp omvat samenhangende ontwerpen.

OORZAKELIJKE ATTRIBUTIE

Een van de basiselementen van het ontwerp is het verkrijgen van de causale toeschrijving voor het programma. Lees het volgende document voor meer informatie: https://www.unicef-irc.org/publications/751-overview-strategies-for-causal-attribution-methodological-briefs-impact-evaluation.html

«  Oefening!

1. Een programma om agressiviteit te beheersen wordt uitgevoerd in een detentiecentrum met acceptabele resultaten. Niettemin werd besloten om een ​​ander programma te starten op basis van wederzijdse aandacht. Om de effectiviteit van dit nieuwe programma ten opzichte van het andere te controleren, werd een groep deelnemers geselecteerd. Geef aan welk evaluatieontwerp kan worden gebruikt en onderbouw uw antwoord.
2. Een leraar Engels gebruikt een nieuwe methode die gebaseerd is op het werken met leraren uit andere onderwerpen. Met de docent economie en sociale studies ontwikkelen ze bijvoorbeeld de budg-et van een fictief bedrijf in het Engels. Stel je voor dat je je moet registreren bij de studentengroep om relevante gegevens te verzamelen. De cursus duurt een heel semester en je hebt de toestemming nodig van de schooladministratie, de leraren en de deelnemende studenten. Maak op basis van deze informatie een ontwerpvoorstel voor de evaluatie waarbij rekening wordt gehouden met het feit dat met meer dan één student contact kan worden opgenomen om de gegevens te verzamelen. Motiveer uw suggestie kort.
3. Stel je voor dat je in het immigratiecentrum werkt en probeert je werkprocedure aan te passen aan de onlangs goedgekeurde voorschriften. Uw perceptie is dat de introductie van dit schema zal leiden tot een verslechtering van de aandacht van gebruikers. Bovendien lijkt de verwerkingstijd aanzienlijk te zijn toegenomen tot de validatie van de gebruikersdocumentatie. Evenzo is het aantal gebruikers per maatschappelijk werker met gemiddeld 3 personen toegenomen. Geef met het oog op deze situatie aan welk evaluatieontwerp u zou kunnen gebruiken om deze situatie de facto ongedaan te maken en uw voorstel te rechtvaardigen.

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License

The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.