Vertiefungswissen anzeigenVertiefungswissen verbergenMODELO CIPP y MODELO DE LA CONTRIBUCIÓN ANÁLISIS
El modelo Stufflebeam CIPP es una forma muy útil de organizar la evaluación de los programas.
Todo lo que tenemos que decir en el modelo CIPP sobre Contexto, Entrada, Proceso, Producto, acciones, metas y resultados se basa en los VALORES CENTRALESde nuestra organización educativa y vuelve a ello.
Es la tarea de la gerencia y la junta de una organización educativa formular los valores centrales junto con el equipo y las partes interesadas. Para INTENSE, los valores centrales se pueden encontrar en la CARTA, el programa de capacitación para ENTRENADORES DE TRANSICIÓN, DISCUSIONEScon las partes interesadas y el PLAN DE TRANSICIÓNpara la organización. Vea abajo.
Para obtener más información sobre la aplicación del modelo, recomendamos leer detenidamente el siguiente artículo:
http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482
MODELO DE LA CONTRIBUCIÓN ANÁLISIS
“Las preguntas de causa y efecto son críticas para evaluar el desempeño. Cuando no es práctico desarrollar un proyecto para evaluar el desempeño, el análisis de contribución puede proporcionar evaluaciones creíbles de causa y efecto. Verificar la teoría del cambio en la que se basa el programa y prestar atención a otros factores que pueden influir en los resultados, proporciona evidencia razonable sobre la contribución que realiza el programa “.
John Mayne
Contribution Analysis: An approach to exploring cause and effect. 2008
Para ser claros: no se pretende probar la causalidad directa. Sería poco probable en el complejo mundo social en el que trabajamos que cualquier intervención sea la única influencia en resultados particulares. Por lo tanto, debemos formular un PROBLEMA DE ATRIBUCIÓN. ¿En qué medida se observan los resultados debido a las actividades del programa?
El análisis de contribución es un enfoque estructurado para comprender en qué medida los resultados observados son una consecuencia de una actividad particular, a diferencia de otros factores. No tiene la intención de probar la causalidad directa. Sería poco probable en el complejo mundo social en el que trabajamos que cualquier intervención sea la única influencia en resultados particulares.
El análisis de contribución se centra en aumentar la comprensión de por qué se han producido los resultados observados, los roles desempeñados por la actividad y otros factores internos y externos. Al reunir y proporcionar evidencia en torno a una línea de razonamiento (una teoría del cambio), se puede llegar a una conclusión razonable. Hay seis pasos iterativos (repetitivos) en el análisis de Contribución. Cada paso construye la HISTORIA DE CONTRIBUCIÓNy aborda las debilidades en la etapa anterior. Vea abajo.
Paso 1. Establezca el problema de atribución que se abordará.
Este paso es necesario para formular todas las diferentes preguntas.
- Reconocer el problema de atribución. El error de atribución fundamental explica por qué a menudo juzgamos a los demás con dureza y, al mismo tiempo, nos liberamos al racionalizar nuestro propio comportamiento (poco ético). En el Análisis de contribución, uno debe estar siempre atento al error de atribución.
- Determinar la pregunta específica de causa-efecto que se está abordando.
- Determinar el nivel de confianza requerido.
- Explore el tipo de contribución esperada
- Determinar los otros factores influyentes clave
- Evaluar la plausibilidad de la contribución esperada en relación con el tamaño del programa.
Paso 2. Desarrollar la teoría del cambio. (ToC)
Este paso junto con la cadena de resultados son las herramientas clave del análisis de contribución. El ToC y la cadena de resultados están directamente relacionados entre sí.
Cada intervención por medio de un proyecto (INTENSO) se basa en suposiciones sobre lo que traerá el proyecto (por intervenciones). Entonces, una teoría del cambio es una explicación de por qué cree que su proyecto conducirá a resultados positivos. Cuando una organización quiere crear una Teoría del Cambio, uno debe pensar en algunos pensamientos:
1. ¿Cuáles son los supuestos para alcanzar los objetivos de INTENSE?
2. ¿Cuáles son los riesgos?
Representando un ToC:
- Determinar el nivel de detalle.
- Determinar la contribución esperada del programa.
- Enumerar los supuestos subyacentes al ToC
- Incluir la consideración de otros factores que pueden influir en los resultados.
- Determinar cuánto se disputa el ToC
3. ¿Cómo realizar una cadena de resultados en relación con el ToC?
4. Formule la cadena de resultados en términos de insumos – actividades – productos – resultados (intermedios) y, al final, impactos
Paso 3: Reúna la evidencia existente sobre la Teoría del Cambio
Evaluar la lógica de los enlaces en el ToC. Al revisar las fortalezas y debilidades de la lógica, la verosimilitud de los diversos supuestos en la teoría y la medida en que se cuestionan, dará una buena indicación de dónde se necesitan más pruebas concretas. Reúna la evidencia. Se necesita evidencia para validar la teoría del cambio en tres áreas: resultados observados, suposiciones sobre la teoría del cambio y otros factores influyentes.
- Evidencia de resultados y actividades.
- Evidencia sobre supuestos
- Evidencia sobre otros factores influyentes.
Paso 4: Reúna y evalúe la historia de contribución y los desafíos a la misma.
La historia de la contribución, tal como se desarrolló hasta ahora, ahora se puede reunir y evaluar críticamente. Hay preguntas que hacer en esta etapa. Algunos ejemplos significativos:
- ¿Cuán creíble es la historia en general?
- ¿Qué eslabones de la cadena de resultados son fuertes?
- ¿Están de acuerdo las partes interesadas con la historia?
- ¿Está claro qué resultados se han logrado?
- ¿Se validan los supuestos clave?
Paso 5. Busque evidencia adicional.
- Identifique qué datos nuevos se necesitan.
- Ajuste el ToC.
- Reúne más evidencia.
Paso 6. Revisar y fortalecer la historia de Contribución.
- Nueva evidencia construirá una historia de contribución más creíble.
- Apoyando las partes más débiles de la versión anterior o sugiriendo modificaciones al ToC.
- Es poco probable que la historia revisada sea infalible, pero será más fuerte y más creíble.
El análisis de contribución funciona mejor como un proceso repetitivo. Por lo tanto, en este punto, el análisis puede volver al Paso 4 y reevaluar las fortalezas y debilidades de la historia de contribución.
El siguiente gráfico proporciona una visión diferenciada del ToC del proyecto INTENSE. Es un componente central del diseño de la evaluación y, por lo tanto, el ToC básico para todos los ToC desarrollados individualmente por los socios.
Fuente: University of Málaga
Para recopilar información y datos, se pueden utilizar los siguientes instrumentos, según el socio que los elija:
- estadísticas oficiales
- Informes oficiales
- entrevistas
- Cuestionario o encuesta
- Escalas y gráficos
- Pruebas
- Observación: autoinforme, diarios, lista de verificación.
Para obtener más información, lea los siguientes documentos:
- https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
- https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf
CRITERIOS DE LA OECD
Otro elemento importante son los criterios utilizados para guiar la evaluación. El departamento DAC-OCDE ha desarrollado un conjunto de criterios que se proponen como actividades. Lea los criterios de evaluación del DAC-OCDE.
https://www.oecd.org/development/evaluation/qualitystandards.pdf