Conceptos básicos
Muchos conceptos y estrategias de diferentes fuentes se utilizan en áreas académicas de evaluación de programas. En esta sección, destacaremos algunos de ellos y los haremos tangibles a través de tareas y ejercicios.
MODELO CIPP
El modelo Stufflebeam CIPP es una forma muy útil de organizar la evaluación de los programas.
Todo lo que tenemos que decir en el modelo CIPP sobre Contexto, Entrada, Proceso, Producto, acciones, metas y resultados se basa en los VALORES CENTRALESde nuestra organización educativa y vuelve a ello.
Es la tarea de la gerencia y la junta de una organización educativa formular los valores centrales junto con el equipo y las partes interesadas. Para INTENSE, los valores centrales se pueden encontrar en la CARTA, el programa de capacitación para ENTRENADORES DE TRANSICIÓN, DISCUSIONEScon las partes interesadas y el PLAN DE TRANSICIÓNpara la organización. Vea abajo.
Para obtener más información sobre la aplicación del modelo, recomendamos leer detenidamente el siguiente artículo:
http://openjournals.libs.uga.edu/index.php/jheoe/article/download/628/482
« ¡Ejercicio!
Encuentre más información sobre el modelo CIPP en Internet. Cree su propio resumen breve del modelo CIPP.
MODELO DE LA CONTRIBUCIÓN ANÁLISIS
“Las preguntas de causa y efecto son críticas para evaluar el desempeño. Cuando no es práctico desarrollar un proyecto para evaluar el desempeño, el análisis de contribución puede proporcionar evaluaciones creíbles de causa y efecto. Verificar la teoría del cambio en la que se basa el programa y prestar atención a otros factores que pueden influir en los resultados, proporciona evidencia razonable sobre la contribución que realiza el programa “.
John Mayne
Contribution Analysis: An approach to exploring cause and effect. 2008
Para ser claros: no se pretende probar la causalidad directa. Sería poco probable en el complejo mundo social en el que trabajamos que cualquier intervención sea la única influencia en resultados particulares. Por lo tanto, debemos formular un PROBLEMA DE ATRIBUCIÓN. ¿En qué medida se observan los resultados debido a las actividades del programa?
El análisis de contribución es un enfoque estructurado para comprender en qué medida los resultados observados son una consecuencia de una actividad particular, a diferencia de otros factores. No tiene la intención de probar la causalidad directa. Sería poco probable en el complejo mundo social en el que trabajamos que cualquier intervención sea la única influencia en resultados particulares.
El análisis de contribución se centra en aumentar la comprensión de por qué se han producido los resultados observados, los roles desempeñados por la actividad y otros factores internos y externos. Al reunir y proporcionar evidencia en torno a una línea de razonamiento (una teoría del cambio), se puede llegar a una conclusión razonable. Hay seis pasos iterativos (repetitivos) en el análisis de Contribución. Cada paso construye la HISTORIA DE CONTRIBUCIÓNy aborda las debilidades en la etapa anterior. Vea abajo.
« Paso 1. Establezca el problema de atribución que se abordará.
Este paso es necesario para formular todas las diferentes preguntas.
- Reconocer el problema de atribución. El error de atribución fundamental explica por qué a menudo juzgamos a los demás con dureza y, al mismo tiempo, nos liberamos al racionalizar nuestro propio comportamiento (poco ético). En el Análisis de contribución, uno debe estar siempre atento al error de atribución.
- Determinar la pregunta específica de causa-efecto que se está abordando.
- Determinar el nivel de confianza requerido.
- Explore el tipo de contribución esperada
- Determinar los otros factores influyentes clave
- Evaluar la plausibilidad de la contribución esperada en relación con el tamaño del programa.
« Paso 2. Desarrollar la teoría del cambio. (ToC)
Este paso junto con la cadena de resultados son las herramientas clave del análisis de contribución. El ToC y la cadena de resultados están directamente relacionados entre sí.
Cada intervención por medio de un proyecto (INTENSO) se basa en suposiciones sobre lo que traerá el proyecto (por intervenciones). Entonces, una teoría del cambio es una explicación de por qué cree que su proyecto conducirá a resultados positivos. Cuando una organización quiere crear una Teoría del Cambio, uno debe pensar en algunos pensamientos:
- ¿Cuáles son los supuestos para alcanzar los objetivos de INTENSE?
- ¿Cuáles son los riesgos?
Representando un ToC:
- Determinar el nivel de detalle.
- Determinar la contribución esperada del programa.
- Enumerar los supuestos subyacentes al ToC
- Incluir la consideración de otros factores que pueden influir en los resultados.
- Determinar cuánto se disputa el ToC
- ¿Cómo realizar una cadena de resultados en relación con el ToC?
- Formule la cadena de resultados en términos de insumos – actividades – productos – resultados (intermedios) y, al final, impactos
« Paso 3: Reúna la evidencia existente sobre la Teoría del Cambio
Evaluar la lógica de los enlaces en el ToC. Al revisar las fortalezas y debilidades de la lógica, la verosimilitud de los diversos supuestos en la teoría y la medida en que se cuestionan, dará una buena indicación de dónde se necesitan más pruebas concretas. Reúna la evidencia. Se necesita evidencia para validar la teoría del cambio en tres áreas: resultados observados, suposiciones sobre la teoría del cambio y otros factores influyentes.
- Evidencia de resultados y actividades.
- Evidencia sobre supuestos
- Evidencia sobre otros factores influyentes.
« Paso 4: Reúna y evalúe la historia de contribución y los desafíos a la misma.
La historia de la contribución, tal como se desarrolló hasta ahora, ahora se puede reunir y evaluar críticamente. Hay preguntas que hacer en esta etapa. Algunos ejemplos significativos:
- ¿Cuán creíble es la historia en general?
- ¿Qué eslabones de la cadena de resultados son fuertes?
- ¿Están de acuerdo las partes interesadas con la historia?
- ¿Está claro qué resultados se han logrado?
- ¿Se validan los supuestos clave?
« Paso 5. Busque evidencia adicional.
- Identifique qué datos nuevos se necesitan.
- Ajuste el ToC.
- Reúne más evidencia.
« Paso 6. Revisar y fortalecer la historia de Contribución.
- Nueva evidencia construirá una historia de contribución más creíble.
- Apoyando las partes más débiles de la versión anterior o sugiriendo modificaciones al ToC.
- Es poco probable que la historia revisada sea infalible, pero será más fuerte y más creíble.
El análisis de contribución funciona mejor como un proceso repetitivo. Por lo tanto, en este punto, el análisis puede volver al Paso 4 y reevaluar las fortalezas y debilidades de la historia de contribución.
El siguiente gráfico proporciona una visión diferenciada del ToC del proyecto INTENSE. Es un componente central del diseño de la evaluación y, por lo tanto, el ToC básico para todos los ToC desarrollados individualmente por los socios.
Fuente: University of Málaga
Para recopilar información y datos, se pueden utilizar los siguientes instrumentos, según el socio que los elija:
- estadísticas oficiales
- Informes oficiales
- entrevistas
- Cuestionario o encuesta
- Escalas y gráficos
- Pruebas
- Observación: autoinforme, diarios, lista de verificación.
Para obtener más información, lea los siguientes documentos:
- https://www2.gov.scot/Resource/Doc/175356/0116687.pdf
- https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf
1.1 CRITERIOS DE LA OECD
Otro elemento importante son los criterios utilizados para guiar la evaluación. El departamento DAC-OCDE ha desarrollado un conjunto de criterios que se proponen como actividades. Lea los criterios de evaluación del DAC-OCDE.
https://www.oecd.org/development/evaluation/qualitystandards.pdf
TEORÍA DEL CAMBIO
“Cada intervención en una organización se basa en suposiciones que juntas forman una teoría. El enfoque de la teoría del cambio pone a prueba la teoría de los artistas intérpretes o ejecutantes, porque nada es tan práctico como una buena teoría” (Erik Snel, 2013)
La cadena de resultados que se muestra a continuación visualiza la conexión en serie detrás de Theory of Change (ToC), que según Wikipedia
“… explica el proceso de cambio delineando los vínculos causales en una iniciativa, es decir, sus resultados a corto plazo, intermedio y a largo plazo. Los cambios identificados se mapean, como la” vía de resultados “, mostrando cada resultado en forma lógica relación con todos los demás, así como el flujo cronológico. Los vínculos entre los resultados se explican por “razones” o declaraciones de por qué se cree que un resultado es un requisito previo para otro “.
El ToC también describe en paralelo el curso del proceso de implementación. El plan que puede crear a partir de esto es, por así decirlo, la guía para una implementación exitosa. También ayuda a cambiar la forma en que las personas piensan en una organización y establecer un proceso de colaboración. Como saben, nada cambia sin repensar lo que ocurre en las personas.
Un proceso de implementación exitoso depende de muchos factores, como la capacitación adecuada, el conocimiento teórico, el apoyo a la gestión y, sobre todo, un compromiso claro con el cambio. Si este compromiso no existe, es casi imposible implementar INTENSE como un concepto general o en partes.
Para obtener más información, vea el siguiente video: https://youtu.be/KRptX_DNL2Q
« ¡Ejercicio!
… respondiendo brevemente la siguiente pregunta. En su opinión: ¿cuál puede ser el papel de la teoría del cambio en su trabajo como formador?
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License
The European Commission support for the production of this publication does not constitute an endorsement of the contents which reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.