Para resumir los aspectos más relevantes de una evaluación, hemos creado el "Cuadro de mando metaevaluativo" que revela lo ocurrido durante la evaluación, utilizando como fuente el propio informe de evaluación. El Cuadro de Mando presenta visualmente la información facilitada en el informe sobre las opciones metodológicas adoptadas. Tras un análisis exhaustivo y un proceso de síntesis profunda, se han seleccionado los elementos más importantes de una metodología de evaluación. Este Cuadro de Mando ha sido concebido para ser lo más genérico posible, pero tiene el potencial de personalizarse en función de sus necesidades.
Evaluación de la complejidad
Según Patricia Rogers, la complejidad -o simplicidad- de una intervención y su contexto puede definirse a partir de 7 cuestiones: Enfoque- ¿Existen múltiples objetivos (complicado) u objetivos emergentes (complejo)? Implicación- ¿Hay múltiples responsables de la toma de decisiones (complicado) o es flexible y cambiante (complejo)? Coherencia - ¿Existe una entrega estándar simple) o necesita adaptarse al contexto de forma que pueda identificarse de antemano (complicado) o sólo pueda conocerse a través de la implementación (complejo)? Necesidad: ¿es la intervención la única forma de lograr los efectos previstos?
Escáner de participación
Los informes de evaluación suelen declarar con orgullo que han seguido un enfoque participativo. Sin embargo, la participación tiene muchos niveles y muchas capas. Definidas las principales partes interesadas que podrían participar en el ejercicio de evaluación, trazamos un mapa de su implicación en cada una de las fases de la evaluación. Los tonos más oscuros indican mayores niveles de responsabilidad. Con este escaneo de la participación, el Cuadro de Mando puede mostrar qué partes interesadas participaron en cada una de las fases de la evaluación y en qué medida (dirigiendo o simplemente como informantes) han participado realmente.
Exploración de métodos mixtos
Para determinar los métodos y técnicas realmente utilizados, el panel muestra el número de técnicas empleadas en cada fase. Se muestran en relación con todo el marco temporal de la evaluación, para evaluar fácilmente cómo estas técnicas se complementan entre sí, y cómo se utilizan métodos mixtos (multimétodos) o un monométodo. Este ejemplo sólo incluye iconos de algunos de los métodos más utilizados, pero podrían emplearse otros métodos y se indicarían en consecuencia mediante sus iconos.
Decisiones de muestreo
Casi todos los estudios de evaluación tienen que tomar algunas decisiones en cuanto al muestreo, ya que sería rentable llegar a toda la población de informantes potenciales. Para dar una imagen cuantitativa de estas decisiones, el cuadro de mando recoge el número estimado de fuentes potenciales. Posteriormente refleja el número de cada tipo de fuente que ha sido finalmente consultado por los evaluadores. Finalmente representa su %. También muestra si ha sido un muestreo intencional o aleatorio, como es habitual, según el informe de evaluación.
Pruebas creíbles
En consecuencia, para evaluar el grado de credibilidad de las pruebas encontradas, debe adoptarse una mezcla de estrategias alternativas para estar razonablemente seguros de que las conclusiones reflejan la realidad. No todas son necesarias, pero la mezcla debe ser complementaria y convincente de la causalidad o la inferencia causal. Basado en: Davidson, J. & Rogers, P. (2010) Causal inference for program theory evaluation http://genuineevaluation.com/causal-inference-for-program-theory-evaluation/
Síntesis evaluativa
Inspirada en Jane Davidson, ésta es una de las características más singulares que diferencian una evaluación de un estudio de investigación. Disponer de una síntesis evaluativa, entendida como un juicio sistemático, es la esencia de la evaluación. Muchas evaluaciones hacen esto hasta cierto punto, -definir los criterios y preguntas de evaluación-, pero niveles más altos de síntesis evaluativa requerirían definir qué es "bueno" en cada contexto particular y las pruebas que demostrarían cada elemento, lo que no es tan común. Fuente: Davidson, J. (2014) Es el núcleo mismo de la evaluación y hace o deshace
Normas de evaluación
Se ha recopilado una mezcla de diferentes normas y códigos de conducta que definen aspectos clave que deben tenerse en cuenta y, al mismo tiempo, pueden comprobarse fácilmente como comportamientos específicos.
