Pour résumer les aspects les plus pertinents d'une évaluation, nous avons créé le "tableau de bord méta-évaluatif" qui révèle ce qui s'est passé pendant l'évaluation, en utilisant le rapport d'évaluation lui-même comme source. Le tableau de bord présente visuellement les informations données dans le rapport sur les choix méthodologiques effectués. Après une analyse approfondie et un processus de synthèse profond, les éléments les plus importants d'une méthodologie d'évaluation ont été sélectionnés. Ce tableau de bord a été conçu pour être aussi générique que possible, mais il peut être personnalisé en fonction de vos besoins.
Évaluation de la complexité
Selon Patricia Rogers, la complexité - ou la simplicité - d'une intervention et de son contexte peut être définie par 7 questions : Objectif - Y a-t-il des objectifs multiples (compliqué) ou des objectifs émergents (complexe) ? Implication - Y a-t-il plusieurs décideurs (compliqué) ou est-ce flexible et changeant (complexe) ? Cohérence - Existe-t-il une norme d'exécution simple ou faut-il l'adapter au contexte d'une manière qui peut être identifiée à l'avance (compliqué) ou qui ne peut être connue qu'au cours de la mise en œuvre (complexe) ?) Nécessité - l'intervention est-elle le seul moyen d'obtenir les effets escomptés ?....
Analyse de la participation
Les rapports d'évaluation déclarent généralement avec fierté qu'ils ont suivi une approche participative. Cependant, la participation comporte de nombreux niveaux et de nombreuses strates. Après avoir défini les principales parties prenantes susceptibles de participer à l'exercice d'évaluation, nous avons cartographié leur implication dans chacune des phases de l'évaluation. Les teintes plus foncées indiquent des niveaux de responsabilité plus élevés. Grâce à cette analyse de la participation, le tableau de bord peut montrer quelles parties prenantes ont été impliquées dans chacune des phases de l'évaluation et dans quelle mesure elles ont effectivement participé (à titre principal ou simplement en tant qu'informateurs).
Analyse des méthodes mixtes
Pour cartographier les méthodes et les techniques réellement utilisées, le tableau de bord affiche le nombre de techniques utilisées dans chaque phase. Celles-ci sont affichées par rapport à l'ensemble du calendrier de l'évaluation, afin d'évaluer facilement la manière dont ces techniques se complètent et comment des méthodes mixtes (multi-méthodes) ou une mono-méthode sont utilisées. Cet exemple ne comprend que les icônes de certaines des méthodes les plus couramment utilisées, mais d'autres méthodes pourraient être utilisées et seraient indiquées en conséquence par leurs icônes.
Décisions d'échantillonnage
Presque toutes les études d'évaluation doivent prendre des décisions en termes d'échantillonnage, car il serait rentable d'atteindre l'ensemble de la population d'informateurs potentiels. Pour donner une image quantitative de ces décisions, le tableau de bord rassemble le nombre estimé de sources potentielles. Il indique ensuite le nombre de chaque type de source qui a finalement été consulté par les évaluateurs. Enfin, il représente son pourcentage. Il indique également s'il s'agit d'un échantillonnage raisonné ou aléatoire, comme d'habitude, selon le rapport d'évaluation.
Preuves crédibles
Par conséquent, pour évaluer la crédibilité des preuves trouvées, il convient d'adopter un ensemble de stratégies alternatives afin d'être raisonnablement sûr que les résultats reflètent la réalité. Toutes ne sont pas nécessaires, mais la combinaison doit être complémentaire et convaincante pour la causalité ou l'inférence causale. Basé sur : Davidson, J. & Rogers, P. (2010) Causal inference for program theory evaluation http://genuineevaluation.com/causal-inference-for-program-theory-evaluation/
Synthèse évaluative
Inspirée par Jane Davidson, c'est l'une des caractéristiques les plus uniques qui différencie une évaluation d'une étude de recherche. La synthèse évaluative, entendue comme un jugement systématique, est l'essence même de l'évaluation. De nombreuses évaluations le font dans une certaine mesure, en définissant les critères et les questions d'évaluation, mais des niveaux plus élevés de synthèse évaluative nécessiteraient de définir ce qui est "bon" dans chaque contexte particulier et les preuves qui démontreraient chaque élément, ce qui n'est pas si courant. Source : Davidson, J. (2014) Davidson, J. (2014) It's very core of evaluation and makes or breaks
Normes d'évaluation
Un ensemble de normes et de codes de conduite a été compilé, définissant des aspects clés qui devraient être pris en compte et qui, en même temps, peuvent être facilement vérifiés en tant que comportements spécifiques.
