L'évaluation des projets

1. L'évaluation des projets Source cc-by-SA : Wikimédia Commons

2. Confort de lecture ? • mode 1080p/haute définition • mettre la vidéo en mode « plein écran » • Mettre en pause, varier la vitesse youtube.com/html5 gestiondeprojet.pm • originaux des diapositives • vidéos en téléchargement, • quizz • . Cours distribué sous licenceCreative Commons

3. Objectifs • Au terme de cette formation, vous devez pouvoir : • Établir des termes de référence • Évaluer un projet : • Connaître les « bonnes pratiques » • Des exemples, tirés de projets/organisations sont signalés • Construire et mettre en œuvre des indicateurs d’impact • Comprendre et partager des concepts-clés • (Présentés sur la page suivante) • . Lightbulb Jon Phillips public-domain-photos

4. Vocabulaire de l’évaluation FinalitéMoyensRestitution Termes de référencecritères Objectifs/Résultats buts suivi-capitalisation Effets Impact prévu/réel Objectifs Situation de départ Indicateurs • .

5. Le cycle des opérations Décision sur la manière d’utiliser les résultats dans les projets futurs Domaines prioritaires, Objectifs globaux Plan Stratégique Programmation Rapport d’évaluation, Livraison Identification Décision de continuer ou de réorienter le projet (évaluations intermédiaires) Cadre logique, Termes de référence Formulation Mise en œuvre • . Etude de montage Rapports d’avancement Lancement Adapté de : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt Décision de financement

6. Sommaire Fondamentaux de l’évaluation Le processus d’évaluation Les termes de référence : l’exemple d’IFADEM Évaluer l’impact en mettant en œuvre des indicateurs Critères de réussite, bonnes pratiques

7. Fondamentaux de l’évaluation Source cc-by-SA : Wikimédia Commons

8. Effets Impact • . Action Résultats Effets Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

9. Définitions Résultats = changements produits directement par l’action • A comparer avec les objectifs formalisés avant le lancement du projet. Effets = incidences directes et indirectes de l’action • Résultats de l’action mais aussi d'autres dynamiques / contraintes provenant du milieu (physique et humain). • Les effets peuvent être anticipés, mais avec une marge d’incertitude • p.e. objectifs propres des populations . Impact = changement à la suite de l’action • Prévoir l’impact présente encore plus de difficultés, car de nombreux facteurs extérieurs au projet. • Le temps est également un facteur, car l'impact se juge à terme • .

10. Effets Impact Action Résultats • . Effets

11. L'évaluation des résultats Au vu des objectifs initiaux de l’action, comparer : • les objectifs définis • .. et les résultats atteints Deux visions : • quantitative : écart chiffré entre le prévu et le réalisé (p.e. 3 puits construits au lieu de 4) • qualitative : différence de nature entre le prévu / réalisé (p.e. un forage au lieu d’un puit) • .

12. . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

13. Effets Impact Action Résultats • . Effets

14. L'évaluation des effets L’évaluation des effets porte sur l’interaction entre l’action et l’environnement du projet. • Le public concerné par les effets est plus large que le public-cible de l’action • Les stratégies menées par les personnes et les populations sont souvent difficiles àprévoir • D’autres actions ont pu interférer • … • .

15. . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

16. Effets Impact Action Résultats • . Effets

17. L’appréciation de l’impact L'impact d'un projet est • l’ensemble des changements • …significatifs • …durables • positifs et négatifs • prévus et imprévus • sur les personnes, les groupes et leur environnement … ayant un lien de causalité avec l’action • .

18. . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

19. Il est difficile d’anticiper l’impact • Impact technique : • attendu : des villageois autonomes et formés pour l’entretien ; • inattendu : création d’entreprises de réparation des puits dans la zone. • Impact économique : • attendu : la caisse villageoise est alimentée par le paiement de l’eau ; • inattendu : la caisse permet le création d’emplois dans les entreprises d’entretien des puits. • Impact social : • attendu : les enfants du village sont en meilleure santé ; • inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école. • Impact financier : • attendu : constitution d’une caisse pour l’entretien de chaque puits ; • inattendu : l’argent d’une caisse est détourné • Impact organisationnel : • attendu: constitution des comités de gestion ; • inattendu : certains comités de gestion des puits conduisent d’autres action, p.e gèrent un potager pour l’école. • . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

20. Anticiper l’impact Quels sont les enjeux, acteurs et parties prenantes du projet ? • Dirigeants, chefs, élus.. • Groupes et associations, • Fonctionnaires et agents de tutelle, • Financeur, bailleurs de fonds • Entreprise, opérateurs économiques, • etc… .. analyser leurs zones d'incertitudes et anticiper leurs stratégies (voir cours d’analyse stratégique des projets) • .

21. Synthèse : retour sur les points fondamentaux Effets Impact • . Action Résultats • . • . • . Effets

22. Sommaire Fondamentaux de l’évaluation Le processus d’évaluation Les termes de référence : l’exemple d’IFADEM Évaluer l’impact en mettant en œuvre des indicateurs Critères de réussite, bonnes pratiques

23. Le processus d’évaluation Photos © www.ifadem.org

24. Les termes de référence • Établis au début du projet. • Ils permettent de délimiter l’évaluation, d’en préciser les objectifs • Qu’est-ce que l’on cherchera à savoir sur une action : impacts attendus, moyens de les mesurer… • Être clair sur ce que le commanditaire attend de l’évaluation • Questions : • Contexte ? Acteurs, milieu, antériorité • Qu’est-ce qu’il faut évaluer ? Questions évaluatives, Critères • Impact attendu ? Indicateurs, méthodologie d’évaluation ? • Restitution des résultats : à qui, comment ? • Moyens : budget, étapes du déroulement ? • Guides méthodologique F3E, Daniel NEU • Préparer les termes de référence • La préparation collective des termes de référence d’une évaluation • .

25. Le suivi – évaluation • Procéder régulièrement à des évaluations : les jalons et réunions de suivi du projet : • Elles peuvent être des auto-évaluations, évaluations externes/audits, etc… ou êtres faites pendant des réunions du projet. • On peut évaluer les effets, mais aussi le dispositif lui-même (implication des acteurs..). Zone des Effets Impact Action Résultats • . Evaluation finale Evaluation ex-post situation de départ Evaluation intermédiaire Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

26. Le suivi-capitalisation Collecter et analyser régulièrement “l’information utile à l’action”. • Prendre le temps d’observer = écoute et distanciation. • S’informer sur les autres actions en cours sur la zone. • Noter, conserver par écrit les éléments repérés Impact Action • . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL Capitalisation

27. Lors d’une formation animée par Centrale Lille dans un Campus numérique francophone de l’AUF pour créer un MOOC. A la même question “Que faites-vous ?” • Le 1er enseignant dira : j’apprends à me servir d’une plateforme de formation à distance • Le secondrépondra : je me forme à de nouvelles méthodes pédagogiques • Le 3ème: avec le MOOC je donnerai accès à l’enseignement supérieur à tous, pas uniquement mes étudiants habituels • Le 4ème: je contribue à réduire la fracture numérique entre le Sud et le Nord • .

28. Se servir d’une plateforme de formation est le moyen. • Se former à de nouvelles méthodes pédagogiques est l’objectif. • Donner accès à un public nouveau est le but. • Réduire la fracture numérique est la finalité. • .

29. La finalité : c’est l’idéal vers lequel on tend. La finalité fait référence à des valeurs : • la dignité, la liberté, l’égalité, etc. • Le but : c’est la matérialisation de la finalité que l’on se donne = l’impact attendu. • Le but est concret, mais il n’est pas accessible immédiatement. • L’objectif : c’est le résultat attendu d’une action. Atteindre les objectifs doit produire des résultats. • Les objectifs sont ordonnés dans le temps et dans l’espace : on parle alors d’objectifs principaux, de sous-objectifs, etc. • Les moyenssont les financements, compétences, outils et méthodes pour atteindre les objectifs. • Il est indispensable de mobiliser des moyens et des ressources • .

30. Synthèse : le processus d’évaluation • Termes de référence • Suivi • Moyens, objectifs, buts et finalité • . • . • .

31. Sommaire Fondamentaux de l’évaluation Le processus d’évaluation Les termes de référence : l’exemple d’IFADEM Évaluer l’impact en mettant en œuvre des indicateurs Critères de réussite, bonnes pratiques

32. IFADEMInitiative francophone pour la formation à distance des maîtres

33. IFADEM : le projet Parcours de 350 heures de formation Cas IFADEM développé par Marion Alcaraz, AUF

34. La convention IFADEM-Burundi • Cadre logique • Objectifs • Activités • Moyens • Résultats attendus • Risques encourus • Moyens pour surmonter les risques (mitigation) • Indicateurs • Budget • 1,4M€ AFD • 400.000€ AUF/OIFdont valorisation personnels et locaux • Parties prenantes • AUF • OIF • Ministère de l’enseignement

35. Les deux évaluations finales Termes de référence…

36. Termes de référence - le contexte • Contexte de l’évaluation • Pays • Système éducatif • Formation des maîtres • IFADEM • Présentation du projet IFADEM-Burundi • Cadre conventionnel • Organisation / acteurs • Calendrier • Activités menées • Réalisations • Budgets • Etc.

37. Termes de référence - Les objectifs • Objectifs quantitatifs • Former 1800 instituteurs • Développer 7 livrets de formation • Créer 4 Espaces numériques • Former une centaine de formateurs de formateurs • Objectifs qualitatifs • Améliorer les compétences professionnelles des enseignants du primaire • Tester et valider une stratégie nationale de formation continue

38. Sommaire Fondamentaux de l’évaluation Le processus d’évaluation Exemples de projets et de leur impact Construire des indicateurs Suivre et valoriser une évaluation

39. Construire des indicateurs Photos © www.ifadem.org

40. Que sont des indicateurs d’impact ? Ce sont des signes vérifiables et mesurables qui, • par comparaison à une référence, • permettent de porter une appréciation … on les met au point à partir de l'impact anticipédu projet • .

41. L'impact attendu permet de trouver des indicateurs indicateur indicateur • . Source : Prise en compte de l’impact et construction d’indicateurs d’impactGilbert Graugnard - Nicolas HeerenCIEDEL

42. Impact attendu pour IFADEM Impact attendu : Amélioration des compétences Théoriques Pratiques des enseignants Observer des séances de classe – Lire des rapports d’évaluations de systèmes éducatifs Effets • Connaissances professionnelles • « connaitre les étapes d’une leçon » • .. • Pratiques de classe • « travail en groupes » • … Indicateurs Cas IFADEM développé par Marion Alcaraz, AUF

43. Mesure des indicateurs • Indicateurs : • Connaissances professionnelles • Pratiques de classe Questionnaire «Connaissances professionnelles » Grille d’observation « séances de classe » • Voir cours Méthodes de recueil de données • Les entretiens, conception de questionnaires, observation directe …

44. Situation de départ Situation de départ = Recueil des données au démarrage du projet • QCM sur les connaissances professionnelles • 20% des enseignants interrogés connaissent les étapes d’une leçon de compréhension orale • …. • Moyenne de 23,7/45 • Observation de séances de classe • 13% des enseignants acceptent que leurs élèves utilisent des tournures « français oral » • 44% des enseignants font travailler leurs élèves en groupes • …

45. Démarche déductive Impact attendu déductif Indicateurs situation de départ • .

46. Zone des Effets Impact Action Résultats Evaluation ex-post situation de départ

47. Evaluation ex-post Même méthodologie Utilisation des indicateurs Recueil des données après la fin du projet Situation finale

48. Démarche inductive IMPACT REEL inductif Indicateurs Situation finale « terrain » • .

49. Quel impact ? IMPACT Les enseignants qui avaient obtenu les moins bons résultats à l’entrée sont- ils ceux qui ont le plus évolué ? Évolution des résultats ? Ecarts Dynamiques Situation de départ Entrée des enseignants en formation. Evaluation ex-post Sortie de formation pour les enseignants INDICATEURS

50. Synthèse : indicateurs et impact • L'impact attendu • Indicateurs • Impact • . • . • . • .