1 / 47

L'évaluation des projets : indicateurs d’impact

L'évaluation des projets : indicateurs d’impact. Mise à jour du 12 mars 2014. Rémi Bachelet Ce cours «  l’évaluation des projets  » est disponible ici. Cours distribué sous licence Creative Commons, selon les conditions suivantes :. Source : image. École Centrale de Lille

nimrod
Télécharger la présentation

L'évaluation des projets : indicateurs d’impact

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. L'évaluation des projets : indicateurs d’impact Mise à jour du 12 mars 2014 Rémi Bachelet Ce cours « l’évaluation des projets » est disponible ici Cours distribué sous licence Creative Commons, selon les conditions suivantes : Source : image École Centrale de Lille Cité Scientifique BP 48 F-59651 Villeneuve d’Ascq Cedex Rémi BACHELET – Ecole Centrale de Lille Source des images indiquées au-dessous ou en cliquant sur l’image

  2. Objectifs Au terme de cette présentation, vous devez pouvoir évaluer l’impact d’un projet : • Concevoir puis opérer le suivi de l'évaluation: • Distinguer résultats, effets, impact.. • Connaître les « bonnes pratiques » • Savoir construire et calibrer des indicateurs d’impact • Comprendre et pouvoir partager des concepts-clés • Voir page suivante Rémi BACHELET – Ecole Centrale de Lille

  3. Évaluation d’impact : concepts-clés Finalitémoyens Termes de référence Action Résultats suiviEffets ImpactObjectifs Indicateurs Rémi BACHELET – Ecole Centrale de Lille

  4. Le cycle de projet Comprendre pour agir Ex-post: Evaluer pour progresser Ex-ante: Quantifier pour choisir Source : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt Rémi BACHELET – Ecole Centrale de Lille

  5. Les documents du Cycle des Opérations Décision sur la manière d’utiliser les résultats dans la programmation et l’identification futures Document de Stratégie (pays, région, Thématique) Domaines prioritaires, secteurs, calendrier Programmation Rapport d’évaluation et audit Évaluation Identification Décision de continuer ou de réorienter le projet (évaluation à mi-parcours) Etude de Préfaisabilité Mise en œuvre Formulation Etude de faisabilité Rapports d’avancement et de suivi Décision de financement Source : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt Rémi BACHELET – Ecole Centrale de Lille

  6. Chapitre 1/4 Fondamentaux de l'évaluation • L'évaluation des résultats, des effets, de l'impact • Apprécier l’impact : un exercice complexe Rémi BACHELET – Ecole Centrale de Lille

  7. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  8. Définitions Résultats = changements produits directement par l’action • En relation directe avec les objectifs de l’action établis dans les documents de projet. Effets = incidences directes et indirectes de l’action • Résultats de l’action mais aussi d'autres dynamiques / contraintes provenant du milieu physique et humain. • Ils peuvent être esquissés dans le document de projet, mais avec une marge d’incertitude • objectifs propres des populations concernées et des stratégies que celles-ci mettront en œuvre) Impact = situation finale à la suite de l’action • Prévoir l’impact présente encore plus de difficultés, car de nombreux facteurs indépendants du projet peuvent se combiner avec les résultats et les effets de l’action. • Le temps est également un facteur, car l'impact se juge à terme Rémi BACHELET – Ecole Centrale de Lille

  9. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  10. L'évaluation des résultats Au vu des objectifs initiaux de l’action, comparer : • les objectifs définis • .. et les résultats atteints Deux visions : • quantitative : écart entre le prévu et le réalisé • qualitative : différence de nature entre les réalisations prévues / réalisées Rémi BACHELET – Ecole Centrale de Lille

  11. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  12. L'évaluation des effets L’évaluation des effets porte sur l’interaction entre l’action et la population. De plus, • Le public concerné par les effets est plus large que le public cible de l’action • Les stratégies menées par les populations sont souvent opaques et difficiles à cerner • Des actions conduites par d’autres opérateurs ont pu interférer • … Rémi BACHELET – Ecole Centrale de Lille

  13. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  14. L’évaluation de l’impact L'impact d'un projet est • l’ensemble des changements • …significatifs • …durables • positifs et négatifs • prévus et imprévus • dans la vie des personnes, des groupes et de leur environnement … ayant un lien de causalité avec l’action Rémi BACHELET – Ecole Centrale de Lille

  15. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  16. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  17. Apprécier l’impact est complexe • Impact technique : • attendu : des villageois formés pour l’entretien ; • inattendu : création d’entreprises de réparation des puits dans la zone. • Impact économique : • attendu : la caisse villageoise est alimentée par le paiement de l’eau ; • inattendu : création d’emplois et distribution de revenus à travers les entreprises d’entretien des puits. • Impact social : • attendu : les enfants du village sont en meilleure santé ; • inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école. • Impact financier : • attendu : constitution d’une caisse pour l’entretien du puits ; • inattendu : détournement pour son profit personnel d’un vendeur d’eau. • Impact organisationnel : • attendu : constitution des comités de gestion ; • inattendu : certains comités de gestion des puits s’occupent aussi de la gestion du jardin scolaire. Source : L'évaluation un outil au service de l'action Marie-Christine Guéneau- Etienne Beaudoux IRAM Rémi BACHELET – Ecole Centrale de Lille

  18. Chapitre 2/4 Moyens, objectifs, buts et finalité • Modalités de suivi et de construction de l'évaluation • Moyens, objectifs, buts et finalité de l’action Rémi BACHELET – Ecole Centrale de Lille

  19. La situation de référence est à diagnostiquer au départ Sur toutes les activités qui seront touchées par le projet : • La situation des populations concernées (attention, celles-ci dépassent parfois le public défini a priori comme cible) • Le repérage des acteurs • leaders, • groupes et groupements, • fonctionnaires et agents de tutelle, • opérateurs économiques, • représentants de cultes, etc. • .. leurs zones d'incertitudes et leurs stratégies Rémi BACHELET – Ecole Centrale de Lille

  20. Le suivi – évaluation • Procéder régulièrement à des évaluations pour réorienter l’action. • Les évaluations peuvent être de nature différente : auto-évaluations, évaluations externes, etc. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  21. Le suivi-capitalisation Collecter et analyser régulièrement “l’information utile à l’action”. • Levez le nez de l’action et prenez le temps d’observer = écoute et distanciation. • Informez-vous sur l’évolution des autres actions en cours sur la zone d’activité. • Triez, notez, conservez par écrit les éléments repérés pour éviter qu’ils ne soient oubliés. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  22. Moyens, objectifs, buts et finalité de l’action (1/2) A la périphérie d’un village, un groupe d’hommes travaille. Quatre hommes préparent du banco : ils mélangent de la terre, du fumier et de l’eau, qu’ils moulent ensuite pour faire des briques. • A la question “Que faites-vous ?”, • le premier répond : “Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien”. • le second indique : “Je fabrique des briques de banco pour construire les murs d’une école”. • La troisième personne dit : “Je participe à l’installation d’une école dans le village”. • La quatrième renchérit : “J’oeuvre pour la promotion de nos enfants par l’accès au savoir” Rémi BACHELET – Ecole Centrale de Lille

  23. Moyens, objectifs, buts et finalité de l’action (2/2) • Faire des briques avec un moule est le moyen. • Construire le bâtiment est l’objectif. • Avoir une école dans le village est le but. • Assurer la promotion des enfants est la finalité. Rémi BACHELET – Ecole Centrale de Lille

  24. La finalité : c’est l’idéal vers lequel on tend. La finalité ne se décrit pas, elle n’est pas “photographiable” ; elle est immatérielle et fait référence à des valeurs : • la dignité, la liberté, l’égalité, etc. • Le but : c’est la matérialisation de la finalité que l’on se donne. Le but est concret, mais il n’est pas accessible immédiatement. • L’objectif : c’est le résultat attendu d’une action. La succession des objectifs qui permet d'atteindre le but que l’on s’est fixé. • Les objectifs sont ordonnés dans le temps et dans l’espace : on parle alors d’objectifs principaux, de sous-objectifs, etc. • Les moyens : ce sont les financements, compétences, outils et méthodes que l’on met en oeuvre pour atteindre les objectifs. Rémi BACHELET – Ecole Centrale de Lille

  25. Exemple d’un projet d’introduction de la culture attelée Ce projet a pour objectif d’introduire la culture attelée sur la base d’une charrue par exploitation. • La finalité de promouvoir le développement économique et social de la zone. • Le but est de libérer la force de travail des exploitants, • L’objectif est « un homme, une charrue » • Les moyens sont : une équipe d’intervenants, un budget de formation, un bulldozer etc… Rémi BACHELET – Ecole Centrale de Lille

  26. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  27. Chapitre 3/4 Construction des indicateurs d'impact • De quoi s'agit-il ? • Exercice de construction d’indicateurs d’impact • Autres concepts utiles en évaluation Rémi BACHELET – Ecole Centrale de Lille

  28. L'impact résulte de la combinaison des effets Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  29. Exemple de la construction d’un pont pour désenclaver un village De nombreux effets découlent de cette action : • L’écoulement des productions induit une amélioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunité • des modifications de l’équilibre social. • La vente du bois de chauffe, des produits de cueillette/chasse, des déchets de cultures devient rentable ; ceci augmente la pression sur l’environnement. • Les visites plus fréquentes des ressortissants du village installés en ville provoquent des changements culturels, surtout auprès des jeunes. • Des commerçants viennent s’installer et concurrencent l’épicier local qui doit • Fermer • Arrêter son rôle d’usurier : nouveaux circuits de financement. Rémi BACHELET – Ecole Centrale de Lille

  30. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  31. Que sont les indicateurs d’impact ? Ce sont des signes vérifiables et mesurables qui, par comparaison à une référence, permettent de porter une appréciation Rémi BACHELET – Ecole Centrale de Lille

  32. Repérage des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  33. Mise en oeuvre des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  34. Exercice de construction d’indicateurs d’impact • L’action consiste à former le personnel soignant qui formera à son tour des personnes du corps médical (médecins, sages-femmes…) • La finalité est l’amélioration des conditions de vie des populations ; • Les résultats immédiatement observables sont le nombre de formés et l’état des lieux du système de santé du pays ; • Les effets sont nombreux sur formateurs et des formés : • Amélioration du statut social • Amélioration de la situation économique, • Mais aussi meilleur état sanitaire des populations, moins d’absentéisme au travail, meilleures pratiques médicales des formés, amélioration des programmes pédagogiques de santé… • Quels sont les indicateurs à proposer pour1et2 ? • détaillez pour1et2… 3 si vous avez le temps Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia TANKWE. Rémi BACHELET – Ecole Centrale de Lille

  35. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia TANKWE. Rémi BACHELET – Ecole Centrale de Lille

  36. Calibrage des indicateurs • Ce n'est pas parce qu'un indicateur est quantifié qu'il a du sens • Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ? • Il faut donc pouvoir interpréter chaque indicateur selon l’importance relative qu’on lui reconnaît • par une valeur entre 0% et 100%. • Plus un indicateur se rapproche de 100%, plus on peut conclure que l’impact idéal est atteint. • Quels sont les calculs à proposer ? • détaillez pour1et2 Rémi BACHELET – Ecole Centrale de Lille

  37. Application des indicateurs : amélioration du statut social Indicateur : Nombre d’invitations à des soirées traditionnelles pour les formateurs. • Sachant qu’il y a 7 jours dans la semaine et en supposant qu’il y ait une fête traditionnelle par village et par soir, on associera la valeur maximale 1 à 7 invitations par semaine et la valeur 0 correspondra évidemment à aucune invitation. • Avant l’action, les formateurs étaient invités en moyenne une fois par semaine, après la formation ce nombre s’élève à quatre invitations. La valeur affectée à ce critère est donc : (4 - 1) / 7 = 57% Rémi BACHELET – Ecole Centrale de Lille

  38. Application des indicateurs : amélioration du statut économique. Indicateur : Augmentation des salaires. • Une augmentation de salaire est significative si elle est supérieure au taux d’inflation. • Le taux d’inflation sur l’année s’élevait à 4,5 %. La valeur 0 sera donc associée à un taux de croissance du salaire nominal inférieur ou égal à 4,5 %, • Un doublement des salaires sera associé à la valeur 1. • Une augmentation de 50 % du salaire est un seuil psychologique au-delà duquel l’augmentation est jugée moins significative, nous lui affecterons la valeur 0,8 ; ce qui conduit au tableau ci-dessous. L’augmentation des salaires étant de 10 %, la valeur trouvée est 0.2 = 20% Rémi BACHELET – Ecole Centrale de Lille

  39. Chapitre 4/4 Suivre et valoriser une évaluation • À quoi sert l’évaluation ? • Qu’est-ce qui fait qu’une évaluation marche ? Rémi BACHELET – Ecole Centrale de Lille

  40. À quoi sert l’évaluation ? (1/2) • Contrôler • … si ce qui a été prévu a été réalisé, vérifier comment le financement a été utilisé • S’améliorer • Faire mieux la prochaine fois • Réguler • Indique ce qui a marche ou pas, permet de ne pas refaire les mêmes erreurs, pilotage en cours de projet • Capitaliser • Mémoriser l’expérience, la transformer en savoir partageable Rémi BACHELET – Ecole Centrale de Lille

  41. À quoi sert l’évaluation ? (2/2) • Former • Si l’évaluation est participative ou une auto-évaluation, elle permet aux acteurs de progresser • Communiquer • Sur les actions, leur résultat, leur impact • Faire participer • Si les termes de référence sont construits et négociés • Mais aussi • Mesurer, apprécier l’impact réel, obliger à réfléchir avant d’agir, connaître ses faiblesses, se valoriser, motiver, Rémi BACHELET – Ecole Centrale de Lille

  42. À votre avis, qu’est-ce qui fait qu’une évaluation marche bien ou mal ? Selon : • Les intentions des acteurs • Volonté de changement ? Craintes ? • L’équipe-projet • Ouverte ? Sécurisée ? • Les convergences d’intérêts des acteurs • Concertation ? Négociation ? • Le type de management • Autoritaire ? Partenariat ? • L’importance accordée à l’évaluation • Durée ? Moyens ? Temps d’échanges ? • Ce qui se passe après l’évaluation • Des moyens pour appliquer les conclusions, une valorisation, une corvée ? Rémi BACHELET – Ecole Centrale de Lille

  43. Source : «  suivre et valoriser une évaluation » Christophe Mestre CIEDEL Rémi BACHELET – Ecole Centrale de Lille

  44. Questions ? Rémi BACHELET – Ecole Centrale de Lille

  45. Autres concepts utiles en évaluation Rémi BACHELET – Ecole Centrale de Lille

  46. Les termes de référence • Établis lorsque l’on veut procéder à une évaluation. • Ils permettent de délimiter le champ de l’évaluation et d’en préciser les objectifs = ce que l’on cherche à savoir sur une action. • Ils sont formulés à partir d’un questionnement établi sur la connaissance de l’action à conduire • origine, • conception, • déroulement, • résultats attendus... • Voir Guide méthodologique : La préparation collective des termes de référence d’une évaluation Rémi BACHELET – Ecole Centrale de Lille

  47. Les critères • Les “angles de vue” sous lesquels on évalue l’action. • Les critères les plus courants sont : • l’efficacité : compare les résultats aux objectifs prévus, • l’efficience : compare les résultats avec les moyens humains et matériels mis en oeuvre, • la viabilité : capacité de l’action à se poursuivre sans appuis extérieurs, • la pertinence : actions les mieux adaptées pour répondre à la demande des bénéficiaires. • Selon les actions et les priorités, d’autres critères peuvent exister : participation, durabilité, autonomie, la cohérence, etc… Rémi BACHELET – Ecole Centrale de Lille

More Related