L'évaluation des projets : indicateurs d’impact

L'évaluation des projets : indicateurs d’impact Mise à jour du 12 mars 2014 Rémi Bachelet Ce cours « l’évaluation des projets » est disponible ici Cours distribué sous licence Creative Commons, selon les conditions suivantes : Source : image École Centrale de Lille Cité Scientifique BP 48 F-59651 Villeneuve d’Ascq Cedex Rémi BACHELET – Ecole Centrale de Lille Source des images indiquées au-dessous ou en cliquant sur l’image

Objectifs Au terme de cette présentation, vous devez pouvoir évaluer l’impact d’un projet : • Concevoir puis opérer le suivi de l'évaluation: • Distinguer résultats, effets, impact.. • Connaître les « bonnes pratiques » • Savoir construire et calibrer des indicateurs d’impact • Comprendre et pouvoir partager des concepts-clés • Voir page suivante Rémi BACHELET – Ecole Centrale de Lille

Évaluation d’impact : concepts-clés Finalitémoyens Termes de référence Action Résultats suiviEffets ImpactObjectifs Indicateurs Rémi BACHELET – Ecole Centrale de Lille

Le cycle de projet Comprendre pour agir Ex-post: Evaluer pour progresser Ex-ante: Quantifier pour choisir Source : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt Rémi BACHELET – Ecole Centrale de Lille

Les documents du Cycle des Opérations Décision sur la manière d’utiliser les résultats dans la programmation et l’identification futures Document de Stratégie (pays, région, Thématique) Domaines prioritaires, secteurs, calendrier Programmation Rapport d’évaluation et audit Évaluation Identification Décision de continuer ou de réorienter le projet (évaluation à mi-parcours) Etude de Préfaisabilité Mise en œuvre Formulation Etude de faisabilité Rapports d’avancement et de suivi Décision de financement Source : http://democratie.francophonie.org/IMG/ppt/Gestion_cycle_de_projet_et_cadre_logique.ppt Rémi BACHELET – Ecole Centrale de Lille

Chapitre 1/4 Fondamentaux de l'évaluation • L'évaluation des résultats, des effets, de l'impact • Apprécier l’impact : un exercice complexe Rémi BACHELET – Ecole Centrale de Lille

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Définitions Résultats = changements produits directement par l’action • En relation directe avec les objectifs de l’action établis dans les documents de projet. Effets = incidences directes et indirectes de l’action • Résultats de l’action mais aussi d'autres dynamiques / contraintes provenant du milieu physique et humain. • Ils peuvent être esquissés dans le document de projet, mais avec une marge d’incertitude • objectifs propres des populations concernées et des stratégies que celles-ci mettront en œuvre) Impact = situation finale à la suite de l’action • Prévoir l’impact présente encore plus de difficultés, car de nombreux facteurs indépendants du projet peuvent se combiner avec les résultats et les effets de l’action. • Le temps est également un facteur, car l'impact se juge à terme Rémi BACHELET – Ecole Centrale de Lille

L'évaluation des résultats Au vu des objectifs initiaux de l’action, comparer : • les objectifs définis • .. et les résultats atteints Deux visions : • quantitative : écart entre le prévu et le réalisé • qualitative : différence de nature entre les réalisations prévues / réalisées Rémi BACHELET – Ecole Centrale de Lille

L'évaluation des effets L’évaluation des effets porte sur l’interaction entre l’action et la population. De plus, • Le public concerné par les effets est plus large que le public cible de l’action • Les stratégies menées par les populations sont souvent opaques et difficiles à cerner • Des actions conduites par d’autres opérateurs ont pu interférer • … Rémi BACHELET – Ecole Centrale de Lille

L’évaluation de l’impact L'impact d'un projet est • l’ensemble des changements • …significatifs • …durables • positifs et négatifs • prévus et imprévus • dans la vie des personnes, des groupes et de leur environnement … ayant un lien de causalité avec l’action Rémi BACHELET – Ecole Centrale de Lille

Apprécier l’impact est complexe • Impact technique : • attendu : des villageois formés pour l’entretien ; • inattendu : création d’entreprises de réparation des puits dans la zone. • Impact économique : • attendu : la caisse villageoise est alimentée par le paiement de l’eau ; • inattendu : création d’emplois et distribution de revenus à travers les entreprises d’entretien des puits. • Impact social : • attendu : les enfants du village sont en meilleure santé ; • inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école. • Impact financier : • attendu : constitution d’une caisse pour l’entretien du puits ; • inattendu : détournement pour son profit personnel d’un vendeur d’eau. • Impact organisationnel : • attendu : constitution des comités de gestion ; • inattendu : certains comités de gestion des puits s’occupent aussi de la gestion du jardin scolaire. Source : L'évaluation un outil au service de l'action Marie-Christine Guéneau- Etienne Beaudoux IRAM Rémi BACHELET – Ecole Centrale de Lille

Chapitre 2/4 Moyens, objectifs, buts et finalité • Modalités de suivi et de construction de l'évaluation • Moyens, objectifs, buts et finalité de l’action Rémi BACHELET – Ecole Centrale de Lille

La situation de référence est à diagnostiquer au départ Sur toutes les activités qui seront touchées par le projet : • La situation des populations concernées (attention, celles-ci dépassent parfois le public défini a priori comme cible) • Le repérage des acteurs • leaders, • groupes et groupements, • fonctionnaires et agents de tutelle, • opérateurs économiques, • représentants de cultes, etc. • .. leurs zones d'incertitudes et leurs stratégies Rémi BACHELET – Ecole Centrale de Lille

Le suivi – évaluation • Procéder régulièrement à des évaluations pour réorienter l’action. • Les évaluations peuvent être de nature différente : auto-évaluations, évaluations externes, etc. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Le suivi-capitalisation Collecter et analyser régulièrement “l’information utile à l’action”. • Levez le nez de l’action et prenez le temps d’observer = écoute et distanciation. • Informez-vous sur l’évolution des autres actions en cours sur la zone d’activité. • Triez, notez, conservez par écrit les éléments repérés pour éviter qu’ils ne soient oubliés. Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Moyens, objectifs, buts et finalité de l’action (1/2) A la périphérie d’un village, un groupe d’hommes travaille. Quatre hommes préparent du banco : ils mélangent de la terre, du fumier et de l’eau, qu’ils moulent ensuite pour faire des briques. • A la question “Que faites-vous ?”, • le premier répond : “Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien”. • le second indique : “Je fabrique des briques de banco pour construire les murs d’une école”. • La troisième personne dit : “Je participe à l’installation d’une école dans le village”. • La quatrième renchérit : “J’oeuvre pour la promotion de nos enfants par l’accès au savoir” Rémi BACHELET – Ecole Centrale de Lille

Moyens, objectifs, buts et finalité de l’action (2/2) • Faire des briques avec un moule est le moyen. • Construire le bâtiment est l’objectif. • Avoir une école dans le village est le but. • Assurer la promotion des enfants est la finalité. Rémi BACHELET – Ecole Centrale de Lille

La finalité : c’est l’idéal vers lequel on tend. La finalité ne se décrit pas, elle n’est pas “photographiable” ; elle est immatérielle et fait référence à des valeurs : • la dignité, la liberté, l’égalité, etc. • Le but : c’est la matérialisation de la finalité que l’on se donne. Le but est concret, mais il n’est pas accessible immédiatement. • L’objectif : c’est le résultat attendu d’une action. La succession des objectifs qui permet d'atteindre le but que l’on s’est fixé. • Les objectifs sont ordonnés dans le temps et dans l’espace : on parle alors d’objectifs principaux, de sous-objectifs, etc. • Les moyens : ce sont les financements, compétences, outils et méthodes que l’on met en oeuvre pour atteindre les objectifs. Rémi BACHELET – Ecole Centrale de Lille

Exemple d’un projet d’introduction de la culture attelée Ce projet a pour objectif d’introduire la culture attelée sur la base d’une charrue par exploitation. • La finalité de promouvoir le développement économique et social de la zone. • Le but est de libérer la force de travail des exploitants, • L’objectif est « un homme, une charrue » • Les moyens sont : une équipe d’intervenants, un budget de formation, un bulldozer etc… Rémi BACHELET – Ecole Centrale de Lille

Chapitre 3/4 Construction des indicateurs d'impact • De quoi s'agit-il ? • Exercice de construction d’indicateurs d’impact • Autres concepts utiles en évaluation Rémi BACHELET – Ecole Centrale de Lille

L'impact résulte de la combinaison des effets Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Exemple de la construction d’un pont pour désenclaver un village De nombreux effets découlent de cette action : • L’écoulement des productions induit une amélioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunité • des modifications de l’équilibre social. • La vente du bois de chauffe, des produits de cueillette/chasse, des déchets de cultures devient rentable ; ceci augmente la pression sur l’environnement. • Les visites plus fréquentes des ressortissants du village installés en ville provoquent des changements culturels, surtout auprès des jeunes. • Des commerçants viennent s’installer et concurrencent l’épicier local qui doit • Fermer • Arrêter son rôle d’usurier : nouveaux circuits de financement. Rémi BACHELET – Ecole Centrale de Lille

Que sont les indicateurs d’impact ? Ce sont des signes vérifiables et mesurables qui, par comparaison à une référence, permettent de porter une appréciation Rémi BACHELET – Ecole Centrale de Lille

Repérage des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Mise en oeuvre des indicateurs Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Exercice de construction d’indicateurs d’impact • L’action consiste à former le personnel soignant qui formera à son tour des personnes du corps médical (médecins, sages-femmes…) • La finalité est l’amélioration des conditions de vie des populations ; • Les résultats immédiatement observables sont le nombre de formés et l’état des lieux du système de santé du pays ; • Les effets sont nombreux sur formateurs et des formés : • Amélioration du statut social • Amélioration de la situation économique, • Mais aussi meilleur état sanitaire des populations, moins d’absentéisme au travail, meilleures pratiques médicales des formés, amélioration des programmes pédagogiques de santé… • Quels sont les indicateurs à proposer pour1et2 ? • détaillez pour1et2… 3 si vous avez le temps Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia TANKWE. Rémi BACHELET – Ecole Centrale de Lille

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL Proposé à partir de l’exercice d’application réalisé par Mlle Laëtitia TANKWE. Rémi BACHELET – Ecole Centrale de Lille

Calibrage des indicateurs • Ce n'est pas parce qu'un indicateur est quantifié qu'il a du sens • Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ? • Il faut donc pouvoir interpréter chaque indicateur selon l’importance relative qu’on lui reconnaît • par une valeur entre 0% et 100%. • Plus un indicateur se rapproche de 100%, plus on peut conclure que l’impact idéal est atteint. • Quels sont les calculs à proposer ? • détaillez pour1et2 Rémi BACHELET – Ecole Centrale de Lille

Application des indicateurs : amélioration du statut social Indicateur : Nombre d’invitations à des soirées traditionnelles pour les formateurs. • Sachant qu’il y a 7 jours dans la semaine et en supposant qu’il y ait une fête traditionnelle par village et par soir, on associera la valeur maximale 1 à 7 invitations par semaine et la valeur 0 correspondra évidemment à aucune invitation. • Avant l’action, les formateurs étaient invités en moyenne une fois par semaine, après la formation ce nombre s’élève à quatre invitations. La valeur affectée à ce critère est donc : (4 - 1) / 7 = 57% Rémi BACHELET – Ecole Centrale de Lille

Application des indicateurs : amélioration du statut économique. Indicateur : Augmentation des salaires. • Une augmentation de salaire est significative si elle est supérieure au taux d’inflation. • Le taux d’inflation sur l’année s’élevait à 4,5 %. La valeur 0 sera donc associée à un taux de croissance du salaire nominal inférieur ou égal à 4,5 %, • Un doublement des salaires sera associé à la valeur 1. • Une augmentation de 50 % du salaire est un seuil psychologique au-delà duquel l’augmentation est jugée moins significative, nous lui affecterons la valeur 0,8 ; ce qui conduit au tableau ci-dessous. L’augmentation des salaires étant de 10 %, la valeur trouvée est 0.2 = 20% Rémi BACHELET – Ecole Centrale de Lille

Chapitre 4/4 Suivre et valoriser une évaluation • À quoi sert l’évaluation ? • Qu’est-ce qui fait qu’une évaluation marche ? Rémi BACHELET – Ecole Centrale de Lille

À quoi sert l’évaluation ? (1/2) • Contrôler • … si ce qui a été prévu a été réalisé, vérifier comment le financement a été utilisé • S’améliorer • Faire mieux la prochaine fois • Réguler • Indique ce qui a marche ou pas, permet de ne pas refaire les mêmes erreurs, pilotage en cours de projet • Capitaliser • Mémoriser l’expérience, la transformer en savoir partageable Rémi BACHELET – Ecole Centrale de Lille

À quoi sert l’évaluation ? (2/2) • Former • Si l’évaluation est participative ou une auto-évaluation, elle permet aux acteurs de progresser • Communiquer • Sur les actions, leur résultat, leur impact • Faire participer • Si les termes de référence sont construits et négociés • Mais aussi • Mesurer, apprécier l’impact réel, obliger à réfléchir avant d’agir, connaître ses faiblesses, se valoriser, motiver, Rémi BACHELET – Ecole Centrale de Lille

À votre avis, qu’est-ce qui fait qu’une évaluation marche bien ou mal ? Selon : • Les intentions des acteurs • Volonté de changement ? Craintes ? • L’équipe-projet • Ouverte ? Sécurisée ? • Les convergences d’intérêts des acteurs • Concertation ? Négociation ? • Le type de management • Autoritaire ? Partenariat ? • L’importance accordée à l’évaluation • Durée ? Moyens ? Temps d’échanges ? • Ce qui se passe après l’évaluation • Des moyens pour appliquer les conclusions, une valorisation, une corvée ? Rémi BACHELET – Ecole Centrale de Lille

Source : « suivre et valoriser une évaluation » Christophe Mestre CIEDEL Rémi BACHELET – Ecole Centrale de Lille

Questions ? Rémi BACHELET – Ecole Centrale de Lille

Autres concepts utiles en évaluation Rémi BACHELET – Ecole Centrale de Lille

Les termes de référence • Établis lorsque l’on veut procéder à une évaluation. • Ils permettent de délimiter le champ de l’évaluation et d’en préciser les objectifs = ce que l’on cherche à savoir sur une action. • Ils sont formulés à partir d’un questionnement établi sur la connaissance de l’action à conduire • origine, • conception, • déroulement, • résultats attendus... • Voir Guide méthodologique : La préparation collective des termes de référence d’une évaluation Rémi BACHELET – Ecole Centrale de Lille

Les critères • Les “angles de vue” sous lesquels on évalue l’action. • Les critères les plus courants sont : • l’efficacité : compare les résultats aux objectifs prévus, • l’efficience : compare les résultats avec les moyens humains et matériels mis en oeuvre, • la viabilité : capacité de l’action à se poursuivre sans appuis extérieurs, • la pertinence : actions les mieux adaptées pour répondre à la demande des bénéficiaires. • Selon les actions et les priorités, d’autres critères peuvent exister : participation, durabilité, autonomie, la cohérence, etc… Rémi BACHELET – Ecole Centrale de Lille

L'évaluation des projets : indicateurs d’impact