Qu’est-ce qui peut mal tourner?

1. Qu’est-ce qui peut mal tourner? Deon Filmer DevelopmentResearch Group, la Banque mondiale Séminaire sur la prise de décision fondée sur l’expérience dans le domaine de l’éducation Programme d’évaluation d’impact de l’éducation en Afrique Accra, Ghana 10-14 mai 2010

2. Qu’est-ce qui peut mal tourner ? • Un tas de choses ! • La validité interne et externe est menacée • La randomisation est compromise • L’effet Hawthorne • L’effet de propagation • L’attrition • La non conformité • Problèmes de « démarrage » de la phase pilote • …  Concentrons-nous sur quelques domaines

3. Petit rappel • Validité interne • Mesure dans laquelle l’évaluation estime effectivement le paramètre d’intérêt • Ex.: l’impact d’un programme de bourses scolaires sur la fréquentation scolaire • Validité externe • Mesure dans laquelle l’évaluation fournit une information pertinente sur l’efficacité probable d’un programme dans un contexte différent , ou s’il est mis en œuvre à une échelle différente.

4. Validité interne • Validité interne • Mesure dans laquelle l’évaluation estime effectivement le paramètre d’intérêt Êtes-vous vraiment en train d’estimer ce que vous croyez? • Quelques problèmes • Attrition • Effets de propagation • Conformité partielle et biais dans lasélection de l’échantillon

5. Validité interne : attrition • L’attritionest un problème générique de l’analyse des données • Certaines personnes sont exclues de l’analyse ou de l’échantillon • Est-ce un problème pour l’évaluation d’impact?  Oui, si l’attrition est liée à l’intervention, ou à son impact probable.

6. Le biais d’attrition: un exemple • Étude : l’impact d’un programme de bourses scolaires sur les résultats de l’apprentissage • Référence = élèves de cinquième année • Intervention = offre d’une bourse scolaire pour la 6e • Suivi = résultats aux tests des élèves en fin de 6e • Question de l’évaluation d’impact : • Le programme de bourses scolaires améliore-t-il les scores aux tests ? • Voyez-vous un problème dans cet énoncé? • Comment vous y prendriez-vous pour traiter les biais potentiels ?

7. Traiter le biais d’attrition • Vérifier que l’attrition n’est pas différente entre les groupes de traitement et de contrôle • Vérifier également qu’elle n’est pas corrélée avec les variables observables. • Essayer de limiter l’ampleur du biais • Par exemple: • Recalculer l’impact en supposant que chaque personne sortie du traitement avait le résultat le plus bas par rapport aux autres • Recalculer l’impact en supposant que chaque personne sortie du groupe de contrôle avait le résultat le plus élevé par rapport aux autres

8. Validité interne : effets de propagation/externalités • Leseffets de propagationou externalités apparaissent lorsque des personnes ne faisant pas partie de la population cible sont affectées par l’intervention • Où est le problème ?

9. Effets de propagation/externalités : Exemple • Un programme de formation des enseignants affecte tous les enseignants d’une école et pas seulement ceux sélectionnés au hasard pour y participer

10. Traiter les effets de propagation/externalités • Le moyen principal de traiter ce problème est de • Sélectionner au hasard de manière à inclure les externalités • Exemple : • Étendre la randomisation de la formation à tous les enseignants d’une école

11. Validité interne: conformité partielle et biais de sélection de l’échantillon • Apparaît quand les groupes de traitement et de contrôle ne sont pas comparables, soit • Parce que la randomisation « n’a pas fonctionné » • Des comportements de la population étudiée « ont compromis »la randomisation

12. La randomisation « n’a pas fonctionné » • La validité de randomisation en tant qu’approche garantissant des caractéristiques égales repose sur des échantillons de taille suffisamment importante • Dans chaque application individuelles les échantillons pourraient être différents • Comment résoudre cela ?

13. Des comportements « ontcompromis » la randomisation • Par exemple : • Les élèves bénéficiaires d’une bourse scolaire ont abandonné après un an (et pourraient par conséquent être considérés comme des enfants « contrôle ») • Des élèves d’écoles non-bénéficiaires ont fait un transfert vers des écoles choisies au hasard pour recevoir une subvention • Comment résoudre cela?

14. Traiter la conformité partielle et le biais de sélection de l’échantillon • Utiliser l’analyse en « intention de traiter » (ITT) • Cadrer l’évaluation dans les termes du modèle originel • Exemple : • Étudier l’impact de l’offre d’une bourse scolaire sur les résultats • Étudier l’impact d’un programme de subvention en termes des écoles auxquelles il était originellement destiné

15. Traiter la conformité partielle et le biais de sélection de l’échantillon • L’analyse en « intention de traiter » est puissante, mais soulève des problèmes qui lui sont propres • Elle prend souvent en compte ce qui est sous le contrôle de ceux qui mettent en œuvre l’intervention • Exemple : offre d’une bourse scolaire • Mais elle peut ne pas refléter ce qui surviendrait si le programme était étendu • Exemple : si toutes les écoles bénéficiaient du programme de subvention alors les élèves ne feraient pas de transfert

16. Validité externe • Mesure dans laquelle l’évaluation fournit une information pertinente sur l’efficacité probable d’un programme dans un contexte différent ou s’il était mis en œuvre à une échelle différente.  Les constats ont-ils un sens pour les politiques ?

17. Validité externe : Réactions comportementales • Les comportements de la population étudiée peuvent être affectés par l’étude elle-même (au lieu de l’intervention) • Changements de comportement du groupe traité : effet Hawthorne • Les personnes du groupe de traitement sont observées et étudiées de très près, si bien qu’elles modifient leur comportement (exemple : enseignants observés) • Changements de comportement du groupe de contrôle : effet John Henry • Les personnes du groupe de contrôle se considèrent elles-mêmes comme en compétition avec le groupe de traitement et modifient par conséquent leur comportement (exemple : les élèves s’étant vu refuser une bourse scolaire)

18. Validité externe: Généralisabilité • Est-il vraiment possible de reproduire à plus grande échelle le programme tel qu’il est évalué ? • L’intervention a-t-elle nécessité beaucoup d’attention pour être mise en œuvre ? • L’évaluation a-t-elle été menée sur une population vraiment représentative ? • Était-elle limitée à une province qui était « prête » pour l’intervention… et par conséquent différente des autres endroits où elle pourrait être entreprise

19. Conclusion • Beaucoup de « menaces » pour la validité tant internequ’externe • Certaines peuvent provenir de la pression exercée par: • L’échantillon de population • Des niveaux supérieurs de gouvernement • Des bailleurs de fonds • L’approche « technocratique » devient alors en quelque sorte un «art » de l’équilibre entre divers objectifs

20. Merci