De l’évaluation des élèves à l’évaluation des projets RAR

1. De l’évaluation des élèves à l’évaluation des projets RAR Journée académique, Poitiers, le 25 janvier 2011 Bruno Suchaut www.brunosuchaut.fr

2. La question • Quelles articulations possibles entre évaluation à l’échelle de l’élève et évaluation du projet du Réseau Ambition Réussite ? • Question pertinente et très actuelle qui est celle de l’articulation entre évaluation politique et évaluation pédagogique • Plusieurs niveaux d’évaluation qui renvoient à des intentions, à des finalités différentes • Multiplication récente des outils d’évaluation à différents niveaux du système • Besoin d’une clarification et d’une articulation de ces outils • Question difficile à traiter…

3. Plan • Le contexte actuel de l’évaluation dans le système éducatif • Les caractéristiques de l’évaluation en éducation • Un exemple d’évaluation micro : analyse des compétences des élèves • Un exemple d’évaluation méso : l’évaluation des RAR • Conclusion

4. Le contexte actuel de l’évaluation dans le système éducatif

5. Le contexte actuel de l’évaluation dans le système éducatif • Notion relativement récente qui s’est développée à tous les échelons du système éducatif • Des outils d’évaluation aux finalités pas toujours bien définies et comprises • Évaluations internationales, évaluations institutionnelles, évaluations scientifiques, pratiques quotidiennes d’évaluation… • Des connaissances et compétences limitées des acteurs dans l’utilisation des outils et dans l’interprétation des résultats • Une certaine méfiance des acteurs de l’école face aux outils d’évaluation et de leur utilisation

6. Les caractéristiques de l’évaluationen éducation

7. Evaluer : un terme polysémique contrôler constater valider discerner apprécier noter estimer évaluer juger interpréter chiffrer comparer expertiser examiner etc.… mesurer

8. L’évaluation : de quoi parle t’on ? • Définition générale : observer la réalité pour en déduire sa valeur. • Quel référentiel de valeur selon quels acteurs ? • administrateur, gestionnaire, formateur, enseignant, politique, parents, chercheurs…) • Quel paradigme en matière d’évaluation ? Docimologique, sociologique, économique, pédagogique ? • Trois intentions distinctes et complémentaires : • Mesurer : caractère quantitatif et objectif, s’exprime en terme de performance. • Apprécier : en référence à des critères préalablement définis, mesure des écarts par rapport à des critères • Interpréter : donner du sens aux résultats observés, l’évaluation est au service de l’action, caractère qualitatif , évaluation formative

9. Les niveaux de l’évaluation : du micro au macro Evaluations internationales, évaluations institutionnelles Pays Circonscription, Académie Contrats d’objectifs PEDAGOGIQUE POLITIQUE Etablissement Projets d’établissements Enseignant Inspections Elève Pratiques des enseignants

10. L’évaluation : une aide à la régulation PEDAGOGIQUE Besoins ENVIRONNEMENT POLITIQUE Utilité Pertinence Objectifs Moyens Résultats Cohérence Efficience Efficacité

11. La question de la mesure • Quels indicateurs de résultats ? • Réussite aux diplômes • Parcours scolaires (redoublements, orientation…) • Niveau de compétences et de connaissances • Absentéisme, bien être, etc.… • Caractéristiques de la mesure • Objective • Absolue • Relative • Comparative (spatiale et temporelle) • Mesure normée ou critériée • Norme statistique (médiane…) • Critères

12. Evaluations internationales (PISA…) • Echelle standardisée avec une moyenne fixée à 500 et un écart-type à 100 (les deux-tiers des élèves ont un score compris entre 400 et 600) • Critères de niveau de compétences précis

13. Evaluations nationales CE1, CM2 Répartition des élèves en quatre groupes selon leur niveau de réussite

14. Evaluations nationales CE1, CM2

15. Les limites dans l’interprétation des résultats • Les faibles effectifs d’élèves • Les erreurs d’échantillonnage • Certains écarts constatés (entre élèves, entre écoles, entre zones géographiques, entre périodes d’observation) ne sont pas statistiquement significatifs (intervalles de confiance des moyennes)

16. Un exemple d’évaluation micro :les compétences des élèves

17. Objectif et questions de départ • Objectif : Comprendre comment les acquisitions scolaires se structurent au niveau transversal (à un moment donné de la scolarité) et au niveau longitudinal (au cours de l’école élémentaire) . • Les questions : • Quelle cartographie des acquisitions des élèves (nature des acquis et liens entre les acquis) • Quelles compétences expliquent le plus les différences d’acquis entre les élèves ? • Quelles sont les compétences les plus prédictives de la réussite ultérieure? • Quels liens entre compétences scolaires, variables socio-démographiques et capacités cognitives des élèves?

18. Schéma de l’évaluation des compétences des élèvesDonnées départementales Caractéristiques sociodémographiques et scolaires Evaluationacquis scolaires 5ème Evaluationnationale CE2 Evaluationnationale 6ème Evaluationcapacités cognitives 5ème

19. Pertinence d’une analyse des résultats basée sur les items • Les problèmes de mesure liés aux compétences dans les évaluations nationales • échelle de mesure variable d’une compétence à l’autre suivant le nombre d’items qui la compose • définition d’un seuil de réussite ? • identification de compétences faisant intervenir des items issus d’exercices différents ? • Intérêts de l’analyse des résultats centrée sur les items • échelle de mesure commune (0/1) • seuil de réussite défini : échec ou réussite • meilleur ciblage de la notion de compétence

20. Principaux résultats de l’analyse en variables latentes en CE2 • Redéfinition empirique des compétences des élèves à l’entrée au CE2 • 63 compétences (variables latentes) identifiées au CE2 • 5 d’entre elles correspondent à des compétences des évaluations nationales, 43 correspondant de façon partielle à certaines compétences des épreuves nationales. • Certaines variables latentes font intervenir des items de champs, voire de disciplines différentes.

21. Capacités attentionnelles, recherche d’informations(compétence n°4)

22. Les blocs de compétences au centre des apprentissages à l’entrée au cycle III Compétences orthographiques 1 Calcul mental 64 Capacités attentionnelles, recherche d’informations 60 54 4 26 47 43 24 62 48 30

23. Structure de dépendance des acquisitions en CE2

24. Structure des acquisitions au cycle III Début 6ème Début CE2 Orthographe Calcul Numération Calcul mental Calcul mental Capacité attentionnelles Compréhension

25. Liaisons entre compétences en fin d’école maternelle et résultats à l’entrée au collège

26. Capacités cognitives, acquis scolaire, origine sociale • Les capacités cognitives, indépendamment du niveau scolaire initial , jouent un rôle positif sur les acquisitions scolaires à l’entrée en 6ème • Progrès des élèves, capacités cognitives et origine sociale sont liés Capacités cognitives Origine sociale Progrès scolaires

27. Un exemple d’évaluation méso :l’évaluation des RAR(Académie de Paris)

28. Objectifs et caractéristiques de l’évaluation • Porter un regard objectif sur le fonctionnement des RAR • Fournir des pistes de réflexion sur la politique d’Education prioritaire au niveau local • Evaluation externe • Les évaluateurs ne sont pas impliqués dans le dispositif • Distance par rapport à l’objet étudié • Dimension comparative • Non Education prioritaire, RRS, RAR • Perspective temporelle (sur 3 années) • Dimension quantitative • Mobilisation de données concernant la population accueillie, les moyens et les résultats obtenus chez les élèves • Dimension qualitative • Analyse du discours des acteurs impliqués dans les projets RAR sur la base d’entretiens

29. Logique et structure de l’évaluation quantitative FIN 3ème DEBUT 6ème Données agrégées par établissement Caractéristiques des élèves Evaluation 6ème DNB Orientation Contexte scolaire Education prioritaire Scolarité au collège

30. I Le public accueilli dans les établissements • Prise en compte de plusieurs critères classiques pour caractériser la population d’élèves • Faibles écarts entre établissements RRS et RAR • Un établissement RAR se différencie nettement des autres

31. II Le niveau des élèves à l’entrée au collège • Compte tenu des caractéristiques sociales de la population d’élèves, les résultats à l’entrée en 6ème ne sont pas inférieurs à ceux attendus pour les établissements relevant de l’Education prioritaire • Compte tenu des caractéristiques sociales de la population d’élèves, les résultats à l’entrée en 6ème ne diffèrent pas entre les établissements RRS et RAR

32. III Les parcours des élèves • Une fluidité des parcours nettement moins bonne dans les collèges RAR • Situation identique dans les 4 collèges RAR

33. IV La réussite au DNB • Compte tenu des caractéristiques sociales de la population d’élèves, les résultats au DNB ne sont pas inférieurs à ceux attendus pour les établissements relevant de l’Education prioritaire • Compte tenu des caractéristiques sociales de la population d’élèves, les résultats au DNB ne diffèrent pas entre les établissements RRS et RAR • Les caractéristiques du corps enseignant et les taux d’encadrement n’exercent pas d’influence directe sur les résultats au DNB

34. V L’orientation en fin de 3ème • Les orientations des élèves en fin de 3ème diffèrent nettement selon le type d’établissement • A résultats du DNB donnés, on ne relève pas de différences entre les collèges RAR et les autres

35. VI Le regard des acteurs sur les RAR • Des retards et des difficultés dans la mise en place des projets qui nuisent à l’efficacité du dispositif • Un manque de stabilité dans les équipes • Une coordination du dispositif qui n’est pas optimale à différents niveaux • Le statut et le rôle des personnels RAR (PR, AP) ne sont pas toujours bien compris et acceptés par les autres acteurs

36. VI Le regard des acteurs sur les RAR • Un problème d’image des RAR ? • Un sentiment d’impuissance face aux caractéristiques de la population d’élèves • Constat d’une ghettoïsation : absence de mixité sociale et académique • La liaison entre le premier et le second degré apparaît une condition nécessaire à l’efficacité et elle demande à être améliorée • Déséquilibre des moyens entre premier et second degré

37. Conclusions de l’évaluation • Les données mobilisées pour l’évaluation sont imparfaites (nécessité de se doter d’outils d’évaluation plus complets et fiables au niveau primaire et secondaire mobilisant des données individuelles) • La distinction entre RRS et RAR ne repose pas totalement sur des critères objectifs relatifs à la population d’élèves • Selon les caractéristiques de leur public, les résultats des RAR ne sont pas inférieurs à ceux attendus mais les moyens supplémentaires des RAR ne permettent pas de combler les écarts de résultats

38. Conclusions de l’évaluation • Des dysfonctionnement sont repérés dans la mise en œuvre des projets • Une certaine dispersion dans les actions conduites • Des différences notables existent d’un RAR à l’autre dans la mise en œuvre et le fonctionnement des projets tenant en partie au rôle des pilotes

39. Pistes d’amélioration • Un pilotage plus fort pour un ciblage plus précis des actions à mettre en œuvre au sein des RAR ? • Centrage sur des actions précoces visant la maîtrise de la langue • Des contraintes institutionnelles à lever ? • Carte scolaire • Affectation des enseignants • Incitations plus marquées pour exercer en RAR et plus généralement en Education prioritaire • Dimension pédagogique à mobiliser davantage dans les projets • Logique de pratiques versus logique d’actions

40. Conclusion générale • Comment mieux articuler l’évaluation de l’élève et l’évaluation des projets RAR ? • L’évaluation des résultats des élèves au niveau des établissements doit être réalisée par des spécialistes et comporte certaines limites (statistiques, temporelles…) • Constituer des bases de données longitudinales sur les résultats et les parcours individuels des élèves

41. Conclusion générale • Le projet RAR doit intégrer des indicateurs d’évaluation des élèves spécifiques aux pratiques en cours dans les établissements scolaires (distinguer les niveaux de l’évaluation) • Les actions mises en place en Education prioritaire doivent cibler en priorité les besoins identifiés chez les élèves en termes de compétences • Laisser aux enseignants une autonomie dans le choix des outils d’évaluation au niveau de l’établissement