Cours Mesure et Evaluation: 2 ème Année Conseillers en Orientation

1. Cours Mesure et Evaluation: 2ème Année Conseillers en Orientation La validité d’un instrument de mesure et ses divers aspects COPE, 2013

2. La validité d’un test La validité d’un test vise à déterminer les variables responsables du manque de constance et de précision dans les scores observés. Autrement dit, elle se propose de répondre aux questions suivantes: Qu'est-ce que le test mesure exactement? Comment mesure-t-il ce qu'il est sensé mesurer? Quel est le degré de constance des mesures effectuées avec ce test?

3. La validité d’un test (suite) La pleine signification de la validité peut être saisie à l'aide des questions suivantes: • Quels sont les traits psychologiques ou les habiletés académiques que l’on veut mesurer avec ce test? • Est-ce que le test mesure vraiment les caractéristiques ou les traits qu'il se propose de mesurer? • Quelle est la proportion de la variance réelle dans la variance totale des scores observés à l’aide du test considéré? • Que peut-on prédire à l'aide des scores observés? Autrement dit, quels sont les autres traits et caractéristiques qui sont en corrélation significative avec les traits mesurés par le test? • Le test fournit-il des informations supplémentaires pouvant être utilisées à des fins de prise de décisions?

4. Définition sémantique de la validité La validité d'un instrument de mesure (test, épreuve d’examen, questionnaire) renvoie au degré de correspondance entre les différences observées aux scores individuels et les différences réelles dues aux caractéristiques ou traits mesurés par cet instrument. Autrement dit, la validité d'un test est la proportion de la variance vraie et pertinente dans la variance totale observée par rapport aux traits mesurés par le test (Ebel, 1976, p.62).

5. Définition Opérationnelle La définition opérationnelle de la validité implique que la variance vraie d'un test peut être décomposée en deux parties qui sont: • la variance pertinente au traits mesurés appelée également variance vrai (SV2); et • la variance non pertinente aux traits mesurés et qu'on appelle aussi variance invalide (SI2).

6. Équation de calcul Pour calculer la variance d’un instrument de mesure, on utilise l’équation suivante: S2T= S2v+S2i La variance des scores vrai (S2T)= variance valide (S2V) +variance invalide (S2I). Où SV2 représente la variance valide et pertinente pour les traits mesurés et SI2 renvoie à la variance invalide et non pertinente aux traits ou caractéristiques considérés

7. Variance et Validité La variance des scores observés à un test ou à une épreuve donnée peut être décomposée en trois types de variance: • La variance valide (S2V); • La variance invalide (S2I); et • La variance d’erreur (S2E). En conséquence, S2X= S2V+S2I+S2E Ou encore, S2X= S2T+S2E

8. Validité et erreurs de mesure La validité s'intéresse surtout aux erreurs de mesure systématiques. Alors que la fidélité s'occupe des erreurs de mesure strictement dues à des fluctuations de hasard. Donc on admet que la validité est essentiellement liée au contenu et à la démarche d’évaluation retenue. Mais en réalité, il ya plusieurs type de validité dont chacun est focalisé sur un aspect donné.

9. Types de validité 1 • La validité de contenus’intéresse particulièrement au côté représentatif des contenus et des questions en ce qui concerne l'univers des comportements et des situations dont le test et le contexte ne sont que des échantillons. La qualité des questions composant le test est donc d'une importance capitale pour évaluer processus mentaux utilisés et les réponses des élèves.

10. Types de validité 2 2. La validité de concept Elle se propose de contrôler les différentes relations hypothétiques entre les résultats à un test bien déterminé (test de rendement scolaire) et la mesure des caractéristiques/traits académiques ou psychologiques qui lui sont théoriquement liés. Ces traits sont généralement des abstractions, appelées concepts ou construits, qu'on ne peut pas mesurer directement et dont le test est un moyen adéquat pour le faire. La validité de construit renvoie donc à la capacité du test à mesurer des traits tels qu’ils sont définis.

11. Types de validité 3 3. La validité de construit se situe dans un cadre plus général où les preuves visent à démontrer que le construit considéré est relié à d'autre construits de même famille. De ce fait , deux types de validité sont liés à la validité de construit/concept: • la validité de convergence qui signifie que différentes mesures du même construit donnent des résultats similaires. • la validité de différenciation qui veut dire que le test destiné à mesurer un construit est capable de le distinguer d’autres construits.

12. Types de validité 4 4. La validité nomologique Elle est proche de la validité de construit et repose sur un processus très compliqué de validation de concepts, de traits et de caractéristiques. C’est la validation d’un construit dans le cadre d’un réseau de lois. Ce processus repose sur une ou plusieurs théories de base et fait appel à plusieurs sortes de prédictions de variables et à la technique “multi-traits-multi-méthodes”.

13. Types de validité 5 5. La validité prédictive Egalement appelée validité de critère, elle s’intéresse à la capacité du test à prédire les résultats futurs d'une population à une ou plusieurs tâches ou performances dont la relation avec le trait mesuré est prouvée. Elle est démontrée à l’aide d’une mesure appelée critère ou variable prédite (dite aussi dépendante)

14. Types de validité 5 (suite) Les scores observés à l’aide de l’instrument de mesure ayant pour fonction la prédiction ne sont importants et significatifs que dans la mesure où ils permettent de prédire la performance des sujets au critère ou à la variable prédite. En conséquence, la principal préoccupation, lors de la construction d'un test de mesure de ce genre, est de choisir les questions dont les réponses permettront de prédire, avec le maximum de précision possible, la variable critère/prédite.

15. Processus de validation Le processus de validation d’un instrument de mesure est souvent complexe et exige des preuves de validité de contenu, de construit, de validité prédictive et nomologique. Les différences constatées peuvent alors être considérées comme étant: • des différences de degré de précision de l’instrument de mesure; ou • des différences de correspondance entre le concept (construit) considéré et le critère de validation.

16. L’axe validité-fidélité 1 La relation entre la fidélité et la validité nous conduit à noter que toute déficience au niveau de la validité conduit à une réduction de la fidélité de l'instrument considéré. Les deux notions sont concernées par la stabilité des résultats. Cependant, l’instabilité des résultats observés n’affecte pas automatiquement la validité du test.

17. L’axe validité-fidélité 2 Cela dépend bien sur de la nature stable ou changeante du trait mesuré. En effet, si: • la caractéristique (trait) mesurée est supposée être stable, alors tout manque de constance dans les résultats est considéré comme un indice d'erreurs devant porter préjudice à la validité de l'instrument; • la caractéristique est dite instable, alors toute stabilité des scores est source de doute quant à la validité de l'instrument considéré.

18. La relation Validité-Fidélité Il existe une relation significative entre la validité et la fidélité. Le coefficient de validité d'un test (rxy) ne peut être supérieur à la racine carrée de son coefficient de fidélité (rxx). Ce qui revient à dire que la validité d'un instrument dépend, dans une large mesure, de son degré de fidélité. En conséquence, la validité et la fidélité sont des notions interdépendantes.