Caratteristiche psicometriche dei test

1. Caratteristiche psicometriche dei test • Validità • Attendibilità • Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni

2. Validità Validità esterna generalizzabilità delle conclusioni Teoria Costrutto Validità di costrutto ho osservato ciò che volevo osservare Operazionalizzazione Validità interna legame causale tra osservazioni e intervento Intervento Osservazione

3. Validità esterna • Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni • Coinvolge la generalizzabilità. E’ il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti

4. Validità interna –1 • Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto • E’ rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione dell’effetto di un intervento terapeutico, educativo ecc.) In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili all’intervento (causa) e non ad altre possibili cause

5. Validità interna – 2 • Possiamo pensare alla validità interna come a un concetto di “zero generalizzabilità” • La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome) • Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)

6. Validità di costrutto Costrutto Un costrutto psicologico è un’idea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974) I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche

7. Validità di costrutto o Validità rispetto alla funzione • Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione • Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su “quanto bene” abbiamo fatto questa traduzione La validità di costrutto è la verità approssimata della conclusione che l’operazionalizzazione fatta riflette accuratamente il costrutto su cui si basa Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH

8. Idea della Validità di costrutto Teoria Cosa abbiamo in mente Costrutto Una definizione concettuale precisa di cosa abbiamo in mente Programma di misurazione Procedure di osservazione Osservazioni Cosa vediamo

9. Idea della Validità di costrutto La validità di costrutto è una misura (assessment) di “quanto bene” abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione) Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche

10. Criteri per la Validità di costrutto Esempio Definire il costrutto che vogliamo operazionalizzare all’interno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato Valore del sé Espressione del sé Autostima Fornire evidenze dirette che l’operazionalizzazione del costrutto è sotto il nostro controllo Apertura Fiducia in sé Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili

11. Tipi di Validità di costrutto • Validità dell’ operazionalizzazione* • Validità di facciata • Validità di contenuto • Validità strutturale • Validità in relazione a un criterio • Validità predittiva • Validità concorrente • Validità congruente • Validità convergente / divergente • Validità discriminante / differenziale * Trochim (2000): Validità di traduzione (Translation Validity)

12. Validità dell’ operazionalizzazione • La validità dell’operazionalizzazione verifica se l’operazionalizzazione è una buona traduzione del costrutto • L’approccio è legato al processo di definizione Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo l’operazionalizzazione rispetto ad esso

13. Validità in relazione ad un criterio • La validità in relazione a un criterio verifica se l’operazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta • L’approccio è di tipo relazionale Assumiamo che l’operazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta

14. Tipi di Validità di costrutto • Validità dell’ operazionalizzazione • Validità di facciata • Validità di contenuto • Validità strutturale • Validità in relazione a un criterio

15. Validità dell’ operazionalizzazione 1 - Validità di facciata L’operazionalizzazione appare come una buona traduzione del costrutto. Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano l’appropriatezza.

16. Validità dell’ operazionalizzazione 2 - Validità di contenuto • L’operazionalizzazione viene valutata rispetto a domini di contenuto rilevanti del costrutto. L’insieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto. • Il criterio di valutazione è il costrutto stesso. • Occorre verificare la campionatura degli items, la proporzione per area e l’accordo fra esperti sulla rappresentatività degli items.

17. Validità dell’ operazionalizzazione 3 - Validità strutturale • Grado in cui il test misura una struttura teorica o un tratto. • Metodo dell’analisi fattoriale

18. Metodo dell’analisi fattoriale Dato un insieme di misure, l’analisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri

19. Metodo dell’analisi fattoriale - 1 • Analisi fattoriale esplorativa E’ usata a scopo esplorativo per formulare ipotesi Analisi fattoriale esplorativa • Si cerca di interpretare i raggruppamenti in modo da fondare un’ipotesi più precisa Raggruppamenti di variabili • Esempio: metodo delle componenti principali

20. Metodo dell’analisi fattoriale - 2 • Analisi fattoriale confermativa E’ usata a scopo di verifica di un’ipotesi teorica precedentemente definita Si verifica se irisultati dell’analisi fattoriale sono congruenti con l’ipotesi ossia se la confermano Si formula un’ipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto

21. Tipi di Validità di costrutto • Validità dell’ operazionalizzazione • Validità in relazione a un criterio • Validità predittiva • Validità concorrente • Validità congruente • Validità convergente / divergente • Validità discriminante / differenziale

22. Validità rispetto a un criterio • Valuta la prestazione dell’operazionalizzazione rispetto ad un criterio. • Serve per predire come funzionerà l’operalizzazione in base alla teoria da cui è derivato il costrutto. La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.

23. 1 - Predittiva Relazione tra test e criterio (outcome) a distanza di tempo. Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria. Tipi di validità di criterio - 1 (Anastasi, 1976) Criterio Comportamento importante rispetto alla misura da validare ed esterno ad essa. 2 - Concorrente Relazione contestuale tra test e criterio. Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio.

24. Tipi di validità di criterio - 2 3 - Congruente Congruenza (correlazione) tra risultati al test e risultati ad altri test paralleli che misurano lo stesso costrutto. 4 - Convergente / Divergente Grado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi. Convergenza Le misure che devono essere correlate sono in realtà correlate Divergenza Le misure che non devono essere correlate non lo sono in realtà

25. Tipi di validità di criterio - 3 5 - Discriminante / Differenziale Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti. Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.

26. Attendibilità • Si riferisce alla qualità della misurazione in termini di stabilità nel tempoe diconsistenza interna • Non si può calcolare esattamente, ma solo stimare • Occorre integrare l’attendibilità con la validità

27. Attendibilità • Attendibilità test-retest • Attendibilità come coerenza interna • Attendibilità per forme parallele

28. Attendibilità TEST-RETEST • E’ un indicatore della stabilità del test. • Si misura correlando i punteggi degli stessi soggetti allo stesso test ripetuto due volte. • Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)

29. Errori di misurazione • Condizioni dei soggetti • Caratteristiche del test • Istruzioni scadenti • Codifica soggettiva • Manipolabilità della risposta • Fattori di distorsione • Intervallo di tempo • Livello di difficoltà • Campionamento dei soggetti • Dimensione del campione (almeno 100)

30. Attendibilità come COERENZA INTERNA • Grado in cui tutte le parti del test misurano la stessa variabile. • Correlazione item-totale • Omogeneità degli items • Attendibilità split-half • Alpha di Cronbach

31. Correlazione item-totale Correlazione tra punteggio di ciascun item e punteggio totale al test Omogeneità degli items Correlazione media degli item fra loro Alpha di Cronbach - Formula 20 di Kuder-Richarsdson, KR20 Covarianza media fra gli item α = k(1 – Σσ2i) k-1 σ2t K = n° item Σσ2i = somma varianze item Σ2t = varianza totale test

32. Attendibilità split-half • - Divisione del test a metà • Correlazione delle due metà del test fra loro (item pari – item dispari) • Legame attendibilità-lunghezza (10 item) Formula profetica Spearman-Brown rkk = kr(media) ij 1 + (k – 1) r(media)ij rkk = attendibilità K = n° item r(media)ij = correlazione media fra item

33. Attendibilità per FORME PARALLELE • Correlazione tra forme parallele dello stesso test (r = 0,90) • Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio

34. Attendibilità - sintesi • Test-retest • Correlazione degli item di un test somministrati in 2 occasioni • Coerenza interna • Correlazione degli item all’interno di un test • Forme parallele • Correlazione di 2 campioni di item presi dallo stesso dominio di item