L’indagine OCSE-PISA (Programme for International Student Assessment) gli strumenti di lavoro

1. L’indagine OCSE-PISA(Programme for International Student Assessment)gli strumenti di lavoro INVALSI ipon@invalsi.it

2. I questionariscuola, studente, genitorinell’indagine OCSE-PISA

3. Che questionari si raccolgono?

4. Questionaridi base: • QuestionarioScuola; • QuestionarioStudente. Questionarifacoltativi: • Questionariosulpercorsoscolastico; • Questionario TIC; • QuestionarioGenitori. Domandenazionali : • I Paesihannoinoltre la facoltàdiincludere, se necessario, un numerolimitatodi items diinteressenazionale.

5. A cosaservonoiquestionarinelleindaginiinternazionali sui sistemiscolastici?

6. Ruolodeiquestionarinelleindaginiinternazionali sui sistemiscolastici In tutti iPaesisiraccolgonoregolarmentedatistatistici (sullescuole, gliinsegnanti, glialunni), indispensabili per la gestione del sistemascolastico. Nellevalutazioninazionalisucampionidiscuolesonospessousatideiquestionari per capire se le differenzedipunteggiosservatefraregioni, fraistitutiscolastici o fragruppidialunnisono associate a particolaricaratteristichedeglialunnistessi, dell’ambientescolastico, dellepratichepedagogiche, ecc.

7. Ruolodeiquestionarinelleindaginiinternazionali sui sistemiscolastici Nelle indagini internazionali come TIMSS, PIRLS o PISA, i questionari servono inoltre a raccogliere informazioni sulle caratteristiche che potrebbero essere associate a differenze di punteggi fra i diversi sistemi scolastici. Certe ipotesi sul funzionamento della scuola possono essere studiate solo confrontando dati a livello internazionale.

8. Esempio 1: L’etàdiiniziodellascuolaprimaria Le normative sono generalmente le stesse per tutte le scuole in un dato Paese: • Si comincia a 5 anni in diversi Paesi anglosassoni; a 6 anni in molti Paesi europei; a 7 anni in alcuni Paesi scandinavi. Una indagine nazionale non potrebbe dire se anticipare o ritardare di uno o due anni l’inizio della scuola sia nocivo o meno per gli apprendimenti. Il confronto internazionale indica che la variabile non è associata a differenze significative dei risultati in lettura o matematica.

9. Esempio 2: Le ripetenze La promozione è automaticadurante la scuoladell’obbligo in certiPaesi. In altriPaesi le ripetenze sono tollerate, ma solo in casieccezionali. In altriancora, sono una delle pratiche più comuni per il recuperodeglialunni in difficoltà. Le indagininazionalisuggeriscono di solitoche le ripetenze sono poco efficaci. Le indaginiinternazionaliconfermanocheneiPaesi con promozioneautomatica non si osservanessunimpattonegativosul cursus scolasticodeglialunni più deboli.

10. Esempio 3: Libri di testo e compiti a casa Certecorrentipedagogichesuggeriscono, con argomenticonvincenti, che va ridotto l’uso dei libri di testo o che non vanno più daticompiti a casa. Argomentiteoricialtrettantoconvincentisuggeriscono il contrario. Le indagininazionalipermettono di verificarefino a chepunto sono rispettate le direttiveufficiali di un datoPaesequandoesistono simili divergenze di opinione. Le indaginiinternazionaliinformanosull’esito, in termini di apprendimenti, delle politiche messe in attoneidiversisistemiscolastici.

11. Esempio 4: Relazionefraapprendimentie background socio-economicodeglialunni In tutti i Paesi si osserva che gli alunni di origine modesta hanno un handicap significativo a scuola, in confronto agli altri. Le indagini internazionali mostrano che non è necessariamente vero. Le caratteristiche organizzative dei sistemi scolastici condizionano la correlazione fra status scocio-economico e profitto a scuola che è molto alta in certi Paesi, molto meno in altri.

12. Il framework deiquestionari PISA

13. A cosa serve il framework dei questionari PISA? Identifica le informazioni che sarebbe bene raccogliere, in funzione degli obiettivi dell’indagine. Le ordina in un modello analitico, che sarà alla base delle diverse analisi statistiche da svolgere. Specifica il contenuto di ciascuna cellula del modello, appoggiandosi sulla letteratura scientifica disponibile. Tiene conto dei limiti concettuali e operazionali dell’ indagine (design, tempi di somministrazione accettabili) per definire gli aspetti che possono o non possono essere coperti dai questionari. Suggerisce l’ordinamento pratico degli strumenti (quali questionari, a chi devono essere somministrati, ecc.).

14. Variazioni da ciclo a ciclo Un terzo circa dellevariabiliraccoltetramiteiquestionarirestanoidentiche in tutte le indagini, per assicurare la continuitànelleanalisi. Un altroterzo circa sonospecifiche all’ambito principale di ciascunciclo (la matematica nel PISA 2003, le scienze nel PISA 2006, la lettura nel PISA 2000 e 2009). Vengono indagati in particolare: • Gliaspettiaffettivi (interessedellostudente per la materia, la percezioneche ha dellapropriacompetenza in quellamateria; se glipiace fare attivitàcollegate); • La descrizionecheglistudentifannodelleattivitàdidattichepropostedall’insegnantediquellamaterianellaclassechefrequentano. L’ultima parte serve a raccoglieredatisutemipuntuali, considerati come rilevanti per le politiche educative deiPaesipartecipanti (es. politichedi “accountability”; fenomenilegatialla “shadow education”).

15. Robustezza delle variabili Controllodellaterminologia : • Delle procedure complessesononecessarie per assicurarsichei termini usati in ciascunPaesefaccianoriferimento a nozioniequivalenti (come sichiamano la “terza media” o le “lezionidisostegno” in Tailandia?). Una sola domanda non basta per raccogliereinformazionisucertedimensioni (es. Climadisciplinare, motivazione per la lettura): • Sonospessousatigruppididomandesuunostessotema, che poi servono a derivareun’indicatoreaggregato, di cui èpiù facile verificarel’affidabilitàel’equivalenzainternazionale con apposite analisistatistiche.