PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI

1. PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI Seminario provinciale rivolto ai docenti della scuola secondaria di primo e secondo grado Rilevazioni INVALSI: finalità, prove e risultati

2. Le prove INVALSI Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente a due ambiti fondamentali: la comprensione della lettura e la matematica. In termini ancora più espliciti, mediante le prove del Servizio nazionale di valutazione (SNV) si vuole giungere a una misura dei livelli di apprendimento nei suddetti ambiti, comunemente ritenuti condizione necessaria per un accesso consapevole alla cittadinanza attiva.

3. Le prove INVALSI Complessivamente sono state coinvolte circa 14.400 scuole, 112.500 classi e 2.250.000 studenti; è stato individuato un campione di scuole, statisticamente rappresentativo, i cui risultati costituiscono la base del Rapporto sugli esiti del Servizio nazionale di valutazione 2011 e della Prova nazionale 2011. Il campionamento è stato effettuato su base regionale, coinvolgendo complessivamente 3.851 scuole, 7.810 classi e 166.199 studenti. Nella prova nazionale sono state coinvolte 5.969 scuole, 27.646 classi e 586.790 studenti. Il campionamento, effettuato su base regionale, ha riguardato 1.312 scuole, 1312 classi e 28.361 studenti. .

4. La finalità della rilevazione L’INVALSI ritiene che la finalità ultima della misurazione degli apprendimenti risieda nel fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro. L’INVALSI si pone dunque come Istituto al servizio della singola scuola. Da ciò derivano alcune indicazioni molto precise circa la natura e la finalità del processo di rilevazione.

5. Costruzione di una prova La costruzione di una prova standardizzata richiede grandi sforzi e tempi piuttosto lunghi, mai inferiori ai 15-18 mesi, e il rispetto di una procedura molto articolata e complessa. Per realizzare il compito di reperire un grosso numero di domande di elevata qualità, l’INVALSI si avvale della fondamentale collaborazione di oltre 200 docenti ed esperti provenienti dal mondo della scuola e dell’università. Essi, sulla base di indicazioni fornite dall’istituto e in relazione al QdR, producono proposte di quesiti o di intere prove da sottoporre al vaglio di una commissione di esperti nazionali e internazionali che opera presso l’INVALSI.

6. Quadro di riferimento Le prove standardizzate, somministrate su larga scala, si basano su un quadro di riferimento pubblico( http://www.invalsi.it/snv1011/) che rende espliciti i contenuti delle prove, le tipologie di domande, i processi cognitivi indagati e i compiti richiesti agli allievi. Nel documento si spiegano i criteri di scelta dei quesiti, dei testi delle prove di comprensione della lettura e le modalità di selezione delle singole domande. La conoscenza dei quadri di riferimento delle diverse discipline è fondamentale, inoltre, per comprendere il reale valore informativo delle prove, ma anche i limiti delle prove stesse. Tutte le prove del Servizio nazionale di valutazione, prima di arrivare alla loro stesura definitiva, sono preliminarmente testate.

7. La comparabilità dei risultati Affinché le scuole possano utilizzarli a fini diagnostici, l’INVALSI provvederà a restituire i risultati della misurazione degli apprendimenti sia in forma grezza, sia depurati dai dati di contesto e da tutti quegli elementi estranei all’attività della scuola, che possono influenzare il profitto degli alunni. L’INVALSI sta provvedendo a raccogliere gran parte delle informazioni su questi fattori esterni dalle fonti amministrative esistenti, nel tentativo di ridurre il lavoro a carico delle scuole. Solo in assenza di fonti alternative verrà richiesta la collaborazione delle scuole stesse. Tale supporto sarà fondamentale per i dati riguardanti le condizioni socio-economiche e culturali delle famiglie di origine degli studenti e i processi attivati nella scuola.

8. Le Prove II primaria: prova preliminare di lettura, prova di Italiano, prova di Matematica(livello 2), V primaria: prova di Italiano, prova di Matematica, questionario studente(livello 5), I sec. I gr.: prova di Italiano, prova di Matematica, questionario studente(livello 6), III sec. I gr. (Prova nazionale): prova di Italiano, prova di Matematica(livello 8), II sec. II gr.: prova di Italiano, prova di Matematica, questionario studente(livello 10).

9. I contenuti delle prove: secondaria I grado (2010) Italiano: • Testo narrativo: 20 domande • Testo espositivo-argomentativo: 13 domande • Grammatica: 9 domande • Matematica: • Numero quesiti: 30 domande • Ambiti: • NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI Questionario studente: 23 domande

10. I contenuti delle prove: Prova Nazionale (2010) III secondaria di primo grado Italiano: • Testo narrativo: 19 domande • Testo espositivo-argomentativo: 19 domande • Grammatica: 11 domande Matematica: • Numero quesiti: 26 domande • Ambiti: • NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI

11. I contenuti delle prove: secondaria di II grado (2010) Italiano: • Testi narrativi: 19 domande • Testi espositivo-argomentativi misti: 19 domande • Grammatica: 12 domande Matematica: • Numero quesiti: 30 domande • Ambiti: • NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI Questionario studente: 21 domande

12. I Nuclei tematici La divisione dei contenuti in grossi blocchi è ormai condivisa a livello internazionale

13. I formati delle prove Prove ordinarie: fascicoli in formato cartaceo Formati speciali: • formato elettronico (prove su file), • formato ingrandito (24pt, 48pt), • formato Braille, • formato audio (.mp3)

14. Disegno della rilevazione Censuaria:tutte le classi dei livelli interessati delle scuole, statali e paritarie. Classi-campione: • rappresentatività regionale e per macro-indirizzo (solo sec. II gr.) • una o due classi per scuola campionata, • osservatore esterno per ogni classe campionata, • trasmissione elettronica dei risultati.

15. Caratteristiche “misuratorie “di una prova standardizzata • Gli strumenti tecnico-statistici principali con i quali comunemente vengono valutate le caratteristiche misuratorie di una prova standardizzata sono: • valutazione generale di affidabilità della prova mediante l’indice α di Cronbach; • 2. la Rasch Analysis per la stima della difficoltà delle domande; • 3.placement relativo delle domande rispetto al punteggio di Rasch • assegnato a ciascun allievo; • 4. l’indice di discriminazione statistica.

16. Indice α di Cronbach • L’α di Cronbach, permette di esprimere una valutazione sintetica e generale sulla coerenza complessiva della prova e quindi sull’attendibilità delle informazioni che da essa si possono desumere. Più precisamente, l’α di Cronbach consente di comprendere se l’oggetto della valutazione di una prova ha caratteristiche prevalenti di unitarietà o meno ovvero, in termini più espliciti, se le domande che compongono la prova sono tra loro coerenti e volte alla misurazione dello stesso oggetto. • L’α di Cronbach è un indice che ha come estremi 0 e 1 e tanto più si avvicina ad 1, tanto maggiore è la coerenza complessiva della prova oggetto d’interesse. La letteratura psicometrica fornisce • valori di riferimento che definiscono degli standard generalmente accettati per esprimere un primo giudizio orientativo sulla coerenza generale di una prova

17. La qualità delle prove

18. La RaschAnalysis (RA) • La principale caratteristica della RA è quella di ottenere sulla • stessa scala la stima della difficoltà di ciascuna domanda e la misura del livello di prestazione del rispondente. • La RA consente inoltre di focalizzare l’attenzione non solo sull’intera prova, ma anche sulle singole domande, poiché per ogni quesito viene stimato il livello di difficoltà sulla stessa scala sulla quale è misurato il livello di performance di ogni allievo.

20. Il placement relativo delle domande rispetto al punteggio di Rasch • Il placement ideale è dato da una distribuzione della difficoltà delle domande in grado di coprire tutto l’intervallo della scala su cui insistono i livelli di apprendimento degli allievi.

21. L’indice di discriminazione statistica • La correlazione punto-biseriale rappresenta la correlazione • tra la probabilità di scegliere una data opzione e l’abilità complessiva dell’allievo.Tale legame deve essere negativo, ovvero inverso, per le opzioni di risposta non corrette e positivo solo per quella esatta.Più precisamente, una domanda a risposta multipla è ben formulata se, in media, coloro che rispondono correttamente a quella domanda lo fanno anche in buona parte delle altre.

23. I primi risultati (a.s. 2010-2011) Percentuali di risposte corrette nelle prove SNV e PN

25. Terza secondaria di I grado: MATEMATICA

26. Terza secondaria di I grado: ITALIANO

27. La classe terza della scuola secondaria di primo grado: la Prova nazionale

28. La classe seconda della scuola secondaria di secondo grado Per la prima volta le prove del Servizio nazionale di valutazione hanno coinvolto su base censuaria anche la scuola secondaria di secondo grado. Come previsto dalla direttiva 67/2010, tutte le classi seconde della scuola secondaria di secondo grado hanno sostenuto una prova di comprensione della lettura e di grammatica e di Matematica. Le prove somministrate agli allievi non sono state differenziate rispetto agli indirizzi di studio, puntando principalmente sulla misurazione delle abilità e delle competenze essenziali al termine dell’obbligo scolastico, sono costruite per misurare e verificare aspetti comuni a tutti i corsi di studio della scuola secondaria di II grado

29. Seconda secondaria di II grado: ITALIANO

30. Seconda secondaria di II grado: MATEMATICA

31. La classe seconda della scuola secondaria di secondo grado

32. Seconda secondaria di II grado

33. Alcuni spunti di riflessione Le differenze territoriali L’evoluzione dei risultati nei livelli I tempi di somministrazione Risultati positivi: ottimi tassi di risposta (crescenti), maggiore «adesione» alle domande aperte, specie quelle argomentative di matematica Aspetti da migliorare: la comprensione dei testi argomentativo-espositivi, l’uso della punteggiatura e dei tempi verbali, la geometria, …

34. I RISULTATI DELLE PROVE Nelle prove di italiano i ragazzi mostrano maggiore facilità nel rispondere alle domande dei testi narrativi rispetto a quelle dei testi espositivi e argomentativi. Emergono sia elementi positivi, come la corretta interpretazione da parte degli studenti di una voce del dizionario, sia aspetti negativi come l’errato utilizzo della punteggiatura e dei tempi verbali. In matematica gli studenti incontrano difficoltà maggiori nei quesiti che fanno riferimento a geometria Nella scuola del primo ciclo si riscontra, come dato positivo, una sensibile riduzione delle omissioni alle risposte. Nella scuola secondaria di secondo grado, invece, si nota ancora una tendenza a saltare le domande a risposta aperta.

35. Sfide per il futuro • Ampliamento della «scala» di misura, soprattutto per le prove di Italiano • Ancoraggio delle prove • Prospettiva diacronica • Ancoraggio con i dati di contesto (valore aggiunto) • Ampliamento del quadro di riferimento e rafforzamento del legame con le Indicazioni

36. ITALIANO: risultati medi Roberto Ricci – 25 ottobre 2011

37. MATEMATICA: risultati medi Roberto Ricci – 25 ottobre 2011

38. II sec. di II grado:differenze negli indirizzi - Italiano

39. II sec. di II grado:differenze negli indirizzi -Matematica

40. Alcune considerazioni • Consolidamento del rapporto con le scuole • «Tempistica» adeguata • Introduzione di più tecnologia • Rafforzamento della valenza per (e non su) la scuola della misurazione • Formazione /informazione

41. I risultati a livello di scuola: leggere i dati (1) Livello V primaria - scegli codice classe: 412044720501 Livello V primaria - scegli codice classe: 412044720502 Livello V primaria - scegli codice classe: 412044720503

42. I risultati a livello di scuola: leggere i dati (2) • Globale • per Nazionalità • per Regolarità (del percorso) • per Sesso • per Dettaglio Risposte

43. I risultati a livello di scuola: leggere i dati (3)

44. I risultati a livello di scuola: leggere i dati(4) L 3 L 4 L 2 L 5 L 1 L 6 25% 25% 15% 15% 10% 10% 1° decile 10° pc 1° quartile 25° pc Mediana 50° pc 3° quartile 75° pc 9° decile 90° pc

45. I risultati a livello di scuola: leggere i dati (5)

46. La varianza tra classi e tra alunni (1)

47. La varianza tra classi e tra alunni (2)

48. Il valore aggiunto • con la differenza tra il punteggio medio grezzo di tale scuola e quello medio generale di un certo territorio, • mediante la misurazione dei progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), • per mezzo della differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), • mediante il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola.