Criteri e strumenti per la creazione di prove di verifica

1. Criteri e strumenti per la creazione di prove di verifica 1) Testing: tra tecnica e arte Gianfranco Porcelli 26 febbraio 2010 Città del Messico Istituto Italiano di Cultura

2. Premessa • Le condizioni in cui si inquadrano le operazioni di testing negli IIC e in altre sedi non sono ottimali, se comparate con le condizioni nelle quali lavorano gli Enti Certificatori e alcuni Centri Linguistici Universitari • Malgrado ciò, la presa di coscienza rispetto alle strategie e tecniche migliori può essere di valido aiuto.

3. Oggetto dell’esame • Idealmente: tutto • Realisticamente:un campione • Restrizioni a causa di: • limiti di tempo • affaticamento dell’esaminato • (in)disponibilità di strumentazione • P.A.C.E.

4. Campionatura • Il più possibile estesa • il più possibile rappresentativa • Problemi: • le percentuali significative • ciò che non esaminiamo perché non sappiamo come fare

5. Oggettività: un mito? • Prove oggettive • univocità della risposta esatta • predeterminazione del punteggio • Oggettive nella tecnica di risposta, soggettive nella scelta del campione, del livello, dei materiali, della strumentazione… • Obiettivo realistico: riduzione della soggettività

6. Pre- e post-testing • Il test “una tantum” • La banca di quesiti e le analisi post-test • - indice di facilità • - indice di discriminazione • - analisi dei distrattori

7. Facilità e discriminazione • Indice di facilità (IF): percentuale delle risposte corrette sul totale delle risposte attese (G * 100 / N) • Indice di discriminazione: rappresenta la tendenza di un quesito ad ottenere risposte esatte dagli studenti migliori

8. Facilità e discriminazione

9. Riduzione della soggettività • Produzione scritta: • Contenuto • appropriato / fuori tema • originale / banale • consapevole delle differenze interculturali / non… • Forma • lessico • vocaboli • espressioni idiomatiche • sintassi • morfologia • ortografia • …

10. Processi di riduzione • a) attribuzione di un giudizio su ciascuno dei fattori individuati • presuppone l’attribuzione di “pesi” a seconda del rilievo dei fattori • b) attribuzione di un giudizio complessivo tenendo conto della gerarchia dei fattori • Fonti di ponderazione o gerarchizzazione: • il QCER • gli obiettivi locali e/o la politica degli IIC

11. Le risposte a caso • Il Totocalcio • La correzione del “tirare a indovinare” (guessing) Pc = E – S / (A – 1) • superamento della scelta binaria “secca” (V/F) – meglio V/F/ND (non dichiarato, non disponibile, non documentato nel testo) • controllo del funzionamento dei distrattori

13. Ansia da test

14. La bella notizia

15. Clever…

16. Verare e falsare

17. Bleah!

18. Non solo Linus / 1

19. Non solo Linus / 2

20. La forza e il movimento

21. Oggettività e realismo • Ciò che si guadagna in oggettività si perde in realismo • Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione

22. padronanza / livello

23. Padronanza e livello • “Padronanza” (achievement / attainment) commisurata all’apprendimento di quanto previsto in un determinato programma di studi e/o insieme di materiali didattici; • “livello” (proficiency) commisurato a quadri di riferimento esterni e alla competenza comunicativa in situazione. • Problema: l’altalena a mezz’aria – nessuno dei due bimbi ha i piedi per terra.

24. La verifica del profitto come comunicazione • Tre termini cruciali: • Verifica • Profitto • Comunicazione

25. La verifica del profitto come comunicazione • Verifica e valutazione • La ‘misurazione’

26. Verifica¹ Valutazione

27. La verifica… (1: di che cosa?) • Oggetto della verifica è la performance, ciò che lo studente “esterna”, comeindice e campione della competence: a) indice, perché può condurre a intuire processi mentali e abilità complesse; b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...

28. Input, Intake, Output

29. La verifica… (2: quali parametri?) • La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale • La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato • La comprensione interculturale, grande obiettivo di fondo da non dimenticare

30. Coerenza delle verifiche •  con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi; •  con gli obiettivi della verifica. • Senza tale coerenza il test è privo di VALIDITA’.

31. Validità dei test • Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro. • Test “di intelligenza” o “di lingua” ? Parametri della validità: • Pertinenza; • Accettabilità; • Comparabilità; • Economia.

32. ...del profitto... CALIBAN: You taught me language, and my profit on’t Is, I know how to curse; the red plague rid you, For learning me your language! W. Shakespeare, The Tempest, I, ii, 363 [Italiano lingua seconda per i colf, 1611]

33. …come comunicazione. a) coerente con un approccio comunicativo; b) come comunicazione operativa di obiettivi.

34. Misurare: si può? • Unità di misura • Lo zero • Gauss e “distanze relative” • Misurare, in senso stretto, non si può.

35. La distribuzione normale delle frequenze • Ovvero, anche il caso ha le sue regole

36. Poligono frequenze 1 dado

37. Poligono frequenze 2 dadi

38. Poligono frequenze 3 dadi

39. Poligono frequenze 3 dadi

40. Poligono frequenze 4 dadi

41. Poligono frequenze 5 dadi

42. Poligono frequenze 6 dadi

44. Statica o dinamica? • giovedì: 40° • venerdì: 39° • sabato: 37° • domenica: 36° • lunedì… ?

45. Verifiche statiche e dinamiche • Controllo del prodotto (“fotografia”) • Controllo dei processi (“cinepresa”) • alta definizione, 3D, ecc.: quali speranze per il testing?

46. Norma e Criterio • “Norma”: riferimenti interni. • Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo scolaro). • “Criterio”: riferimenti esterni • Il richiamo al “criterio” è un raffronto con parametri esterni — ad esempio, quelli offerti da Quadro Europeo di Riferimento (è un raffronto di norma impossibile per lo scolaro).

47. La “sufficienza” • Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda); • “dieci euro sono sufficienti?” • criterio: il bene o servizio da acquistare • Sufficienza “relativa” o “normale”, ossia scolastica • “mio figlio è sufficiente?” • criterio: le attese dell’insegnante.

48. Conoscenza delle lingue... •  Ottima •  Sufficiente •  Scolastica • Da questo punto di vista l’insegnamento dell’italiano a stranieri in Italia è molto più realistico e attento all’extra-scuola

49. Descrittori Produzione Scritta A • A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo. • A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.

50. Descrittori Produzione Scritta B • B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni. • B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.