La valutazione delle competenze linguistiche: concetti modelli metodi

1. La valutazione delle competenze linguistiche: concetti modelli metodi Centro per la valutazione e la Certificazione Linguistica (CVCL) Giuliana Grego Bolli giuliana.bolli@gmail.com Spoleto, 27 novembre 2013

2. Questa presentazione in 4 punti • Valutazione (linguistica) in prospettiva disciplinare e contesto italiano • Terminologia di base • Qualità nella valutazione linguistica • Preparazione degli insegnanti: se e quanto gli insegnanti di italiano lingua non materna devono essere competenti e preparati in questo specifico settore • (Metodi)

3. La Valutazione (non solo linguistica) e il contesto italiano • Mancanza di una “cultura” della valutazione all’interno del sistema educativo italiano (Valutazione come disciplina e non come parte indefinita e indistinta della competenza ed esperienza dell’insegnante) • Mancanza diffusa di preparazione specifica, sistematica e professionalizzante degli insegnanti in questo settore • Discipline pedagogiche (Pedagogia sperimentale) • INVALSI (valutazione esterna)

4. Perché? (1) • Ragioni culturali/filosofiche: opposizione fra empirismo (anglossassone) e neoidealismo (italiano). Il concetto della conoscenza empirica (alla base della ricerca scientifica) non è comune al neoidealismo italiano, che nega sostanzialmente alla scienza valore conoscitivo. • Ragioni storico-sociali e linguistiche: l’italiano è stato per secoli lingua letteraria colta e non lingua d’uso diffusa fra la popolazione per cui la la ricerca linguistica in Italia ha una grande tradizione storico filologica, piuttosto che applicata.

5. Perché? (2) • Nel mondo anglosassone all’interno della Linguistica Applicata si è sviluppato un approccio disciplinare alla Valutazione linguistica (Language Testing) (sotto-disciplina) • Linguistica applicata, secondo Chris Brumfit (1997): “the theoretical and empiricalinvestigation of real world problems in whichlanguageis the centralissue” • Mancanza di una disciplina di riferimento (valutazione linguistica).

6. Qualche riferimento utile per un primo approccio al Language Testing: • ILTA (International Language TestingAssociation): www.ilta.org • EALTA (European Language TestingAssociation): www.ealta. eu.org • ALTE (Association of Language Testers in Europe): www.alte.org • CVCL (Centro per la Valutazione e le Certificazioni linguistiche – Università per Stranieri di Perugia): www.cvcl.it • Language Testing • Language AssessmentQuarterly • Studies in Language Testing Series • Companion to Language Assessment

7. Il processo valutativo è di tipo interpretativo/argomentativo • Partiamo dalla performance (dato) di uno studente in una prova • Questa performance genera un risultato (punteggio, giudizio, grado, ecc) • L’interpretazione del risultato e l’uso che ne viene poi fatto (giustificato su basi teoriche e supportato da evidenze empiriche) va al di là del dato (limitato esempio di performance) e si estende a situazioni di uso della lingua nella vita reale • Si procede quindi per inferenze e deduzioni

8. Un po’ di terminolgia….verifica, valutazione, test/prova

9. Teminologia: verifica e valutazione • Indicano momenti diversi di un processo complessivo: processo valutativo • Sono spesso usati in modo interscambiabile • Non c’è valutazione senza verifica, anche se ci può essere verifica senza valutazione

10. Terminologia: Verifica • L’accertamento sistematico (che segue principi -norme/standard - sia teorici che di buona prassi condivisi sia dalla comunità scientifica che professionale) ed organizzato delle conoscenze/competenze d’uso/abilità (il cosa)presenti in chi si sottopone alla verifica, vale a dire nei soggetti da valutare (gli studenti/apprendenti) • Parlare di accertamento sistematico di abilità e competenze significa parlare di metodi (il come) • Imetodi/le tecniche/ i formati, di verifica non sono ‘neutrali’ • Non esistono metodi“buoni” o “cattivi” in assoluto

11. Terminologia: Valutazione • Raccolta sistematica di informazioni (in parte - si pensi al contesto scolastico - fornite dalla verifica) per poter esprimere un giudizio o assegnare un punteggio • In entrambi i casi vengono prese delle decisioni • Valutazione è il momento in cui si prendono delle decisioni – potere della valutazione –impatto della valutazione • La valutazione è il più potente strumento di comunicazione didattica • La valutazione diventa strumento importante in termini di mobilità internazionale e di promozione del pluringuismo

12. Terminologia: Test o prova standardizzata o esame(singolo momento) • Nel dizionario della OUP troviamo questa definizione: • “Un breve esame di conoscenze o abilità, che consiste nel rispondere a determinate domande o nel portare avanti determinate attività”

13. Secondo un’accezione più tecnica il termine test/prova/esame • È espressione di unmetodo per raccogliere informazioni (legato alla verifica) • utilizza procedure standard per la sua costruzione • ha come obiettivoaccertare conoscenze o abilità • è sempre relativo a ‘qualcosa’che a seconda delle circostanze può essere: la storia, la geografia… la competenza linguistica • questo ‘qualcosa’ deve essere definito e descritto (quanto meno “essere nella mente” di chi costruisce il test) • Costruire test/prove ci aiuta a riflettere su cosa vogliamo verificare e indirettamente sul nostro stesso insegnamento

14. Chi ècoinvoltonelprocessovalutativo? Unalistadeipossibiliutenti (stakeholders)

15. Utenti • Insegnanti • Studenti • Famiglie • Istituzioniscolastiche/universitarie • Scuole private di lingua • Istituzionigovernativenazionaliedinternazionali • Datori di lavoro/Agenzie per l’impiegonazionaliedinternazionali/ ordiniprofessionali • Ricercatori/mondoaccademico • Società (es. contesto di immigrazione)

16. Gli utenti (stakeholders) coinvolti ci invitano a rifletteresulla responsabilitàsocialeededucativa del processovalutativo e sullanecessità di una preparazione e formazioneprofessionale di chi prepara test/prove, di chi li amministra e di chi li correggee valuta – garanziadellaqualitàdellavalutazione

17. Qualità nella valutazione linguistica

18. L’applicazione di questiconcettial processo di produzionedi test linguisticicostituisceunagaranzia di qualità Processo di Validazione di un test • Validità (validity) • Affidabilità (reliability) • Autenticità (authenticity) • Fattibilità (practicality) • Equità (fairness) • Utilità/spendibilità (usefulness) • Impatto (impact) • Eticità (ethical test use)

19. Validità La Validità riguarda l’interpretazione dei risultati, le inferenze sui risultati (punteggi, gradi, giudizi) e quindi l’uso che viene fatto del test e rappresenta, generalizzando, la vera, più importante qualità di un test Dalla Validità come concetto teorico e quindi astratto della prospettiva tradizionale si è passati (fine anni ‘80) a parlare di Validazione o meglio di processo di validazione intendendo un’analisi del processo di produzione di un test che fornisca evidenze a supporto delle inferenze sui risultati di un test

20. Impatto (Impact) L’effetto/le conseguenzegenerato/e da un test/prova/esame, siasull’insegnamento (aspettoeducativo-backwash effect), sia sui singoliindividui, siasullasocietà (aspettosociale-washback effect). Le conseguenzepossonoesseresia positive sia negative. Si puòparlare di impatto a livello micro (l’individuo) e a livello macro (educazione e società) Sonostaticondottimoltistudi e ricerchesull’impatto Il concetto di impattoèconsiderato parte del macro-concetto di validità

21. Eticità I test linguistici non vengonoprodottie soprattuttousatinelvuoto ma all’interno del sistemaeducativo e dellasocietà. Questo li pone a rischio di usipolitici e anche di potenzialiabusisulla base del loropoteredecisionale e discriminatorio L’unicarispostapossibile a questoconcretoedattualerischioè la professionalità di chi produce, amministra e valutapartendodallaformazionedei language testers e dal rispetto di codicieticielaboratidallesocietàscientifiche (ILTA, EALTA)

22. Cosafa di un test linguistico(valutazionesommativa) un “buon” test linguistico? (test “interni” o “esterni” ma sempreall’interno di un datosistemaeducativo) • devetenerepresentiprogrammi e obiettivi di apprendimento/insegnamento • deveintegrarsi con l’approccioall’insegnamentosia per icontenutiche per imetodi • deveavereun contenutoappropriato (caratteristichedeidiscenti, livello) • devemotivare • deveesseretecnicamente ben costruito • deveverificarealmenotutte e 4 le abilità di base (valutazionesiaformativasiasommativa) ( ad es. se non verifichiamo la prod. orale, diamoilmessaggioche non èritenutaimportante)

23. Considerazioni finali sulla valutazione e sulla preparazione degli insegnanti: necessaria/non necessaria, fino a che punto….

24. Gli insegnanti devono essere formati/preparati in valutazione? • E’ innegabile che la valutazione faccia parte del processo di insegnamento-apprendimento • Si parla di valutazione come del più importante/efficace strumento di comunicazione didattica • Cowan (1998) da questa definizione di valutazione: “the enginethatdriveslearning” • E’ stato dimostrato che un insegnante dedica da un terzo alla metà del suo tempo di lavoro alla valutazione

25. Vero ma…. • Gran parte degli insegnanti si occupa di valutazione senza aver appreso in modo sistematico i principi di una valutazione consapevole, di qualità e teoricamente fondata • Questo fenomeno è trasversale vale anche nel mondo anglosassone (Stigging 2007)

26. Che cosa può significare per un insegnante avere la necessaria preparazione in valutazione? • Capire come definire chiari obbiettivi di insegnamento/apprendimento • Capire quali metodi di verifica usare al fine di raccogliere informazioni affidabili sull’apprendimento degli studenti • Capire come usarli • Capire come comunicare risultati attendibili/significativi indipendentemente dal modo con cui vengono comunicati: punteggi, gradi, giudizi, ecc • Capire come usare la valutazione per massimizzare motivazione e apprendimento, coinvolgendo gli studenti nel processo valutativo

27. Metodi • Soggettivi • Oggettivi • Diretti • Indiretti

28. Ci fermiamo qui….Grazie!

29. C’è una relazionetra valutazione linguistica e insegnamento? • “Webelievethatlanguagetesters can serve linguistictheory by examining the way in whichtheirtests work, howtheirdifferentcomponents interrelate, and whattheyrevealaboutcandidates’ languageproficiency. Insights from suchanalysis of test resultsshouldcontribute to the development of a betterunderstanding of whatisinvolved in knowing and usinglanguage” (Alderson and Clapham 1992 Appliedlinguistics and languagetesting. AppliedLinguistics. 13: 164) • E inoltre innegabile che metodi di verifica possono influenzare l’insegnamento in classe, così come nuove teorie sull’apprendimento/ insegnamento influenzano le pratiche valutative

30. Utenti “tecnici” vale a dire chi contribuisceallaproduzionesomministrazione e valutazione di un test o di un esame • Chi produce test/prove (item writers-test producers) • Chi amministra/somministratest/prove (test administrators) • Chi corregge test/prove scritte e orali e/o chi assegnapunteggi o formula giudizi(examiners)

31. E’ possibile distinguere varie tipologie di test linguistici secondo tre possibili categorizzazioni • Uso che viene fatto dei risultati del test: • Costruzione del test • Espressione dei giudizi e attribuzione dei punteggi relativi al test

32. Uso che viene fatto dei risultati: • Test di piazzamento (placementtests): per assegnare gli studenti a classi di livello diverso, • Test di profitto (achievementtests): per stabilire segli studenti (e il corso) hanno raggiunto gli obiettivi preposti. • Test diagnostici: perindividuare i ‘punti di forza e di debolezza’ di ciascun discente per predisporre azioni adeguate di sostegno. • DIALANG: test diagnostici computerizzati (14 lingue, compreso l’italiano) (5 moduli: lettura, scrittura, ascolto, strutture grammaticali e lessico) calibrati sui 6 livelli del QCER • Test di proficiency: per verificare la competenza di un candidato in una data lingua indipendentemente dal percorso formativo (certificazioni linguistiche)

33. Costruzione del test • Test diretti: richiedono allo studente di fornire una rappresentazione diretta dell’abilità che il test intende verificare-valutare (abilità produttive) • Test indiretti: verificano competenze/conoscenze soggiacenti o funzionali alle abilità oggetto di valutazione • Test a ‘punti discreti’: verificano singoli ed isolati elementi linguistici (grammatica e lessico) e li verificano uno alla volta • Test integrati: verificano abilità integrate (es ascoltare e scrivere, ascoltare e parlare, leggere e scrivere ecc).

34. Espressione dei giudizi attribuzione dei punteggi relativi ad un test1 • Test soggettivi • Test oggettivi • La differenza è relativa unicamente ai metodi utilizzati per attribuire il punteggio

35. Cosafa di un test linguisticoun “buon” test linguistico (test “esterni”/test di proficency/certificazioni)? • devebasarsisuunateorialinguistica (cosaintendiamo per conoscereuna lingua) e su un conseguenteapproccioallavalutazione • devebasarsisuunadefinizione di “cosa”verificare (costrutto: competenza, abilità) Tale definizione e descrizionedeveessereaccessibileall’utenza: specificazioni • devepoter fare riferimento ad un sistema di livelli standard (normativi e condivisi) • deveavere uncontenutoappropriato (caratteristichedellapopolazionedi discenti, bisogni, definizione del costrutto, livello) • devemotivare • deveessererelativoalla ‘vita reale’ • deveessereproceduralmente/tecnicamente ben costruito secondo standard indicati da codicietici e professionali (buonepratiche) • deveforniremateriali per “allenarsiall’esame”-past papers -eserciziari • deveverificarealmenotutte e 4 le abilità di base • deveavere un impattopositivosull’insegnamentoe sullasocietà • deveesserericonosciuto e spendibile • devegarantire la qualità • la qualitàdeve a suavoltaesserecertificata (sistemi di qualità-bollini, ecc)

36. Checosasignificanoqueste parole/concetticheindicano le proprietào qualità di un test? Lavorando da soli o a gruppi, scrivete una definizione di: Validità (Validity) Affidabilità (Reliability) Autenticità (Authenticity) Fattibilità (Practicality) Equità (Fairness) Utilità/Spendibilità (Usefulness) Impatto (Impact) Eticità (Ethical test use)

37. vale a dire…. Tale processo di Validazione riguarda l’intero processo di costruzione di un test: dalla definizione della popolazione, alla definizione dell’oggetto della verifica-costrutto, alla correzione e attribuzione dei punteggi all’impatto del test e riguarda la necessità di fornire evidenze, di dimostrare concretamente la coerenza. conseguenzialità e sistematicità di tutte le fasi in cui si articola il processo

38. Facciamo un esempio…. Per interpretarecorrettamentedeipunteggi in un test di produzionescritta, dovròdefinirecosasiintende per capacità di scritturain un datocontesto e per un datogruppo di discenti/di candidati e di conseguenzailtipo di compiti (tasks) da includerenel test (relazioni, composizionibrevi, messaggi, lettere, email, ecc), icriteri per correggere e dare ilpunteggio(organizzazione del test, stile, originalità, ilraggiungimentodell’obiettivocomu. ecc), lecondizioniall’internodellequaliilcandidatodovràeseguireilcompito (limiti di tempo, numero di parole, ecc ) e, a livellocognitivo, sidovràanchecercare di tenercontodell’impegnocognitivorichiesto e di come variabiliindividualidi tipopsicologico, emozionalepossanoinfluenzare la performance

39. Affidabilità (Reliability) o validità dei punteggi (Scoring validity) La costanza e stabilità dei risultati di un test/prova/esame (o di sue versioni) attraverso somministrazione successive. Concetto tecnico relativo all’assenza di errori di misurazione, sostanzialmente a come è stato applicato il metodo di verifica e alle procedure sia di somministrazione del test sia di correzione ed attribuzione dei punteggi.

40. Principali cause di mancanza di affidabilità: • Caratteristiche delle procedure di verifica (non del metodo in quanto tale) Vale a dire aspetti relativi 1.a come un test è stato ‘scritto’ (ad es. istruzioni poco chiare che lo studente può interpretare in modo non corretto; item formulati in modo ambiguo) 2.alle sue condizioni di somministrazione (ad es. dove e quando viene somministrato un test: tipo di aula, tipo di sorveglianza, se il test viene somministrato di mattina o di pomeriggio). Tutti aspetti che possono incidere in modo significativo sulla performance di uno studente

41. Cause di mancanza di affidabilità (continua) • Problemi che possono insorgere nella fase di attribuzione dei punteggi o espressione dei giudizi. Ad esempio, nella verifica della Produzione scritta: performance equivalenti a cui viene attribuito un punteggio diverso. Ciò può dipendere da: • criteri di valutazione poco chiari e difficilmente applicabili • formazione inadeguata degli esaminatori e/o da errori umani: • errori di distrazione/stanchezza degli esaminatori • incostanza nell’attribuzione dei punteggi fra esaminatori e da parte dello stesso esaminatore

42. Autenticità (predittività) L’autenticità di un test linguistico è relativa alla possibilità di dimostrare che la performance di uno studente (nel test e nell’attività o compito che il test fa fare) corrisponde ad una effettiva capacità di uso della lingua in situazioni di vita reale E’ il grado di corrispondenza fra le caratteristiche del compito o dell’attività che il test fa fare e quelle di un corrispondente compito o attività nella vita reale In base a quanto detto prima il concetto di autenticità non è un concetto a parte ma rientra pienamente nel macro concetto di validità e ne rappresenta uno degli aspetti più significativi

43. Fattibilità (Practicality) La misura in cui un test (così come lo abbiamo definito e descritto) è praticabile, fattibile in termini di risorse e condizioni disponibili. Riguarda aspetti pratici, organizzativi ed ‘economici’

44. Equità/Correttezza (Fairness) Assenza di bias (comportamenti scorretti, discriminatori e di parte)nei confronti della popolazione di riferimento (età, genere, paese di provenienza) La Valutazione, intendendo l’intero processo valutativo, non deve risultare in alcun modo discriminante relativamente ad aspetti socioculturali che possono risultare rilevanti ai fini del risultato. Ci sono analisi statistiche che ci aiutano ad identificare eventuali bias (DIF)

45. Utilità/Spendibilità (Usefulness) E’ relativaall’utilità (e quindispendibilità) deirisultati di un test/prova/esame per gliscopi per cui il test èstatocostruito (contestosiasocialecheeducativo). Dipendedallacorrettezzadelleinferenze e quindi da un buonequilibriofra le diverse ‘qualità’ di un test/prova/esame, E’legatadunque al processo di validazione e alleevidenzecheilmedesimoè in grado di produrre

46. Validità: “cosa” (oggettodellaverifica - costrutto: abilità o singolacompetenza) Affidabilità: stabilità/costanza e replicabilitàdeirisultati (metodo/”come”) Fattibilità: considerazioni di caratterepraticoed ‘economico’ (contesto) Autenticità: rispondenzadelleattivitàproposte dal test ad attivitànella vita reale Utilità/Spendibilità: Qualità di un test/prova/esame Impatto: ripercussionidellasomministrazione di un test e deisuoirisultati a livello micro e macro Equità: rispetto di diversità socio-culturali Eticità: usocorrettodei test garantitodallaprofessionalità di chi li produce Tuttequesteproprietàrientranoogginelprocesso di validazione di un test

47. METODI

48. Test oggettivi: scelta multipla • I test a scelta multipla richiedono di scegliere la risposta fra le tre o quattro proposte • La risposta va selezionata non prodotta

49. Vantaggi Scelta Multipla • Correzione automatica, veloce ed economica in caso di grandi numeri di candidati • Può essere usato per la verifica di varie abilità e competenze (lettura, ascolto, grammatica. lessico) • Non richiede di integrare abilità: lettura con scrittura, o con parlato, ascolto con scrittura o con parlato • Risultati affidabili in quanto non coinvolgono giudizi soggettivi (ma….la costruzione della prova è soggetta a margini di errore laddove non pretestata: è un tipo di test che deve essere sperimentato su studenti simili per caratteristiche a quelli a cui sarà destinato in versione finale, in base ai risultati della sperimentazione si deve decidere se inserirlo nella versione originale, modificarlo o addirittura eliminarlo)

50. Svantaggi Scelta Multipla • Estrema difficoltà di costruzione • richiede risorse e tempi lunghi (sperimentazione) • richiede competenze ed esperienze specifiche (un buon insegnante le ha? E’ necessario che le abbia? Fanno parte di un altro ‘mestiere’?)