X° Congresso AIV Roma, 19-21 aprile 2007

1. La valutazione errante e il regno del metodoIntroduzione di Claudio Bezzi alla sessione trasversale “Metodo” X° Congresso AIV Roma, 19-21 aprile 2007

2. Una premessa assertiva la valutazione si basa su pratiche di ricerca sociale; senza tale ricerca la valutazione è solo chiacchiere quindi… METODO

3. La promessa valutativa risiede nella sua multidisciplinarietà; Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; L’agire valutativo, nel momento della ricerca, si confronta con un’enorme mole di proposte tecniche, non equivalenti, gravide di teoria e di conseguenze empiriche Alcuni assiomi:

4. Alcuni assiomi: • La promessa valutativa risiede nella sua multidisciplinarietà; • Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; • Conseguentemente l’agire valutativo, nel momento della ricerca, si confronta con un’enorme mole di proposte tecniche • è il livello - in un certo senso - ontologico della valutazione; • non riguarda semplicemente l’ “accostamento” di discipline ma guarda a ciò che Scriven chiama transdisciplina; • implica un’attenzione al dialogo, al pluralismo, e a forti implicazioni nell’ambito dei cosiddetti Mixed Methods

5. Il metodo è teoria e riflessione sulle implicazioni e le conseguenze del nostro agire metodologico; Alcuni assiomi: • è il livello epistemologico della valutazione; • significa che non si tratta di applicare “procedure”, e che ogni azione di raccolta e analisi di dati e informazioni è gravida di teoria, e performa il risultato contribuendo a costruire un determinato e diverso giudizio valutativo

6. L’agire valutativo, nel momento della ricerca, si confronta con un’enorme mole di proposte tecniche Alcuni assiomi: • è il livello metodologico della valutazione; • non è mai da confondere col tecnicismo e con l’operazionismo; • ha senso solo se illuminato dalla precedente riflessione teorica; • implica necessariamente un’adeguata preparazione su strategie e tecniche.

7. All’estero generalmente sì In Italia probabilmente non abbastanza I valutatori sono pronti?

8. Un piccolo esercizio valutativo basato solo sull’analisi degli articoli della RIV dal 2000 al 2005

9. Analizzati solo gli articoli principali, non gli editoriali, le rubriche quali “Notizie dalla comunità”, etc. Non inclusi gli articoli di autori stranieri. Citazioni: non si sono contate le ricorrenze entro lo stesso articolo. Criteri dell’esercizio Limitidell’esercizio • Soggettività nell’attribuzione degli articoli. • Evidenti limiti nella catalogazione delle citazioni, con margini di errore elevati.

10. RIV 2000/2001: Articoli in totale: 29 Citazioni: 547 RIV 2003-2005: Articoli in totale: 73 Citazioni: 1.533 I valori assoluti Il secondo ciclo di pubblicazioni presenta 2,5 volte gli articoli del primo ciclo e 2,8 volte il numero delle citazioni

11. Alcune sorprese! Cosa si è pubblicato Solo ¼ dei testi (nel periodo 2003-’05) si possono considerare teorico-metodologici “specialistici”

12. Cosa si è pubblicato Solo 19% dei testi 2003-2005 riguardano casi concreti… … dei quali, in poco meno della metà, non si capisce cosa abbiano realmente fatto

13. Il 60% circa di ciò che si cita riguarda elementi di sfondo, collaterali, contigui, ma non valutativi I testi valutativi non italiani sono in crescita, ma restano ultimi come quantità di citazioni Cosa si è citato

14. I testi stranieri più citati Leggere i classici? Selezione di Autori citati Autori come Scriven, Weiss, Fetterman (per non parlare di altri importanti autori) raccolgono frequenze irrisorie

15. Un numero molto ridotto di articoli sono classificabili come “specialistici”, con oggetto teoria e metodo; la maggior parte resta di carattere introduttivo, o relativo a temi collaterali. Pochissimi trattano casi concreti, e una esigua minoranza mostra concretamente come si sono fatte le cose. Riepilogo

16. Anche se il dato è in crescita, si cita poca valutazione (perché non serve o perché non si legge?); di questa, una parte minoritaria riguarda testi stranieri. I “classici” risultano poco frequentati, con mancanze clamorose (p.es. Scriven) e stereotipie eclatanti (p.es. di Patton si cita quasi solo Utilization-focused Evaluation, di Guba e Lincoln la 4^ Generation, etc.) Riepilogo

17. E' la ? Fine

18. I valori assoluti: le citazioni

19. Alcuni Autori citati