STRUTTURA NAZIONALE DI VALUTAZIONE FSE - AREA VALUTAZIONE POLITICHE RISORSE UMANE

1. STRUTTURA NAZIONALE DI VALUTAZIONE FSE - AREA VALUTAZIONE POLITICHE RISORSE UMANE L’analisi degli esiti occupazionali del FSE nel periodo di programmazione 2000-2006 e le prospettive per il prossimo Paolo Severati 22 aprile 2008, Grand Hotel Baglioni, Firenze, “Gli esiti occupazionali delle attività formative finanziate dal FSE”

2. Struttura della presentazione • Le indagini placement delle Adg e le indagini di follow up degli enti: differenze • Le indagini placement nell’esperienza delle due passate programmazioni 1994-1999 e 2000-2006 • Le indagini placement nella programmazione 2007-2013 • L’indagine centralizzata Isfol: caratteristiche e periodicità • Le indagini decentralizzate: nuove opportunità di sviluppo • Obiettivi comuni e usi a fini valutativi delle indagini placement • Le indagini placement: i rapporti con altre attività dell’Isfol Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

3. Le indagini placement delle Adg e le indagini di follow up degli enti: differenze Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

4. Cosa sono le indagini placement Indagini statistiche retrospettive (campionarie o censuali) • costruite appositamente per fini valutativi, che hanno come obiettivo primario la rilevazione della condizione occupazionale dei destinatari a distanza di 12 (e facoltativamente anche di 6) mesi dalla chiusura degli interventi cofinanziati dal Fse • e, più in generale, mirano ad analizzare i percorsi (di ricerca di lavoro, di lavoro, di formazione) intrapresi dai destinatari alla conclusione degli interventi Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

5. Cosa sono le indagini di follow up Schede e questionari somministrati ai partecipanti direttamente dagli enti di formazione poco dopo il termine dei corsi: essenzialmente schede o questionari di gradimento dei corsi che rilevano anche la condizione occupazionale dei partecipanti (customer satisfaction) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

6. I limiti delle indagini di follow up realizzate dagli enti • Scarsa attendibilità statistica (metodi e strumenti di rilevazione, selezione ed autoselezione degli intervistati, formazione degli intervistatori) • Presenza di un forte conflitto d’interessi: realizza le indagini chi realizza gli interventi. Gli esiti occupazionali degli interventi costituiscono punteggio nei bandi di gara successivi. • Deresponsabilizzazione dell’Autorità di gestione del programma. Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

7. Quali novità introducono le indagini di placement rispetto alle indagini di follow up degli enti • Indaginicostituite appositamente per l’analisi d’impatto (prima lordo poi netto) realizzate dalle Adg (o da Agenzie regionali del Lavoro, Istituti regionali di ricerca, Uffici di Statistica, Società di rilevazione private …) e non dagli enti di formazione, attraverso il coordinamento della Struttura Nazionale di Valutazione del Fse dell’Isfol, secondo uno schema concordato all’interno del Gruppo di lavoro • Le indagini (ovvero i questionari in uscita dagli interventi) sono arricchite e completate da un altro strumento di rilevazione: la domanda di pre-iscrizione che comprende l’anagrafica vera e propria dei partecipanti agli interventi e un questionario che serve a raccogliere in ingresso agli interventi alcune informazioni essenziali su caratteristiche individuali (titolo di studio, condizione occupazionale, background famigliare, …) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

8. Le indagini placement nell’esperienza delle due passate programmazioni 1994-1999 e 2000-2006 Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

9. La programmazione FSE 1994-1999 • Poche indagini placement condotte a livello regionale (esclusivamente al Centro-nord); la domanda di partecipazione è confinata nell’ambito placement • Sistema di monitoraggio centrale del Fse lacunoso (poche informazioni sull’andamento finanziario dei programmi, limitatissime sul fisico) • Gruppo di lavoro Placement: sede di scambio di esperienze e di confronto; condivisione metodologie realizzazione d’indagine; centro dell’attenzione: questionari d’indagine • Tra il 2000 e il 2001 prime esperienze di valutazione di efficacia condotte dall’Isfol: valutazione degli impatti netti, gruppo di controllo forze di lavoro Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

10. La programmazione 2000-2006: un primo collegamento tra monitoraggio, placement e valutazione degli esiti • Realizzazione ed operatività del sistema di monitoraggio centrale dei fondi strutturali (Monit 2000 prima e Monitweb poi) parallelamente allo sviluppo e al miglioramento dei sistemi informativi regionali • La domanda di pre-iscrizione (somministrata in ingresso agli interventi), alimenta l’anagrafica destinatari di Monitweb; • Le analisi di placement utilizzano, oltre all’anagrafica destinatari, anche l’anagrafica progetti di Monitweb, che contiene tutte le informazioni sulle caratteristiche degli interventi (programma operativo, asse, misura, tipologia di azione e progetto, annualità, ente attuatore, …) • Si manifesta un interesse di ricerca non solo verso chi ha partecipato effettivamente agli interventi ma anche verso chi ha fatto domanda di partecipazione e poi non ha partecipato pur possedendo i requisiti richiesti (ammissibili non ammessi); queste persone costituiscono un potenziale gruppo di controllo utile ai fini della valutazione d’impatto degli interventi • Continua l’attività del Gruppo Placement e viene creato un GruppoPlacement Ob.1 ai fini della realizzazione di un’indagine centralizzata curata dall’Isfol sugli interventi finalizzati all’occupabilità finanziati attraverso i Por Ob.1 • Aumenta il numero di Regioni e Province Autonome che realizzano Indagini Placement • Le indagini vengono effettivamente utilizzate ai fini della valutazione di efficacia degli interventi Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

11. La programmazione 2000-2006: decentralizzazione in Ob.3 e centralizzazione in Ob.1 • Indagini decentralizzate in Ob.3 Valutazioni Por Valutazione Qcs Ob.3 (Val.Ind.Ob.3) (Nuova esperienza di valutazione impatti netti, Isfol val.int.e val. fin. Qcs Ob.3) • Indagini centralizzate Isfol in Ob.1 (Placement Ob.1 e Alta formazione) per colmare il vuoto informativo esistente utilizzo a fini valutativi, Isfol Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

12. Placement Ob.1: i vantaggi di un’indagine centralizzata rispetto alla raccolta ex post di dati provenienti da singole indagini decentralizzate • Definizione ed univocità dell’universo di riferimento • Precisi e uniformi riferimenti temporali per la progettazione e la realizzazione dell’indagine (12 mesi dalla conclusione dell’intervento) • Controllo sistematico e omogeneo delle liste progetti e destinatari • Unico disegno campionario (e riporto all’universo) • Unico questionario • Stessa tecnica di rilevazione (CATI) • Certezza sui criteri di scelta della società di rilevazione • Unica società di rilevazione • Articolata fase di test del questionario (thinking aloud,pre-test, indagine pilota) • Trattamento comune delle mancate risposte (totali e parziali) • Analisi, controllo e validazione dei dati provenienti dall’indagine Qualità della rilevazione (numerosità del campione, errori campionari e non campionari, significatività delle stime, uniformità e comparabilità) Corretta valutazione degli esiti (occupazionali); possibilità di definire correttamente gruppi di controllo interni ed esterni Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

13. I limiti dell’esperienza del 2000-2006 • Indagini regionali realizzate solo nell’Ob.3, ad eccezione della Regione Sardegna (Indagini sul finalizzato aziendale condotta dal valutatore indipendente del Por; Indagine sui voucher condotta dalla Regione) e di prime esperienze della Regione Sicilia • Grandi problemi nell’acquisizione (e prima ancora nella costruzione) delle anagrafiche destinatari. Chi ha realizzato le indagini, anche se interno alla Regione, spesso ha avuto difficoltà ad avere accesso a Monitweb o al sistema informativo regionale nella misura sufficiente a definire liste valide per avviare un’indagine Cati. A volte il problema è a monte: gli enti attuatori non hanno fornito anagrafiche dettagliate. • Mancata somministrazione delle domande di pre-iscrizione agli ammissibili non ammessi; mancata esplicitazione dei criteri di selezione all’ingresso; mancata fornitura delle graduatorie. Conseguenze: impossibilità di disporre gruppi di controllo interni (ammissibili non non ammessi; regression discontinuity design) o accedere a gruppi di controllo esterni (archivi centri per l’impiego) • Periodicità delle indagini variabile e non chiaramente predefinita. Concentrazione delle indagini in corrispondenza della riprogrammazione di metà periodo • Non completo rispetto della classificazioneFse per tipologia di progetto e mancata indicazione della classificazione Orfeo sui contenuti delle attività formative. Conseguenza: imprecisa individuazione delle politiche e degli interventi cofinanziati dal Fse • Poche valutazioni d’impatto netto, anche in conseguenza della mancanza di adeguati gruppi di controllo interni Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

14. Le indagini placement nella programmazione 2007-2013 Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

15. Le sfide della nuova programmazione 2007-2013: costruire sistemi informativi statistici che consentano la valutazione di efficacia dei programmi operativi Obiettivo: realizzare attendibili valutazioni di efficacia dei programmi (come richiesto dalla Commissione Europea) Presupposti: • Disponibilità di indagini placement ricorrenti sui formati; • Disponibilità di gruppi di controllo idonei, definiti ex ante e non ricavati ex post Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

16. Un cambiamento di cultura Monitoraggio, indagini sugli esiti occupazionali e valutazione di efficacia degli interventi: un’unica filiera non dei compartimenti stagni Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

17. Linee d’indirizzo: integrazione, semplificazione e innalzamento della qualità • Capitalizzare l’esperienza della programmazione Fse 2000-2006 per riuscire a trovare il giusto bilanciamento tra dati di fonte amministrativa e dati acquisiti attraverso indagini. Attualmente si caricano di oneri impropri le indagini retrospettive, lunghe e costose da realizzare e che riguardano solo una parte della popolazione. Si sottovaluta l’importanza dei dati di fonte amministrativa a fini di analisi statistica Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

18. Dati di fonte amministrativa • Si riferiscono al totale della popolazione; • non contengono quindi errori di campionamento ma “solo” errori non campionari; • sono già disponibili, non richiedono indagini ad hoc; si tratta di renderli utilizzabili a fini statistici; • permettono di ridurre i costi: non c’è bisogno di realizzare piani di campionamento, non c’è bisogno di Cati; • contribuiscono a ridurre la molestia statistica (causata dalle tante indagini che incidono sullo stesso target) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

19. Indagini retrospettive Che cosa giustifica la realizzazione di un’indagine retrospettiva? Cos’è, in altri termini, che non può essere raccolto da dati di fonte amministrativa? • Informazioni (anche oggettive) non disponibili nei data set amministrativi in quanto relative a fatti od eventi successivi alla chiusura dell’intervento e/o riferite al momento dell’intervista; • Informazioni che sono disperse in data set non aggregabili; • Informazioni sulle motivazioni o sulle percezioni individuali (motivi della partecipazione, motivi dell’abbandono, utilità percepita dall’intervento ad una certa distanza dalla sua conclusione, …) non interessanti a fini amministrativo-gestionali e quindi non registrate nei data set amministrativi. Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

20. Cosa fare • Si tratta quindi di sfruttare al massimo le informazioni contenute in Monitweb o nei sistemi informativi regionali evitando di chiedere da questionario placement informazioni su variabili già disponibili da fonte amministrativa • Si tratta di collegare tra loro, attraverso chiavi opportune, differenti archivi amministrativi (archivi fse, archivi accreditamento, archivi formazione a finanziamento regionale non cofinanziata dal Fse, archivi Centri per l’impiego, …) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

21. L’indagine centralizzata Isfol: caratteristiche, periodicità Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

22. Indagine retrospettiva nazionale Isfol (1) • Indagine campionaria retrospettiva, condotta a livello nazionale ma con significatività regionale, su tutte le tipologie d’intervento finalizzate all’occupabilità • Periodicità: triennale • Dimensione campionaria: 30.000 – 40.000 individui • (Primo) Anno di rilevazione: 2009 • Anno di riferimento: interventi conclusi nel 2008 • Anno di avvio del progetto d’indagine: 2008 • Rilascio dati: fine 2009 • Tecnica di rilevazione: CATI • L’indagine sarà rivolta a destinatari conclusi e a componenti di differenti gruppi di controllo interni o esterni provenienti da archivi amministrativi di varia fonte (regionale diverso da Fse, Cpi, Inps, …), previa verifica dello stato degli archivi Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

23. Indagine retrospettiva nazionale Isfol (2) • Pieno rispetto delle specifiche di qualità richieste dal Sistan • Collegamento con altre importanti indagini dell’Isfol (Plus; indagine sulla qualità del lavoro in Italia) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

24. Le indagini decentralizzate: nuove opportunità di sviluppo Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

25. Molteplici opzioni • Indagini tradizionali facenti capo ad una singola Regione o Provincia autonoma sui principali interventi finalizzati all’occupabilità (effettuate con tecnica Cati); • Indagini specializzate (effettuate con tecnica Capi) su singole tipologie di intervento o particolari target group (es. gruppi vulnerabili) • Indagini realizzate da gruppi di regioni consorziate • Indagini longitudinali su una stessa coorte di partecipanti (o di facenti domanda) • Sfruttamento dei data set amministrativi (sistemi informativi regionali sulla formazione, Cpi, accreditamento, …) ai fini della produzione di statistiche ricorrenti sui partecipanti agli interventi e sull’evoluzione della loro condizione occupazionale • Uso intelligente delle indagini di follow up degli enti: servono a creare buone anagrafiche destinatari; sono previste dalle leggi sull’accreditamento Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

26. Obiettivi comuni e usi a fini valutativi delle indagini placement Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

27. Programmazione 2007-2013: obiettivi comuni delle indagini centralizzate e decentralizzate • Non disperdere patrimonio accumulato nella passata programmazione • Estendere la pratica delle indagini a tutto il territorio nazionale e a politiche finora poco considerate • Migliorare l’attendibilità statistica • Rendere certi i tempi di rilevazione • Migliorare la diffusione dei dati anche per un loro maggiore utilizzo a fini di valutazione Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

28. La programmazione 2007-2013: uso delle indagini ai fini della valutazione • Indagine centralizzata Isfol: 1) copertura dell’intero territorio nazionale (Ob.1 e Ob.2); 2) copertura delle politiche risorse umane fuori Fse e quindi definizione di un quadro complessivo delle politiche che incidono sugli stessi obiettivi o hanno le stesse finalità indipendentemente dalla fonte di finanziamento; calcolo del valore aggiunto Fse e valutazione di efficacia relativa Valutazioni strategiche (politiche, Po e Qsn) • Indagini decentralizzate (auspicabilmente, tutte le Adg Ob.1 e Ob.2) Valutazioni strategiche Po Valutazioni operative Po Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

29. Le indagini placement: i rapporti con altre attività dell’Isfol Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

30. Collegamenti e sinergie con altri progetti Isfol • Studio progettuale per la realizzazione di un sistema informativo statistico per l’analisi, il monitoraggio e la valutazione del Fse (banca dati bandi, monitweb, placement) • Utilizzo e diffusione delle classificazioni internazionali riguardanti la formazione e le politiche attive del lavoro (Fields of training, Classification of learning activities, Labour market policies) • Sistema statistico della formazione professionale (Sistaf) • Banca dati nazionale dell’accreditamento • Qualità dell’offerta formativa • Analisi dei fabbisogni formativi e professionali Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE

31. Grazie Per contatti (p.severati@isfol.it) Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE