Seminario Le indagini web e alcuni aspetti sul processo di partecipazione all’indagine

1. SeminarioLe indagini web e alcuni aspetti sul processo di partecipazione all’indagine Prof. A. D’Agostino Dip. Di Statistica e Matematica per la Ricerca Economica Università di Napoli “Parthenope”

2. Le indagini web sono abbastanza nuove – iniziano dal 1990 Perché è accresciuto il loro utilizzo? • Sono facili da sviluppare e implementare • Generalmente costano poco • Si può raggiungere un elevato numero di persone a un basso costo marginale

3. I sondaggi web sono ad esempio molto utili alle aziende o a chiunque voglia ottenere un feedback immediato circa un prodotto o un servizio. • Il web offre molti servizi anche gratuiti per creare un sondaggio o un questionario online in modo semplice e con tutte le funzionalità per gestirlo al meglio • Surveymonkey • Polldaddy etc..

4. Quando si può usare un’indagine web? Prima di decidere se sia opportuno condurre un’indagine web dobbiamo riflettere su alcuni punti

5. Questioni importanti…. • I potenziali rispondenti hanno un facile accesso a internet? • Hanno familiarità con internet? • Si fidano della comunicazione tramite internet? • Hanno le competenze per aprire e completare un’indagine online? • Il loro hardware e software può influenzare come il questionario viene visualizzato?

6. Che cosa conosciamo circa l’utilizzo e l’accesso ad internet? Sicuramente età, cultura e contesto sociale interagiscono differentemente con la tecnologia • I principali utilizzatori delle tecnologie avanzate risultano i giovani e le persone che esercitano professioni intellettuali • L'uso delle tecnologie è prevalentemente riservato ai giovani. Le famiglie con almeno un minorenne possiedono il personal computer e l'accesso a internet

7. L’accesso e l’uso dipende da: • Livello di istruzione • Reddito familiare • età: 18-34 – fanno un uso maggiore di internet • Molti usano internet a lavoro (ma potrebbero avere restrizioni a lavoro nel suo utilizzo) • Comfort e sicurezza • Mancanza di competenze informatiche; familiariatà con internet • Diffidenza con internet • Paura dei virus o altri software dannosi

8. Questo implica che… • Molte persone possono essere escluse quando si utilizza un’indagine web • Coloro che rispondono potrebbero essere considerevolmente diversi da coloro che non rispondono = distorsione nei risultati

9. Pianificazione dell’indagine Ci sono una serie di fasi da considerare: • Obiettivo indagine • Popolazione di riferimento • Recupero indirizzi e-mail • Piano di campionamento ( indagine o sondaggio online?) • Sviluppo del questionario • Implementazione del questionario online • Strategia di contatto (lettera di accompagnamento) • Bilancio e tempi

10. Una nota sulla anonimato e la riservatezza delle indagini online • Anonimo significa che nessuno può identificare chi ha fornito le informazioni • Questo è difficile da garantire quando l'indagine viene somministrata online (internet o intranet) ... quindi, non promettono anonimato! • Riservatezza significa che siamo in grado di identificare la persona, ma si garantisce che le informazioni non saranno identificate con la persona • Questo vale per tutti gli aspetti della raccolta dati, analisi e reporting

11. Indagine online implementazione • Personalizzare il più possibile tutti i contatti • Prendere in considerazione incentivi - migliora il tasso di risposta • Utilizzare più contatti e variare il messaggio • Utilizzare un altro modo di mettersi in contatto con gli intervistati, se possibile • Mantenere contatti e-mail brevi

12. Indagine online implementazione passi • Accertarsi che la mail non sia contrassegnata come spam • Includere una linea informativa sulle finalità dell’indagine • Fornire istruzioni chiare su come accedere al sondaggio • Assegnare a ciascun partecipante un numero ID unico • Mantenere entro i limiti delle capacità del server web • Creare un sistema per la gestione e-mail • Stabilire procedure per affrontare le richieste e le questioni • Monitorare i progressi e le risposte

13. Due sono gli aspetti fondamentali per la buona riuscita dell’indagine online • Ottenere un elevato tasso di risposta • Ottenere il massimo livello di accuratezza delle informazioni Quindi, è necessario prestare attenzione a: • Tasso di risposta in itinere • un buon disegno del questionario

14. Un esempio di indagine web Obiettivo indagine : transizione università-lavoro Per esempio, potremmo essere interessati a studiare: • Mismatch tra titolo di studio e lavoro • Il guadagno percepito nel primo lavoro dopo la laurea • Soddisfazione sul lavoro

15. Che cosa significa mismatch? I laureati aspirano ad ottenere un buon lavoro dopo la laurea “overeducated workers” sono coloro che riportano che il titolo di studio richiesto per ottenere il loro lavoro è inferiore alla laurea

16. Popolazione obiettivo: laureati in Economia dell’Università di Napoli “Parthenope” Strategia di indagine: indagine web La modalità di raccolta dei dati è strettamente legata Qualità dei dati (tasso di risposta, accuratezza delle risposte, etc..) Costi Tempestività

17. Le indagini web sono state molto utilizzate negli ultimi anni perché sono poco costose ma i suoi effetti sulla qualità dei dati e la tempestività delle informazioni raccolte possono e devono essere ben analizzate

18. In Italia ci sono delle esperienze di indagini web sui laureati • Almalaurea • Fabbris and Giusti, 2001 (EXPERTUM project); • Pratesi, 2004, l’università di Pisa promuove un servizio informativo sui curricula tramite internet

19. Qui siamo interessati a studiare il processo di partecipazione all’indagine Per capire quali siano i fattori che influenzano la cooperazione nelle indagini web sui laureati

20. Il disegno campionario a cui si fa riferimento è abbastanza complesso affinché si possa controllare adeguatamente per il processo di partecipazione (cooperazione all’indagine) • Dati sono raccolti su un campione di laureati in Economia nel 2005 che appartengono a 4 distinte coorti di laurea (1999, 2000, 2001, 2002)

21. Le caratteristiche salienti sono: • Campione causale , un po’ inusuale nelle indagini web • Abbiamo due differenti modalità di contatto (telefono e e-mail) • In effetti lavoriamo con un panel (la prima onda risale al 2003 effettuata tramite intervista telefonica)

22. Panel di laureati in economia Disegno di indagine Wave 2 2005 Indagine web Wave 1 2003 indagine telefonica

23. Tutti i rispondenti alla wave 1 (n=651) + Un campione casuale dei non rispondenti alla wave 1 (91/162)=56% 2005 Wave 1: 813 unità campionarie Tasso di risposta ottenuto 80% • Si ipotizza che il grado di penetrazione Internet tra i laureati sia alto • Quindi è un’ottima popolazione per studiare la qualità del processo di partecipazione

24. unità campionarie nel 2005 Campione casuale dei non rispondenti wave 1 senza e-mail 56% wave 1 rispondenti con e-mail (555/651)=85% wave 1 Rispondenti senza e-mail (96/651)=15% Tasso di cooperazione Nel fornire e-mail è alto!!

25. Primo contatto: e-mail 444 wave 1 rispondenti con e-mail Sample Mail Units (SMU) • Primo contatto: telefono: • 96 wave 1 rispondenti senza e-mail • 111 wave 1 rispondenti con e-mail • Survey Telephone Units wave1 Respondents • (STUR) • 91 non rispondenti e senza e-mail • Survey Telephone Units wave1 non Respondents • (STUNR) • (STU)= STUR+ STUNR • Survey Telephone Units Wave2: modalità del primo contatto Unità scelte casualmente Tra le 555 con e-mail Unità scelte casualmente tra i 162 wave 1 non rispondenti Questo gruppo non è considerato

26. Il questionario Il questionario include molte informazioni sulla storia lavorativa e la condizione lavorativa attuale dei laureati Ad esempio: B.16 Quanto è soddisfatto del lavoro che svolge? Per niente1. (andare alla B.18) Poco2. (andare alla B.18) Abbastanza3. (andare alla B.18) Molto4. (andare alla B.18) Del tutto5. (andare alla B.18)

27. Il questionario • È collegato direttamente ad un database che memorizza le infomazioni • Ove possibile, sono previsti dei controlli automatici per controllare l’accuratezza delle risposte fornite • L’accesso è vincolato da una password personale resa nota dopo il primo contatto

28. Rilevazione dei dati Primo contatto: e-mail, SMU = 444

29. 231 UNAWARE UNITS (UU) CONTACT UNITS (CU) Definiamo 106 AWARE UNITS (AU) • sollecito • e-mail • telefonico

30. Alcuni indicatori della qualità del processo (primo contatto: e-mail) Gross Contact rate = CU/SMU=(231+106)/444=76% Net Contact rate=AU/SMU=106/444=24% Hypothetical Contact rate=UU/SMU=231/444=52% Coverage error rate= (WEU+MFU)/SMU=(82+25)/24% Reply non response rate given the contact= UU/CU=231/(231+106)=69% decisione: spedire il link del questionario e password di accesso solo alle Aware Units

31. Aware units (AU=106) possono partecipare o non partecipare all’indagine

32. Alcuni indicatori della qualità del processo (partecipazione: dopo primo contatto e-mail) Response rate given the reply=(CRW+ PRW)/AU=89% Complete response rate given the reply=(CRW)/AU=85% Partial response rate given the reply=(PRW)/AU=4% Response rate given the contact = (CRW+ PRW)/CU= (90+4)/(231+106) =28% Non è alto!!!

33. Studiamo l’effetto del sollecito UNAWARE UNITS UU=231 Richiamo: e-mail

34. C’è un migliramento da 24% a 32% dovuto al piano di sollecito Alcuni indicatori della qualità del processo (sollecito: e-mail ) Net Contact rate after remainder by e-mail= =(AU+AURE)/SMU=(106+34))/444 32% E-mail Solicitationeffect rate= AURE/UU=34/231=15% decisione: inviare il link del questionario e la password anche alle unità AURE

35. 32/444=7% Rispondenti al questionario Web dopo il primo sollecito e-mail 94/444=21% Rispondenti al questionario Web primo contatto e-mail sintetizzando 138/444=31% rispondenti al questionario Web Dopo il secondo sollecito telefonico E-mail errate e mail-box full contatto telefonico 18%

36. Trattamento dell’errore di copertura e-mail errate e mail-box-full (WEU+MFU)=107 Resultati: contatto telefonico Cooperation rate=94% Unità perse laureati sono inclini a fornire e-mail

37. Participazione indagine dopo il contatto telefonico per WEU and MFU

38. Response rate (complete respondents) 70% In summary on SMU=444 Response rate (partial respondents) 8% Non response rate 22%

39. Primo contatto: telefono su i wave 1 rispondenti STUR=207 Survey partecipation after first contact by telephone STUR Tasso di non risposta abbastanza alto

40. Response rate (complete respondents) 63% In summary on SMU+STUR=651 Response rate (partial respondents) 7% Non response rate 30%

41. Tempestività?

42. aware units: primo contatto e-mail (e-mail sent on Thursday March 7 at about 1 p.m.) il tempo di attesa mediano è di 21 ore e dopo 100 ore (circa 4 giorni) solo il 20% sopravvive Tempo è in ore

43. il tempo mediano di attesa è di 2 giorni se il primo contatto è telefonico e di 8 se è per e-mail La curva di sopravvivenza è molto più ripida se il primo contatto è telefonico!!!! Tipo_cont=1 il primo contatto tramite e-mail

44. Alcune conclusioni sull’esempio • L’indagine web è una modalità di indagine efficace per la popolazione di laureati • L’indagine web funziona meglio se il primo contatto è fatto tramite telefono sia in termini di tassi di risposta che per la velocità di risposta