Ann-Christin Haffling, IKVM – allmänmedicin Anders Beckman, IKVM – allmänmedicin

1. Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin Anders Beckman, IKVM – allmänmedicin Gudrun Edgren, MedCUL

2. Bakgrund - WPBA Workplace-based assessment innebär • direkt observation av studenterna i deras kliniska arbete • formativ bedömning • feedback • fokuserad på beteende • deskriptiv • specifik och konkret • relaterad till mål (för kursen och personliga)

3. Bakgrund - WPBA Workplace-based assessment • har stor betydelse för studenternas utveckling(Norcini & Burch 2007) • görs alldeles för sällan(Kogan & Hauer 2006)pga. • lågt handledarintresse(Norcini & Burch 2007) - kan öka genom • strukturerade bedömningsinstrument (t.ex. Mini-CEX) • handledarmedverkan vid utveckling/planering(Daelmans et al. 2006) • handledarutbildning(Shumway & Harden 2003) • låg reliabilitet - kan stärkas genom(van der Vleuten 1996) • bredd i kliniska problem och bedömare • kompromiss reliabilitet formativ bedömning(van der Vleuten 1996) • feedback • studenternas lärande

4. Bakgrund – till studien • bedömnings- och feedbackformulär samlades in under sex terminer • analys retrospektivt • interaktiva feedbackmetoder • studenternas självvärdering • mål/handlingsplan • uppföljande feedback

5. Syfte – att studera • användningen av ett bedömningsinstrument i verkligheten • under lång tid • typ och innehåll av feedback • handledarnas bedömningar • studenternas självvärderingar • handledarnas och studenternas nöjdhet

6. Metod • Studenter T10 ”Samhällsmedicin” Lund/Malmö • 16 dagars allmänmedicinsk praktik (4 dagar v.a.v.) • 50-60 vårdcentraler • Personlig handledare + övriga distriktsläkare på VC • observerar (emellanåt) anamnes, status • diskuterar hypoteser, problemlösning, utredning/ behandling • deltar i avslutande patientsamtal med information/ uppföljning • Feedback bör ges • dagligen ”på språng” • sammanfattande x 2 - efter halva tiden samt vid avslutning

7. Metod – obligatorisk feedback x 2 • Första feedbacktillfället • student + handledare fyller i bedömningsprotokoll • feedbacksamtal • mål och strategier för fortsatt träning på feedbackblad • Andra feedbacktillfället • uppföljande feedback på feedbackblad

8. Metod - Bedömningsprotokoll • lika för studenternas självvärdering + handledarnas bedömning • inspirerat av modifierade LAP (Leicester Assessment Package) • 8 delar /kompetenser • detaljerade beskrivningar av varje del • 7-gradig skala • utvecklat i samråd med handledarna • handledarutbildning

9. Metod - Bedömningsprotokoll 8 olika delar/kompetenser • Samtalsmetodik • Sjukhistoria • Status • Hypotesgenerering/hypotesprövning • Problemlösning • Åtgärd/behandling • Information/ uppföljning • Uppträdande/ patientrelation/ tidsdisposition

10. Metod - Feedbackblad • lite olika för student och handledare • information • utrymme för att skriva • mål och strategier (första feedback) • uppföljande feedback (andra feedback) • utvärderingsfrågor till student och handledare

11. Metod – Dataanalys • Kvantitativa data • Mann-Whitney U och Kruskal Wallis (SPSS) • MlWin (’multi-level’) ”upprepade mätningar” • Cronbach’s alpha (”internal consistency reliabilty”) • Spearman’s correlationskoefficient (korrelation handledarnas bedömning och studenternas skrivningsresultat) • Kvalitativa data (mål + feedback) • Innehållsanalys (kategorisering) • Ramverk (protokollets 8 kompetenser)

12. Resultat – studenter och handledare • 464 studenter • 55% kvinnor • 50% vikarierat, lika mellan kön • 151 handledare • 58% kvinnor • 28% deltog i handledarutbildning • antal studenter efter 6 terminer • 47 - 1 student • 55 - 2-3 studenter • 49 - 4-12 studenter

13. Resultat – första feedbacktillfälletBedömningsformulär • Handledaromdömen (458 studenter): medelvärde 5,3 • Självvärderingar (462 studenter): medelvärde 4,5 • Höggradigt signifikant skillnad i alla delar • Handledare • högst: samtalsmetodik + uppträdande/patientrelation • lägst: hypoteser + åtgärd/behandling • Studenter • högst: samtalsmetodik + anamnes • lägst: hypoteser + åtgärd/behandling

14. Resultat – första feedbacktillfälletBedömningsformulär Manliga och kvinnliga studenter • Manliga studenter signifikant högre i hypoteser, problemlösning, åtgärd/behandling • Handledarna: ingen skillnad Vikariat eller ej • Studenter som vikarierat signifikant högre i status, problemlösning och åtgärd/behandling • Handledarna: status, åtgärd/behandling, information/uppföljning Antal använda omdömen (7-gradig skala) • Studenter oftast 3 olika (47%) • Handledare oftast 2 olika (56%)

15. Resultat – första feedbacktillfälletMål för fortsatt träning Mål för fortsatt träning • 88% specifika mål • 6% generella mål • 6% inga mål Specifika mål • Medel 2,7 kompetenser/student • Kompetenser (process) • Samtalsmetodik (46% av studenter) • Information/ uppföljning (40% av studenter) • Varierade omdömen signifikant fler • Kvinnliga studenter med kvinnlig handledare signifikant fler

16. Resultat – Andra feedbacktillfället Uppföljande feedback • 58% specifik feedback • 32% av dessa även tips för framtiden • 21% generell feedback • 21% ingen feedback Specifik feedback • Medel 2,8 kompetenser/student • Kompetenser (process) • Samtalsmetodik (55% av studenter) • Information och uppföljning (43% av studenter)

17. Resultat – Studenternas utvärdering Svarsfrekvens 89-93% • Handledaren korrekt identifierat studentens styrkor/svagheter • 77% helt, 20% delvis • Studenter som fick specifika mål var signifikant mer nöjda • Specifika råd om hur förbättra konsultationerna • 70% helt, 26% delvis • Effektiv uppföljande feedback • 77% helt, 17% delvis • Studenter som fick specifik uppföljande feedback var signifikant mer nöjda

18. Resultat – Handledarnas utvärdering ” Tycker du att bedömningsprotokollet bidragit till en förbättrad struktur i bedömningen av studentens konsultationer?” Efter 6 terminer: • Svarsfrekvens 97% • 76% helt nöjda, 23% delvis, 1% missnöjda • Flera blev alltmer positiva genom åren

19. Resultat – Tid och erfarenhet • Specifika mål • ökade signifikant från de tre första till de tre sista terminerna • Specifik feedback • ökade signifikant från de tre första till de tre sista terminerna • Handledarnas erfarenhet • studenter med handledare, som använde instrumentet för 4:e-6:e terminen fick lägre betyg än de, vars handledare använde det för 2:a-3:e och 1:a terminen • men specifika mål/feedback ökade inte med erfarenhet • Handledarnas ”nöjdhet” efter 6 terminer • var signifikant större beroende på hur många studenter man handlett 4-12, 2-3 resp. 1 student

20. Resultat – Reliabilitet ”Internal consistency reliability” • Cronbach’s alpha för varje termin 0,94-0,96; hela perioden 0,95 Interbedömarreliabilitet • omöjligt att beräkna pga. sammanfattande feedback av personlig handledare

21. Resultat – Validitet • ”Face” validity • medverkan av handledare i utveckling av bedömningsformuläret • Content validity • överensstämde med mål för praktiken • Concurrent validity • korrelation med skrivningen • Spearman’s korrelationskoefficient 0.16; ökande till 0,34 om bara de 10% med lägst bedömning analyserades

22. Slutsatser • Sammanfattande bedömning och feedback fungerar • vid längre tids placering • personlig ansvarig handledare • 99% studenter bedömda efter protokollet • 88% fick specifika mål dokumenterade och • 58% fick specifik feedback dokumenterad • men inom andra kompetenser än de som bedömts som sämst

23. Slutsatser • Utvärderingarpositiva • av studenter – föredrog specifika mål/feedback • och handledare • Med tid och erfarenhet • fick större andel studenter specifika mål • och specifik feedback • handledarna blev ”strängare” • men också nöjdare med strategin • Förbättrad ”feedbackkultur” på vårdcentralen