1 / 38

Automatisering av tester

Automatisering av tester. Greta Hjertø Jarle Larsen Svend Andreas Horgen. Effektmål. Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at: de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener

siusan
Télécharger la présentation

Automatisering av tester

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Automatisering av tester Greta Hjertø Jarle Larsen Svend Andreas Horgen

  2. Effektmål • Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at: • de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener • vi måler studentens faktiske kunnskap på en tilfredsstillende måte • lærerressurser til utvikling, gjennomføring og etterarbeid reduseres vesentlig i forhold til dagens praksis • studenten får et arbeidsredskap som motiverer og støtter i læringsprosessen • Øke forståelse for og kompetanse i bruk av automatiserte tester i høgere utdanning

  3. Resultatmål • Identifisere en beste praksis gjennom • litteraturstudium • utvikling og utprøving av tester • analyse av testresultatene • syntese – beste praksis • Utvikling av verktøy med funksjonalitet basert på • litteraturstudium • resultater fra analysene • Formidling av resultatene • Paper til Educa Berlin (des 2005). Abstract april 2005. • Verktøy/prototyp, HiST, its L, andre? • Presentasjon for ansatte i HiST • Instruksjonshefte for å lage gode tester – legg ut på NVU-web? • Kanskje bidra i Høgskolepedagogikk-undervisningen

  4. Presentasjon av resultater • Teorigrunnlag • Utprøving av teori • Utvikling av verktøy • Formidling av resultat • Foredrag • Paper • Rapport • Guide/oppslagsverk

  5. Teorigrunnlag – litteratur • M. Bush: ”A Multiple Choice Test that Rewards Partial Knowledge”, Journal of Further and Higher Education, Vol. 25 no 2, 2001 • Sylvia Encheva, Sharil Tumin: “On multiple choice tests in a computer added assessment system” • W. Horton: Designing web-based training Wiley, 2000 • T. Buchanan: “Using the world wide web for formative assessment”, Jorunal of Educational Technology Systems, 27, 1998-1999

  6. Automatiserte tester – beste praksis? • Valg av spørsmålstype • Formulering av spørsmål • Valg av tilbakemeldingsstrategi • Utforming av tilbakemelding Design test Forbedre test Gi test • Evaluer resultat • Spør studentene • Vurder test mot kursmål • Valg av teststrategi • Bygging av tester • Utforming av informasjon • Hindring av juks Gi skår • Valg av skårstrategi

  7. Spørsmålstyper • Ja/nei • Flervalg – varianter • Fritekst • Sammenligne to lister • Fyll inn blanke • Klikk og dra • Simulering

  8. Formulering av gode spørsmål • Enkle og komplette formuleringer, eksempel: • Pass på dobbelt nekting • Ikke la ja bety noe negativt • Ikke bruk pronomen • Ikke bruk understrekning, betyr lenke på Internet • La alle alternativer være like sannsynlige • Ikke avslør svaret • Varier vanskelighetsgraden

  9. Effektive tilbakemeldinger – eksempel på design Start test Spørsmål Neste spørsmål Hint ? Tilbakemelding feil svar Tilbakemelding riktig svar Evaluer svaret • Når? • Hvem? • Innhold? Riktig svar Lenke til fagstoff ? Beregn skår

  10. Effektive tilbakemeldinger

  11. Valg av teststrategi • Skal studenten teste seg selv? • Skal lærer se hvordan studenten ligger an? • Skal lærer gi karakter? • Eksempel på bruk av tester • Selvevaluering • Obligatorisk test • Midtveiseksamen

  12. Bygging av tester • Statiske / Dynamiske • Lærerstyrt / Studentstyrt • Eksempel på bygging: • Testen bygges når studenten ber om den • Testside, spørsmålssett velges tilfeldig fra pool • Hvis testen tas flere ganger, neste test har ny side med nye spørsmål og/eller svaralternativer • For hvert spørsmål, fem svaralternativer, ett riktig, ett vet ikke • Hvis ny test med nye svaralternativer – ett galt svar det samme • Studentens sider lagres • Alle versjoner sammenlignbare i vanskelighetsgrad og tema

  13. Om å informere om testen Får jeg karakter? Hvilken del av pensum dekkes? Er det tidsbegrensning? Når må jeg ha tatt testen? Hvor mange spørsmål består den av? Hvor mange poeng får jeg for rett svar, feil svar ingen svar? Hva slags spørsmål er det? Kan jeg ta testen senere? Kan jeg ta testen flere ganger? Kan jeg avbryte og fortsette senere? Hvilke hjelpemidler kan jeg bruke? Når får jeg vite resultatet? Må spørsmålene besvares i sekvens? Hva skjer om jeg får tekniske problemer?

  14. Informasjon til studentene • Testregler for kurset • Testside for hver test • Spesifikk informasjon for hvert spørsmål • Vanlige spørsmål og svar

  15. Beregning av skår • Mål: Måle faktisk kunnskap • Hindre gjetting • Måle delvis kunnskap • Strategier: • Normalisering • Høy grunnverdi • Negative skår for feil svar • Hvor sikker er du? • Velg mer enn ett alternativ • Eliminer feil svar

  16. Stadig bedre tester • Evaluer resultatet basert på statistikk • Spør studentene • Vurder mot kursets mål

  17. Utprøving av teori • Kildemateriale – tester i flere fag til nå • Internett og Sikkerhet • Prosjektrettet systemarbeid • Kontorautomasjon • Webprogrammering med PHP • Visual Basic • BADR høsten 2004 • Analyse • Syntese

  18. Utprøving av teori Kildemateriale Analyse Syntese

  19. Utprøving av teori Teori Kildemateriale Analyse Syntese Verktøy Beste praksis

  20. Hypotese 1 • Poengberegningen som brukes spiller inn på resultatet av tester • Poengberegningen må velges med omhu og tilpasses fagets egenart.

  21. Kildemateriale hypotese 1 • Øving høsten 2004, BADR, it's Learning • Programmering • 75 studenter • 20 spørsmål, ett av fire kryss, 60% riktig for å stå • Hvor sikker er du på om svaret er riktig? • Del av eksamen, fjernundervisning • Et kryss av tre mulige, minuspoeng for galt svar (Internett og Sikkerhet, Kontorautomasjon) • Et kryss av fire mulige (Visual Basic, Kontorautomasjon) • Sett kryss for 0,1,2,3 eller 4 riktige (PHP, Visual Basic)

  22. Strategi hypotese 1 • Fra its’ Learning til regneark • Ingen eksportstøtte per i dag • Stor manuell jobb • Analyse • Ulike formler for poengberegning • Forskjell, mønstre, eller annet å trekke ut • Andre forslag?

  23. Forventet resultat hypotese 1 • Hvilke formler egner seg best til denne type test? • Mulig å generalisere konklusjonen? • Guide til hvordan formler må settes opp i regneark

  24. Hypotese 2 • Hvis læreren kan noe teori om flervalgstester og legger flid i formuleringene, vil studentene akseptere testene. • Tester kan erstatte tradisjonell eksamensform og ressurser spares. • Det kreves derimot trolig mer arbeid for å lage en god nok flervalgstest.

  25. Kildemateriale hypotese 2 • Eksamen FU i Visual Basic desember 2004 • flervalgstest (40%) • programmeringsdel (60%) • Eksamen BADR januar 2005 • flervalgstest (40%) • eksamen talte 60% på totalkarakteren (prosjekt siste 40%) • 20 spørsmål fra IT-Intro, 10 fra Publisering på Internett, 10 fra Visual Basic og 10 fra Databaser. • Kvalitetssjekk: faglærerne løste alle spørsmålene i plenum. • Muntlig tilbakemelding om at flere av spørsmålene var utvetydige og at de kunne svaret, men krysset av feil pga formuleringene.

  26. Strategi hypotese 2 • Er det en sammenheng mellom resultatene fra flervalgstesten (40%) kontra programmeringsdelen (60%) av VB-eksamen? Kunne flervalg vært brukt alene på denne eksamen? • Uklare formuleringer: • Spørsmål som også flinke får 0 poeng på • Lag evalueringsskjema for BADR-studentene??? • Lag flervalg til eksamen i Opsys til våren med sterkere fokus på teori • Gjenta evalueringsskjemaet etter eksamen i mai???

  27. Forventet resultat hypotese 2 • Kan lære mye om hva som må til for at tester kan brukes i utstrakt grad • Kan avdekke typiske uheldige formuleringer • Kan lære om studentenes oppfatning av tester

  28. Hypotese 3 • Underveistesting i semesteret kan øke læringen for studentene, ivareta fleksibiliteten og sikre jevn progresjon i faget. • Testingen kan automatiseres

  29. Kildemateriale hypotese 3 • Generell observasjon: Det er ofte et nokså stort frafall av studenter i fjernundervisningen • Mange studenter føler at eksamen ble mye vanskeligere enn først antatt. • Resultatene fra Visual Basic over en årrekke avslører at en stor andel stryker eller er i bunnen av karakterskalaen. • Har ikke brukt flervalgstester underveis i semesteret i fjernundervisningen før, selv om det ofte er flervalgstester på eksamen.

  30. Strategi hypotese 3 • Lag 2-3 frivillige tester i Visual Basic, FU • Plasser disse etter vanskelige tema (matriser, funksjoner, filbehandling) • Lag og gjennomfør 1 obligatorisk flervalgstest i Opsys (BADR) • Bruk its’ Learning nå • Eget verktøy til høsten?

  31. Forventet resultat hypotese 3 • Vanskelig å måle om slike underveis-tiltak har noen direkte effekt • Kan se på om gjennomføringsraten øker, samt om karakterene forbedres sammenliknet med tidligere karakterfordeling • Kan spørre om de er tilfredse med faget, og kanskje sammenlikne med andre fag de tar hvor slik testing ikke gjennomføres? • Kan gjenbruke testene over flere semestre og slik forbedre det pedagogiske opplegget

  32. Status • Litteraturstudier • Gjennomførte tester • Behov for nytt verktøy - hovedprosjekt • Demo ved studentene Thomas Eggum og Sindre Williksen

  33. Videre arbeid – Vår 2005 • Følge opp hovedprosjektet • Komme fram til metoder for å kvalitetssikre tester • Utvikle tester basert på litteraturstudiene • Gjennomføre tester i noen fag • Som selvtest • Som vurderingsgrunnlag • Vurdere om det er noen signifikant forskjell mellom test og vanlig eksamen • Implementere IMS QTI i hovedprosjektoppgaven? • Undersøke hvordan studenter og lærere oppfatter verdien av tester i læringsprosessen

  34. Videre arbeid – Høst 2005 • Evaluere resultatet av vårens undersøkelser • Skrive foreløpig rapport • Studere problematikken omkring autentisering av tester • Utføre nødvendige forbedringer og kvalitetssikre arbeidet • Nye undersøkelser • Analysere resultatene • Foredrag

  35. Videre arbeid – Vår 2006 • Fortsette analysearbeidet • Rapportskriving • Utarbeide instruksjonshefte for å lage gode tester • Avslutningsfest!!!

More Related