Optimal Quality Assurance Models for Digital Learning in Western Balkan Universities

1. Preporukezasprovođenje interne evaluacije DL studijskih programaeMM modelVladan DevedžićUniverzitet u Beogradu Kotor, 14.06.2013

2. Uvod • Smernice za sve učesnike u internoj kontroli kvaliteta (QA) vezanoj za DL na WB univerzitetima • Aktuelne definicije DL, eL, TEL,... Any online facility or system that directly supports learning and teaching. This may include a formal virtual learning environment (VLE), an institutional intranet that has a learning and teaching component, a system that has been developed in house or a particular suite of specific individual tools. (Walker et al., 2012) E-learning refers to the use of electronic media and information and communication technologies (ICT) in education. E-learning is broadly inclusive of all forms of educational technology in learning and teaching. E-learning is inclusive of, and is broadly synonymous with multimedia learning, TEL, CBI, CBT, CAI, IBT, WBT, online education, virtual education, VLE, learning platforms, m-learning, and digital educational collaboration. These alternative names emphasize a particular aspect, component or delivery method. (Wikipedia, 2013)

3. Uvod • WB univerziteti imaju različite pristupe DL, kao i u internoj evaluaciji, QA, organizaciji nastave,... • Razni univerziteti u Evropi i na drugim kontinentima takođe • QA sistem: dokumentovani skup procedurakoje obezbeđuju da čitav proces DL ispunjava ciljeve DL studijskog programa i da je kvalitet tog procesa kontrolisan

4. Uvod • Kod DL studijskih programa, sistem QA mora da obezbedi da kvalitet učenja bude barem jednak kvalitetu učenja u slučaju F2F programa

5. Izbor modela QA za DL u WB zemljama • Veliki broj postojećih modela, benchmarka, itd. • ACODE (Australia) • eMM (New Zealand) • E-xcellence+ (EU – vrlo jak konzorcijum!) • ELTI (JISC, UK) • Pick&Mix (UK) • SEVAQ+ (EU) • ...

6. Izbor modela QA za DL u WB zemljama • Obično u svakom modelu/benchmarku/... postoji skup kriterijuma i za svako od njih skup indikatora • kriterijumi/polja/... • studenti • tehnologija • nastavnici • administracija • kursevi • ... • intended learning outcomes • curriculum content • teaching/learning materials • product/service information for potential students • appropriateness of learning technologies • sound technical design of learning materials and delivery • appropriate and necessary personnel • learning resources other than teaching materials • the issue of the complete learning package • the issue of the comprehensive course package (all materials and technologies) • evidence of program success through routine review and evaluation • program plans and budget • advertising, recruiting and admissions information

7. Izbor modela QA za DL u WB zemljama • Obično u svakom modelu/benchmarku/... postoji skup kriterijuma i za svako od njih skup indikatora • indikatori • pristup servisima za učenje i njihova otvorenost • bezbednost podataka • ažurnost kursevima • raspoloživost nastavnika • kvalitet administrativnih servisa... • ... Primer: Pick & Mix

8. Izbor modela QA za DL u WB zemljama • Praktični aspekti • nov model/benchmark/framework/... ili adaptacija nekog od postojećih? • specifičnosti svake od WB zemalja • integracija QA za DL u postojeće F2F QA sisteme • DL vs. F2F – nije isto! • kompetencije, resursi, tehnološka podrška,... – sve to se mora garantovati u DL studijskom programu • interne prakse i workflows moraju se adaptirati za DL

9. Izbor modela QA za DL u WB zemljama • Izabran je eMM • procenjeno je da najviše odgovara potrebama WB u realno postojećim uslovima • uzeta je u obzir zakonska regulativa • analizirana je WB praksa akreditovanja DL programa • usvojen je princip adaptiranja eMM lokalnim specifičnostima u svakoj konkretnoj WB zemlji

10. eMM • Procesi i njihove kategorije

11. eMM • Procesi i njihove kategorije

12. eMM • Procesi i njihove kategorije

13. eMM • Procesi i njihove kategorije

14. eMM • Procesi i njihove kategorije

15. eMM • Procesi i njihove kategorije

16. eMM • Dimenzije • izvođenje nastave, ispita,... (delivery) • planiranje (planning) • definisanje (definition) • menadžment (management) • optimizacija (optimization)

17. eMM • Upitnik • za svaki proces postoji više indikatora (practices/items) • za svaki indikator može da postoji jedno ili više pitanja • svako pitanje se odnosi na jednu dimenziju odgovarajućeg procesa • originalna verzija eMM: preko 1000 pitanja!

18. eMM • Upitnik • sugerisane adaptacije • na nivou indikatora (practices/items) • izbor/modifikacija nekih od mogućih indikatora/pitanja • pri pravljenju izbora, dobro je pokriti sve procese bar jednim indikatorom/pitanjem • na svako pitanje odgovor se daje izborom jedne od ponuđenih opcija • "not adequate", "partially adequate", "largely adequate", or "fully adequate" • "not assessed"

19. eMM • Upitnik • primer • L1. Learning objectives guide the design and implementation of courses • L1.P1. Does course documentation include a clear statement of learning objectives? Are course workload expectations and assessment tasks consistent with course learning objectives?(not assessed / not adequate / partially adequate / largely adequate / fully adequate) • L1.P2. ....

20. eMM • Upitnik • WB verzija • po pet indikatora (practices/items) za svaki proces • svaki indikator odnosi se na jednu dimenziju • uglavnom su pokrivene sve dimenzije za svaki proces

21. eMM • Popunjavanje upitnika

22. eMM • Popunjavanje upitnika

23. Samoevaluacija • Upitnici • upitnik za studente • upitnik za nastavnike • upitnik za administrativno osoblje • SEVAQ+ upitnici su poslužili kao osnova • odgovori se daju izborom iz sledećih opcija:I don't want to answer / Fully disagree / partially disagree / largely agree / fully agree