1. Evalvacijska študija: Učbenik kot dejavnik uspešnosti kurikularne prenove

1. 1. Evalvacijska študija: Učbenik kot dejavnik uspešnosti kurikularne prenove izvajalec: Pedagoški inštitut

2. 2. Aplikativna raziskava:Optimalizacija spoznavne (učne) vsebine didaktičnega besedila • Izvajalca: ISH-Fakulteta za podiplomski humanistični študij, Pedagoški inštitut

3. Vpliv učbenika • Učbeniki močneje vplivajo na pedagoški proces kot učni načrti. • Slovenski učenec /dijak do konca srednje šole bolj ali manj temeljito obdela 25.000 – 30.000 učbeniških strani.

4. Evropsko združenje raziskovalcev učbenikov (IARTEM) • Dve glavni raziskovalni strategiji: • ekspertno presojevalna (sodbe o domnevnih lastnostih učbeniških sporočil) • eksperimentalna in kvazi-eksperimentalna

5. Evalvacijska študija Učbenik kot dejavnik uspešnosti … • Vzorec: 6 učbenikov biologije in 6 učbenikov zemljepisa • Predmeti analize: besedila (lastnosti besedil, organizacija spoznavne vsebine itd.), ilustracije, grafična podoba, didaktični aparat • Sodelavci: raziskovalci, učitelji

6. Izhodišča analize • Študija je bila oprta na spoznanja, pridobljena v doslej izvedenih (tujih) raziskavah, ki so obravnavale povezave med zgradbo verbalnih in vizualnih sporočil v učbenikih ter učno učinkovitostjo učbenikov. Opravljena je bila izčrpna kritična analiza in ovrednotenje večjega dela raziskav.

7. Predmeti analize. 1. predmet: optimalno številovseh besed in novih besed za različne starosti • Optimalno število besed na eni strani učbenika: 4. razred: 150 – 180 5. razred: 200 – 230 6. razred: 250 - 300 (Gerard in Roegier, 1993) Optimalno število novih besed: 7-8

8. Uporabljeni postopek določanja novih besed v izbranih učbenikih • 18 učiteljev je označevalo besede, ki so po njihovem mnenju za večino učencev nove. • Besede smo obravnavali kot nove, če jih je kot nove označila večina učiteljev. • Rezultat: Učitelji so v izbranih učbenikih za zadnja dva razreda OŠ na posamezni strani v povprečju prepoznali manj kot 7-8 besed, ki naj bi bile nove za učence.

9. Spoznavna dostopnost novih besed in pojmov • Indikatorji spoznavne dostopnosti • skladenjska (ne)poudarjenost nove besede • grafična poudarjenost nove besede • stopnja pojasnjenosti (opredeljenosti) nove besede

10. Spoznavna dostopnost novih besed in pojmov Rezultat: • velike razlike med učbeniki • Od 36 – 91 % besed, ki so jih učitelji prepoznali kot nove, je skladenjsko ali grafično poudarjenih. • Od 51 – 98 % pojasnjenih novih besed.

11. Berljivost besedil • Obrazec berljivosti: • Stopnja berljivosti = 206,84 – 0,85 W – 1,02 S Vzorec je 100 besed. S - povprečno število besed v povedi. W- skupno število zlogov v 100 besedah Rezultati se pretežno gibljejo med 0 in 100; 0 – zelo zahtevno besedilo; 100 – zelo 'lahko' besedilo. (Mimogrede: Optimalno dolga poved, namenjena 13 - 15-letnikom, ima 10 - 20 besed.)

12. Berljivost besedil - rezultati • Rezultati: izjemno velike, nenadzorovane razlike med učbeniki za isto starostno obdobje (7. in 8. razred): 21 in 20, torej 40 točk razlike! • Tolikšne razlike v berljivosti so raziskave (na pr. Mikk, 2000) v povprečju prepoznale med dvema povsem različnima vrstama učbenikov, med berili za 2. razred OŠ in učbeniki zgodovine za 6. razred!!!

13. Prisotnost spodbujevalcev spoznavnega interesa v učbenikih • Spodbujevalci: • navodila za samostojno dejavnost, • opisi problemov, • Opisi okoliščin, dogodkov, dejanj • Z zanimivostjo besedila je pozitivno povezano število glagolov, negativno pa število samostalnikov z abstraktnim pomenom. • Opisi konkretnega: namesto “Luther je bil problematičen otrok” raje: “Luthra so učitelji zaradi trmoglavosti oštevali vsak dan.” • Najmočnejši spodbujevalec: osebne besede

14. Prisotnost spodbujevalcev spoznavnega interesa v učbenikih • Močna povezava med zanimivostjo in osebnimi osebami. • obrazci besedilne zanimivosti. Oglejmo si enega od njih: • število osebnih besed x 100 x 3,3635 = X • celotno število besed • število osebnih povedi x 100 x 0,314 = Y • celotno število povedi • Rezultat dobimo, ko seštejemo X in Y.

15. Osebne besede in osebne povedi • Osebne besede so: • - lastna (krstna) imena oseb • - priimki (če se nanašajo na posamezno osebo) • - osebni zaimki, ki se nanašajo na osebe (ne na živali ali stvari) • - pridevniki ali svojilni zaimki, ki se nanašajo na osebe • - občna imena, ki se nanašajo na osebe in imajo tako moško kot žensko obliko (kralj-kraljica, igralec-igralka, sestra-brat) • Osebne povedi so: • povedi, ki vključujejo premi govor • povedi, ki vsebujejo vprašanje, navodilo, zahtevo, prošnjo • vzklične povedi

16. Osebne besede: lestvica • starost učencev optimalen odstotek os. besed v besedilu • 5 19 • 6 14 • 7 10 • 8 - 9 6 • 10 - 12 4 • 13 - 16 3 • 17 in več 2

17. Osebne besede: rezultat • Nobeden od izbranih učbenikov se niti ne približa optimalnemu deležu osebnih besed in povedi (3-4% na stran)

18. Koherentnost • Skladnost in urejenost pomenov in pomenskih predstav, ki jih vsebuje razlagalno besedilo. Ta razsežnost razlagalnega besedila je najmočneje povezana z njegovo spoznavno (učno) učinkovitostjo. • Izvori pomenskih okvar: • v semantiki povedi in semantiki medpovednih struktur • v sintaksi povedi • v argumentaciji (na povedni in medpovedni ravni) • Učinkovanje nekega tekstnega izvora nekoherentnosti ima v tekstu zmerom omejen doseg. Ugotavljali smo, koliko povedi je na izbranih straneh zajel učinek nekoherentnosti.

19. Zgledi nekoherentnosti • Opis nastanka Ljubljane pred 2000 leti: »Na stiku Ljubljanskega polja in barja je nastalo glavno mesto Republike Slovenije – Ljubljana«. • »V Ljubljani se je oblikoval t.i. prometni križ – v Ljubljano ali iz nje se stekajo pomembne prometne poti. V Ljubljanski kotlini so se zato razvila pomembna naselja, saj je njihove prebivalce privabila možnost zaposlitve.«

20. Dodaten zgled (zunaj vzorca) • (Učbenik zgodovine): Rimska oblast na naših tleh (naslov) “Za vlade Avgusta so Rimljani že vladali celotnemu slovenskemu ozemlju.” “V tem /rimskem/ času je naš prostor doživljal državljanske vojne.” “Tedaj /v 3. stoletju/ je slovenski prostor doživel pokristjanjenje.” “Že v 4. stoletju smo imeli tudi dve škofiji.”

21. Koherentnost- rezultat za 12 učbenikov • Povprečni obseg besedil v izbranih učbenikih, ki jih zajame učinek besedilne nekoherentnosti, se giblje med 25 in 50 %. Rezultat je zaskrbljujoč!!! • V enem od učbenikov je polovica od analiziranih strani takšnih, da na njih učinek nekoherentnosti zajema več kot 50 % besedila. • Med dvanajstimi analiziranimi učbeniškimi besedili je enajst takšnih, ki vsebujejo nesprejemljivo velike dele nekoherentnega - pojmovno, miselno, argumentacijsko neurejenega – besedila!!!

22. Didaktični aparat • Norma: Navodila za samostojno dejavnost učencev se morajo nanašati na opazljivo (ne zgolj mentalno) dejavnost učencev. • Rezultat: Skoraj brez izjeme se navodila v izbranih učbenikih nanašajo zgolj na mentalno dejavnost učencev (na pr. “Razmisli o vzrokih za preseljevanje v mesta.”)

23. Vprašanja za učenčevo lastno preverjanje, koliko zna • Rezultat: Teh vprašanj praviloma ni. Redka tovrstna vprašanja se nanašajo le na spominsko znanje.

24. Povzetek rezultatov analize ilustracij • Piktografske ilustracije močno prevladujejo; ideografske ilustracije so redke (kar je problematično). • Ilustracije so praviloma opremljene z razlagami. Nekatere ilustracije delujejo kot distraktorji (odvračevalci pozornosti). • Razmerje med risbo in fotografijo se ne približa normam za posamezna starostne dobe. • Idealno je, če se besedilno in vizualno sporočilo prekrivata v 1/3 spoznavne vsebine. Izbrani učbeniki so daleč od te norme.

25. 2. Raziskava “Optimalizacija spoznavne (učne) vsebine didaktični besedil” • Kvazi-eksperiment • Vzorec: 240 učencev 9. razreda; vsak učenec je bil hkrati član eksperimentalne in kontrolne skupine. • Učenci brali izvirne in revidirane odlomke. • Rezultate branja (s poudarkom na razumevanju) smo merili s preizkusom znanja, ki ima ustrezne (preverjene) merske karakteristike.

26. Besedilna revizija (izboljševanje) • Revidirali (izboljševali) smo 4 besedilne odlomke iz potrjenih učbenikov geografije (9. razred, geografija Slovenije); obseg vsakega odlomka: približno 300 besed • Gričevja in ravnine (Panonski svet) • Poselitev Slovenije • Industrija • Kmetijstvo

27. Osnova za revidiranje • Na kaj smo se oprli pri ‘izboljševanju’ besedilnih odlomkov? • Na vse , kar smo ‘merili’ v evalvacijski študiji, vključno s testom cloze in formulo berljivosti. • Na niz dodatnih ugotovitev o tem, kako zgradba besedil vpliva na uspešnost učenja. • Katerih ugotovitev?

28. ‘Algoritmi’ za revizijo: optimalizacija stopnje abstraktnosti besedila • Primer: Visoka negativna povezanost med povprečno abstraktnostjo samostalnikov in razumevanjem besedila: 0.53 (Mikk, 1980) oz. 0.66 (Kukemelk in Mikk, 1993) • Abstraktnost visoko pozitivno korelira s številom samostalnikov, ki se končujejo z ‘- anje’, ‘- ost’, - izem, -stvo, -tje, ipd. (učinek nominalizacije) • Zgled iz slovenskega učbenika: “Dojemanja in opredeljevanja odklonskosti so skoraj v vseh primerih družbeno pogojena.”

29. Optimalizacija stopnje abstraktnosti besedila • Nepotrebna abstraktnost, ki jo povzroči žargon. Primer matematične naloge za 9-letne učence: “Koliko nočitev beleži hotel?” • Zakaj ne: “Koliko turistov prespi v hotelu?”

30. Težavnost besedišča • Razpršenost: Število različnih besed v besedilih ne bi smelo presegati 70 % vsote vseh besed (nekatere besede naj bi torej bile uporabljene večkrat). • Slab zgled: • “Med merjenjem obsega kroga s pomočjo vrvice je mogoče ugotoviti, da dolžino premera lahko nanesemo nanj malo več kot trikrat, iz česar izhaja razmerje: • obseg = 3,14…” • Premer Število različnih besed 24 Število vseh besed 26 • Število različnih besed predstavlja 92 % vsote vseh besed.

31. Težavnost besedišča • “Z vrvico izmeri obseg kroga, z ravnilom izmeri premer istega kroga. Ugotovil boš, da premer kroga lahko naneseš na njegov obseg malo več kot trikrat. Zato lahko napišeš: • obseg kroga = 3,14…” • premer kroga • Število različnih besed 21 • Število vseh besed 32 • Število različnih besed predstavlja malo več kot 65 % vsote vseh besed.

32. Razpršenost novega besedišča • Ena od norm: Nove besede morajo biti enakomerno razpršene po besedilu. Vsaj štiri besede levo in desno od nove besede morajo biti znane besede.

33. Kohezivnost • Besedilna povezanost (kohezivnost) nastaja z (zlasti argumentacijskimi) vezniki, medmetnimi stavki, nepopolnimi stavki, elipsami, anaforami, kataforami, primerjavami, ponovljenimi ključnimi besedami itd. • Med argumentacijske veznike štejemo: saj, kajti, torej, sicer, pa, vendar pa, nadalje, pravzaprav, skratka itd.

34. Poskus prepoznanje argumentacije v izbranih odlomkih • Na izbrane odlomke smo skušali nanesti najpreprostejši (Toulminov) model argumentiranja. Sestavine: • Trditev • Osnova (Dejstva , podatki itd.) • Utemeljitev (zveza med trditvijo in osnovo) • Opora • Omejitev trditve • Opis pogojev zavrnitve

35. Poskus prepoznanje argumentacije v izbranih odlomkih - rezultat • V nobenem od štirih izbranih odlomkov ni bilo mogoče prepoznati osnovnih sestavin argumentacije. Razlog: Besedila so v argumentacijskem smislu povsem neurejena.

36. Rezultati na preizkusu znanja - razlika med učinkom izvirnega in revidiranega besedilom (primer) Industrija M SD N Izvirno bes. 9,44 3,06 111 revidirano bes. 13,99 3,65 113 _________________________________ M=arit. sredina, SD=standardna deviacija N=število učencev

37. Rezultati-povzetek • Učenci, ki so brali revidirane (izboljšane) odlomke, so v vseh primerih dosegli na preizkusu znanja statistično pomembno znatno višje rezultate. • Koliko višje?

38. Nadzor učne ocene • Koliko % variance v dosežki pojasni ocena? • Primer: Z učno oceno učencev pri predmetu geografija v primeru besedila ‘industrija’ pojasnimo 41 % variance v njihovih dosežkih pri preizkusu tega znanja (R2 = 0,42; Adj. R2= 0,41).

39. Kolikšno izboljšanje razumevanja smo dosegli z revizijo razlagalnih besedil? • Ponazoritev: • Učence smo naknadno statistično razdelili v dve skupini: • Učenci z zaključno oceno iz geografije v preteklem letu 2 ali 3 (30 % vseh učencev). • Učenci z zaključno oceno 5 iz geografije v preteklem letu drugi strani v tiste, ki so imeli oceno 5 (40% vseh učencev).

40. Kolikšno povečanje razumevanja smo dosegli z izboljšanjem razlagalnih besedil? • Ponazoritev: Skupina učencev z ocenama 2 in 3 iz geografije, ki je brala izboljšane odlomke, je na preizkusu znanja dosegla približno enake rezultate kot skupina učencev z oceno 5 iz geografije, ki pa je brala neizboljšane odlomke iz potrjenih učbenikov.

41. Predlogi za izboljšanje učbeniške politike • Izdelati serijo vzorčnih učbenikov, ki bodo postavili nove standarde kvalitete. • Usposobiti kadre, ki bodo delovali v razvojnih oddelkih založb. • Usposobiti učitelje , da bodo razlikovali med dobrim in slabim učbenikom. • S pomočjo ‘algoritmov’, ki smo jih razvili, sproti evalvirati nove generacije učbenikov in usmerjati razvoj .