Prof. Dr. Olaf Köller Humboldt-Universität zu Berlin iqboffice@iqb.hu-berlin.de

1. Institute for Educational Progress Leistungsdiagnose und Leistungsüberprüfung in der Schule Klett-Symposium, Essen, 25.04.2009 Prof. Dr. Olaf Köller Humboldt-Universität zu Berlin iqboffice@iqb.hu-berlin.de www.iqb.hu-berlin.de

2. Institute for Educational Progress Überblick • Warum ein Fokus auf Schulleistungen und Lernen? • Ein Plädoyer für Assessment in der Schule • Formatives und summatives Assessment • Bildungsstandards als Basis für summatives Assessment • Bildungsstandards und Kompetenzstufenmodelle • Bildungsstandards, Kompetenzstufenmodelle, Ländervergleiche und Vergleichsarbeiten

3. Warum ein Fokus auf Leistung? Effekte hoher Leistungsstände • Individuum • Höheres Einkommen über die Lebensspanne • Höhere psychische und physische Gesundheit • Höhere Lebenserwartung • Gesellschaft • Geringere Kosten im Justizsystem • Geringere Kosten im Gesundheitssystem • Höheres Wirtschaftswachstum

4. Relevanz von Fachleistungen im berufsbildenden Bereich: Befunde aus ULME II (Lehmann et al., 2006) .50 Allgemeine Fachleistung .41 (weibliches) Geschlecht .33 Fähigkeit zum schlussfolgernden Denken Erfolgreicher Durchlauf .35/.21 Abbruch Zukunftsoptimismus (Schule / Ausbildungsplatz) .20 Finanzielle Absicherung .15 Interesse der Eltern an Schule .06 Lernstrategien

5. Ein Plädoyer für die Vermessung der Welt/Schule

6. Wiliam (2008) • Teachers do not create learning • Learners create learning • Teaching is the engineering of effective learning environments Assessment bridges the gap between instruction and learning

7. Zur Notwendigkeit von Schulleistungsmessungen • Lehrkräfte bieten ihren Schülerinnen und Schülern im Unterricht Lerngelegenheiten • Folgt man moderat konstruktivistischen Lerntheorien, so ist Lernen ein aktiver Prozess -> Schülerinnen und Schüler bestimmen selbst, was sie lernen • Folge: Formatives und summatives Assessment zur Überprüfung, was auf Seiten der Schülerinnen und Schüler tatsächlich gelernt wurde • Messung also als Verbindung zwischen Unterricht und Lernerfolg

8. Formatives Assessment • (Black & Wiliam, 1998) • Aktivitäten der Lehrkräfte und der Schüler, aus denen Informationen gewonnen werden können, um die Lehr- und Lernkultur im Unterricht zu verbessern. • Assessment in diesem Sinne umfasst die Beobachtung des Lerners, des Unterrichtsgespräches und die Analyse von Schülerarbeiten, wie Hausaufgaben und Tests. • Formatives Assessment ist dann die Nutzung dieser gewonnenen Informationen, um den Lehr- und Lernvorgang im Unterricht an die Lernstände der Schüler anzupassen (Mikro-Adaptivität).

9. Formatives Assessment Assessment is not an add-on to teaching and learning, it can be integral. Richard Shavelson (Stanford University)

10. Varianten Formativen Assessments • Längerfristig • Über längere Unterrichtseinheiten hinweg • Zeitraum: Vier Wochen und länger • Absicht: Schüler-Monitoring; Erreichung curricularer Vorgaben • Mittelfristig • Innerhalb von Unterrichtseinheiten • Zeitraum: Eine bis vier Wochen • Absicht: Zeitnahe Rückmeldung über Lernfortschritte, Adaptation des weiteren Vorgehens • Kurzfristig • Innerhalb von Unterrichtsstunden • Zeitraum: Meistens wenige Sekunden/Minuten • Absicht: Verständnisvolles Lernen anbahnen

11. Summatives Assessment • (standardisierte) Messung von Lernergebnissen, die über einen langen Zeitraum aufgebaut wurden • Individuelle Schülerleistungen oft nicht im Fokus der Messung • Ergebnisse werden eher auf Systemebene genutzt, um im Bildungssystem zu optimieren (Bildungsmonitoring) • Beispiele: PISA, IGLU, Ländervergleiche

12. Summatives Assessment auf der Basis von Bildungsstandards

13. Idee der Bildungsstandards Bildungsstandards … • sind fachspezifische Leistungsstandards • beschreiben leistungsthematisches Handeln, das Schülerinnen und Schüler bis zu einem bestimmten Zeitpunkt ihres Bildungsganges erfolgreich zeigen sollten • sollen helfen „den Einzelnen zur Bewältigung von Lebens-situationen auszustatten“ (Robinsohn, 1973)

14. „Can do Statements“ in Englisch (MSA; Hör- und Hör-/Sehverstehen) • Die Schülerinnen und Schüler können... • im Allgemeinen den Hauptpunkten von längeren Gesprächen folgen, die in ihrer Gegenwart geführt werden, • Vorträge verstehen, wenn die Thematik vertraut und die Darstellung unkompliziert und klar strukturiert ist, • Ankündigungen und Mitteilungen zu konkreten Themen verstehen, die in normaler Geschwindigkeit in Standardsprache gesprochen werden, • vielen Filmen folgen, deren Handlung im Wesentlichen durch Bild und Aktion getragen wird, • den Informationsgehalt der meisten Rundfunksendungen und Tonaufnahmen über Themen von persönlichem Interesse verstehen, • das Wesentliche in vielen Fernsehsendungen zu Themen von persönlichem Interesse, z.B. Interviews, kurze Vorträge oder Nachrichtensendungen verstehen.

15. 8 Schritte von den Standards zum summativen Assessment Fachdidaktische und lernpsychologische Präzisierung der Standards; Entwürfe von Kompetenzmodellen Erarbeitung von Richtlinien zur Entwicklung von Testaufgaben Aufgabenentwicklung durch geschulte Lehrkräfte Begutachtung der Aufgaben durch Fachdidaktiker und Psychometriker Pilotstudien zu den psychometrischen Eigenschaften der Aufgaben Normierung der Aufgaben auf der Basis national repräsentativer Stichproben Erarbeitung von Kompetenzstufenmodellen und Definition von Mindest-, Regel- und Optimalstandards Stichprobenbasierte Ländervergleiche (Summatives Assessment)

16. Von Kompetenzskalen zu Kompetenzstufen

17. Kontinuierliche Kompetenzskala Nationaler Mittelwert SD = 2 SD = 1 SD = 1 SD = 2 Skalenwert 300 400 500 600 700 97,7% Prozentrang 50,0% 2,3% 15,9% 84,1%

18. Definition von Kompetenzstufen Standard-setting • Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale • Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten • Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein • Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden • Wichtige Voraussetzung: Aufgaben und Personen liegen auf dem selben Maßstab

19. ST 5 xxx ST 4 xxx ST 3 xxx ST 2 xxx ST 1 Illustration des Standard-settings Leistungs- Skala M = 500 SD = 100 Aufgaben

20. Schritte im Standard-setting Prozess • Auswahlvon Experten • Trainingvon Experten (sofern nötig) • Entwicklung von Bezeichnungenfür die einzelnen Kompetenzstufen • Entwicklung von Deskriptorenfür die einzelnen Kompetenzstufen • Bestimmung von Schwellenwertenin mehreren Runden • (a) ohne Feedback und Diskussionsmöglichkeit • (b) mit Feedback und Diskussionsmöglichkeit • (c) mit « Impact Data » und Diskussionsmöglichkeit • 6.Endgültige Setzung der Schwellenwertedurch politische Entscheidungsträger • 7. Evaluation der Effektivitätdes Standard-setting Prozesses • 8. Dokumentationdes Standard-setting Prozesses

21. Mindest-, Regel- und Maximal- standards • Mindeststandards beschreiben Kompetenzniveaus, bei denen die standardbasierten Vorgaben noch nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen der erfolgreiche Übergang in die Sekundarstufe I/in die berufliche Erstausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen. • Regelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind. • Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten • Optimal- bzw. Maximalstandards beschreiben Kompetenz-niveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.

22. Beispiel: Grundschule Mathematik

23. Kompetenzstufe I • Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten oder gut geübten Kontext korrekt reproduziert werden. • Insbesondere werden grundlegende Begriffe der ebenen Geometrie und gängige Repräsentanten standardisierter Einheiten richtig verwendet. • Zahldarstellungen in Stellentafeln werden sicher gelesen. • Die Grundaufgaben des kleinen Einspluseins und Einmaleins werden beherrscht und bei halbschriftlichen und schriftlichen Rechenverfahren genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen. • Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden.

24. Kompetenzstufe V • Mathematische Problemstellungen werden auch in einem unbekannten Kontext angemessen, sicher und flexibel bearbeitet. • Dabei werden geeignete Strategien, sinnvolle Bewertungen oder Verallgemeinerungen auf hohem Niveau geleistet. • Umfangreiches curricular verankertes Wissen wird in ungewohnten Situationen flexibel genutzt. • Das Vorgehen kann sicher und nachvollziehbar kommuniziert und begründet werden. • Komplexe Sachsituationen werden modelliert und bearbeitet, wobei besondere Schwierigkeiten wie die Verwendung von Tabellen, der Umgang mit zusammengesetzten Größen oder das Rechnen mit Zahlen in Kommaschreibweise auftreten können. • Es können auch ungewohnte funktionale Zusammenhänge analysiert und genutzt werden. • Die Lösung von Aufgaben kann ein hohes Maß an räumlichem Denken oder entsprechende analytische Fähigkeiten voraussetzen.

25. Beispielaufgaben: Zahlen und Operationen V 600 IV 530 III 460 II 390 I Rechne schriftlich. 348 + 87 + 609 = _____________ M = 500; SD = 100

26. V 600 IV 530 III 460 II 390 I Beispielaufgaben: Zahlen und Operationen M = 500; SD = 100

27. V 600 IV 530 III 460 II 390 I Beispielaufgaben: Zahlen und Operationen Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther. Wie viele Bilder hat Esther? o 7 o9 o16 o18 M = 500; SD = 100 Welche Zahl ist um 4 größer als das Produkt aus 9 und 3? o 10 o16 o31 o39 o63

28. Nutzen von Kompetenzstufen- modellen in Ländervergleichen (KMK-Gesamtstrategie) • Regelmäßige stichprobenbasierte Ländervergleiche in der 3. und 9. Jahrgangsstufe auf der Basis der Standards • 9. Jahrgangsstufe • Grundlage: Standards für den Mittleren Schulabschluss und Hauptschulabschluss • Alle sechs Jahre Deutsch/Englisch/Französisch (2009, 2015, ...) • Alle sechs Jahre Mathematik/Naturwissenschaften (2012, 2018, ...) • Länderrepräsentative Stichproben (ca. 2.500 Schülerinnen und Schüler pro Land) • 3. Jahrgangsstufe • Alle 5 Jahre (2011, 2016,...) • Deutsch und Mathematik

29. Nutzen von Kompetenzstufen- modellen in Vergleichsarbeiten (KMK-Gesamtstrategie) • VERA-3: Vergleichsarbeiten in Deutsch und Mathematik in der dritten Jahrgangsstufe • VERA-8:Vergleichsarbeiten in Deutsch, Mathematik und 1. Fremdsprache in der 8. Jahrgangsstufe • Flankiert durch didaktische Materialien • Schulen bekommen widergespiegelt, welche Kompetenzstände ihre Schülerinnen und Schüler im Hinblick auf die Standards bereits erreicht haben.

30. Institute for Educational Progress Telefon +49[30]2093-5335 Telefax +49[30]2093-5336 IQBoffice@IQB.hu-berlin.de www.IQB.hu-berlin.de Postadresse Humboldt-Universität zu Berlin Unter den Linden 6 10099 Berlin Sitz Luisenstraße 56 10117 Berlin Vielen Dank für Ihre Aufmerksamkeit!