Konsequenzen aus Schulleistungsstudien/Bildungsmonitoring und ihre Umsetzung auf der Ebene:

1. Konsequenzen aus Schulleistungsstudien/Bildungsmonitoring und ihre Umsetzung auf der Ebene: Einzelschule/Unterricht Ein Input von Prof. Dr. H.G. Rolff Auf dem OECD/CERI Regionalseminar der deutschsprachigen Länder in Potsdam, am 27. September 2007

2. 1. Vom Datenloch zum Datenhoch Daten sind das eigentlich Neue Es sind kaum 10 Jahre her, da hatten Schulen und Schulbehörden so gut wie gar keine Daten Seit 10 Jahren ist eine unerwartete und ungeheure Datenfülle herangewachsen „Mir werden haufenweise Daten über den Zaun geworfen, ohne dass klar ist, was sich damit anfangen soll“ (Ein Schulleiter) Der Datenhunger kommt nicht aus den Schulen, sondern aus den Behörden

3. 2. Datenquellen 2.1 System-Monitoring • TIMMS • PISA (1,2 und im Dezember 3) • IGLU (1 und im Dezember 2) • DESI Merkmale: Stichprobenerhebungen Für Behörden gedacht; zur Entwicklung von Einzelschulen nicht geeignet, weil der Stichprobenfehler (Schätzfehler) zu groß ist

4. 2.2 Lernstandserhebungen • Jahrgang 4, jetzt 3 (VERA) • Jahrgang 9, jetzt 8 (LSE) Merkmale: Vollerhebungen Für Schulen und Klassen valide, deshalb für Schul- und Unterrichtsentwicklung geeignet. Für die Diagnose von einzelnen Schülern nicht geeignet, weil keine diagnostischen Tests benutzt werden Gute Handreichung des MSW-NRW zur Nutzung der Daten

5. 2.3 Schulinspektion/Qualitätsanalyse Vorteil: „Breites“, umfassendes Qualitätsverständnis (gegen Trend zur „Drei-Fächer-Schule“) Problem: Wird häufig vor interner bzw. Selbst-Evaluation durchgeführt (wenn noch keine Evaluationskultur in der Schule entstanden ist) Wirksamer ist umgekehrte Reihenfolge

6. 2.4 Service-Agenturen • IFS-Barometer • SEIS (Selbstevaluation in Schulen) • IQES (Schweiz) • andere Vorteil: Unaufwändig und preiswert Problem: Nicht schulgenau

7. 2.5 Schuleigene, selbsterhobene Daten • Handreichungen zur Selbstevaluation der Ministerien • Evaluationshandbücher • Internetseite des IFS (www.ifs-dortmund.de – Link: Service – Link: Werkzeugkasten) • Andere „Instrumenten-Koffer“ Vorteil: Die Forschung sagt, selbsterhobene Daten sind am wirksamsten für Schul- und Unterrichtsentwicklung Problem: Aufwändig

8. 3. Datenreich und wissensarm? - Grundsätzliches • Es gibt noch mehr Datenquellen: • Ergebnisse zentraler Prüfungen • Schulstatistik („Oktoberstatistik“) • Kostendaten • Sozialindex • usw. Aber was folgt aus ihnen? Zunächst nichts!

9. Juxtapositionsverhältnis von Datenrückmeldung und Nutzung – Rückmeldungen sind Interventionen „Das System, in das interveniert wird, entscheidet selbst, was es damit anfängt.“ Variationen von Datensätzen Variationen von Erläuterungen Daten-Rückmeldungen Beratung/Trainings ? an Einzelschulen: InnerschulischeNutzung an Auftraggeber: System Monitoring Res-sourcen Lehr-plan Program-me Fach-lehrer Schul-leitung Fach-konfe-renzen Bildungspolitik Schulentwicklung

10. Zum Juxtapositionsverhältnis • „Zwei-Welten-Theorie“ • Wissenschaftliches Wissen vs. praktisches bzw. Handlungswissen • Serienregelung vs. Einzelfallregelung • Diagnose vs. Therapie Zudem: Lehrpersonen haben eine „funktionale Vetostellung“ (Brüsemeister) Also: Nur „lose Kopplung“ von zentraler Steuerung (via Daten) und innerschulischer Nutzung

11. Lösungs-Perspektive Es handelt sich nicht um Unvereinbarkeit, aber um komplexe „Übersetzungsprozesse“, die über technische Lösungen oder Patentrezepte (z.B. „Druck machen“) weit hinausgehen. Auch Rekontextuierung genannt Sie setzen Kompetenz voraus (Datennutzung und Schulentwicklung) Sie setzen Vertrauen voraus. Überall, wo Menschen mit anderen kooperieren müssen, die sie nicht kennen, ist Vertrauen notwendig (Brüsemeister)

12. ~ ~ Wandel durch Datennutzung (nach Argyris) Mentales Modell von Handlungen s e t r e d n ä r geschlossener e v Kreislauf implizite Gebrauchstheorie veränderte Handlung Handlung erweiterter Kreislauf explizite neues Gebrauchstheorie Handlungswissen Überprüfung der Handlung Verlautbarte durch Theorie datengestützte Intervention IFS - Rolff 06 / 02

13. Umgang mit Daten ist Professionalisierung Professionalität verlangt traditionell nach einem akademischen Hintergrund, orientiert sich an Einzelfällen und setzt eine gewisse Autonomie der Berufsausbildung voraus. • Zeitgemäße Professionalität hat zum Kern, • datengestützte und • zielorientierte • Dialoge über die eigene Arbeit. • engl.: evidence based (D.Schön)

14. 4. Dilemmata Wer bekommt die Daten? • Nur die Schule? Auch die Schulaufsicht/Eltern? Neutrale Instanzen – • wie z.B. Bildungsbüros? Presse? • Dilemma 1: Schulen sind öffentlich – aber: Bei uneingeschränkter Öffentlichkeit werden Daten in Watte gepackt (Daten, die etwas bewirken, müssen auch weh tun) • Dilemma 2: Wenn Personenschutz, dann Datenaggregation, dann gibt es keine Einzel-(Lehrer-)Rückmeldungen; wenn keine Einzelrückmeldung, dann entstehen Enttäuschungen (bei Inspektion, Peer-Review, SEIS usw.)

15. 5. Zum Schluss einige Praxistipps

16. Auch „kleinere“ Datensätze können große Wirkung haben • Selbsterhobene Daten sind am wirksamsten für Schulentwicklung, verstanden als Entwicklung der eigene Schule. • Es gibt Daten, die jede Schule ohne viel Aufwand selbst erheben und auswerten kann: • Lernkreuz • Zielscheibe guten Unterrichts • Diagnoseblatt zum Unterricht • Schuldaten-Blatt

17. Lernkreuz Bitte notiert zwei bis drei Sachen, die beim Lernen

18. Diagnose-Zielscheibe

19. Diagnoseblatt zum Unterricht Oben = Unten =

20. Schuldaten-Blatt • Anmeldezahlen für Eingangsklassen • Grundschulempfehlungen • Übergänge in andere Schulformen • Migranten-Anteile • Daten zur Lese- und Sprachförderung • Personalbestandsdaten • Schul-Abschlüsse • usw.

21. Gemeinsame Analyse der Daten (in Fach- oder Jahrgangskonferenzen bei Fachleistungsdaten, in Stufen- oder gesamtschulischen Konferenzen bei den übrigen Daten) Gemeinsame Bestimmung eines Entwicklungsschwerpunktes: Woran wollen wir primär weiterarbeiten? Umsetzung durch Schulentwicklungsprojekte 6. Auswertungsdidaktik von Datensätzen Es bietet sich ein Dreischritt an: 1. Zu empfehlen ist Unterstützung durch eine Steuergruppe

22. Was überrascht? Wo sind die größten Diskrepanzen zwischen - Ist/Soll und - Schüler-Lehrer- (und vielleicht Eltern) Angaben und was bedeuten sie? Welches sind die drei oder vier bedeutsamsten Ergebnisse? Hinweise zur Reduzierung großer Datenmengen

23. 7. Ein Beispiel aus NRW: Lernstandserhebungen • Schulinternes Vorgehen - idealtypischer Ablauf • Um das schulinterne Verfahren bei der Auswertung und Reflexion der • Ergebnisse in der Lernstandserhebung zu erleichtern, empfehlen wir, die • Vor- und Aufbereitung der • Ergebnisse auf verschiedenen Ebenen anzugehen: • Auswertung auf der Ebene der unterrichtenden Fachlehrkraft • Auswertung auf der Ebene der Fachgruppe (Fachlehrkräfte der Jahrgangsstufe) – ggf. unter Mitarbeit der/ des Fachkonferenzvorsitzenden • Diskussion und Überlegungen zu Konsequenzen auf der Ebene der Fachkonferenz

24. Die vorgeschlagenen Beratungsebenen (2) und (3) können auch zusammengelegt werden. Dies gilt vor allem für Kollegien, die die Lernstandserhebungen gemeinsam in der Fachgruppe korrigiert und ausgewertet haben. Für jede dieser Ebenen werden Hinweise aufgeführt. Diese sollen als Anregungen verstanden werden, nicht als vollständig abzuarbeitende Liste. Die Ergebnisse der Beratungen werden zu einer Information der Schulaufsicht zusammengestellt.

25. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft • Zur Vorbereitung der Fachkonferenz empfiehlt es sich, dass die Kolleginnen und Kollegen ihre Erfahrungen und Eindrücke mit der Lernstandserhebung zunächst anhand folgender exemplarischer Fragen aufbereiten: • A)  Vorbereitung: • Sind angemessene Strategien zur Testbewältigung vorhanden (test wiseness)? • Sind Text- und Aufgabenformate bekannt bzw. wurden diese im Unterricht geübt? • B)  Bedingungen bei der Testdurchführung: • Gibt es Hinweise auf mangelnde Testbereitschaft oder mangelndes Instruktionsverständnis? • Gab es außergewöhnliche Umstände, die das Testergebnis u. U. negativ beeinflusst haben (z. B. aus dem Praktikum gerufen, Nichtteilnahme bestimmter Schülergruppen)?

26. C)  Betrachtung der Ergebnisse • … allgemein: • Welche Ergebnisse sind auffällig, unerwartet oder erklärungsbedürftig? • Sind die Schwierigkeiten offensichtlich grundsätzlicher Natur oder auf einen bestimmten Bereich/Aufgabentypus bezogen? • Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik erkennen? • In welchem Verhältnis stehen die Ergebnisse zu Zeugnisnoten, Parallelarbeiten, Klassenarbeiten? • Können die Ergebnisse auf Merkmale des eigenen Unterrichts bezogen werden? Lassen sich aus den Ergebnissen unmittelbare Konsequenzen für den eigenen Unterricht ableiten? • Welche Ergebnisse müssen in der Fachgruppe, welche in der Fachkonferenz besprochen werden?

27. ... auf der Kompetenzebene: • In welchem Verhältnis stehen die Ergebnisse der eigenen Klasse/des eigenen Kurses zu den Ergebnissen in der eigenen Schulform bzw. in den jeweiligen Standorttypen? • Wie verteilen sich die Schülerinnen und Schüler meiner Klasse/meines Kurses auf die Kompetenzniveaus, wie verteilt sich hier die gesamte achte - bzw. im neuen Schuljahr neunte - Jahrgangsstufe meiner Schule? • Stimmen die Ergebnisse mit den eigenen Erwartungen überein?

28. ... auf der Aufgabenebene: • Stimmen die Ergebnisse mit den eigenen Erwartungen überein? • Welche fachlichen Anforderungen stellen einzelne Aufgaben? • Bei welchen dieser fachlichen Anforderungen haben Schülerinnen und Schüler besondere Stärken oder Schwächen gezeigt? • Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik erkennen? • Welche Ergebnisse sollten in der Fachgruppe, welche in der Fachkonferenz besprochen werden?

29. 2.  Auswertung auf der Ebene einer Fachgruppe (Fachlehrkräfte der Jahrgangsstufe) • Die individuellen Erkenntnisse aus den kompetenz- und • aufgabenbezogenen Rückmeldungen zu der eigenen Klasse/zum • eigenen Kurs sollten in einer kleineren Fachgruppe (z. B. den • Fachlehrkräften der Jahrgangsstufe 9, ggf. unter Mitarbeit der/des • Fachkonferenzvorsitzenden) gewichtet und gebündelt werden. Dazu • eignen sich u.a. folgende Verfahren: • Austausch von Erfahrungen bei der Vorbereitung, Durchführung und Auswertung der Lernstandserhebungen • Vergleichende Sichtung der Ergebnisseder Klassen/ Kurse vor dem Hintergrund des Jahrgangsstufenergebnisses bzw. der landesweiten Ergebnisse: Zeigen sich ähnliche Muster in allen Klassen/Kursen? Liegen die Ergebnisse im Bereich der eigenen Erwartungen?

30. Suche nach Auffälligkeiten: Gibt es spezielle „Ausreißer“? • Inwieweit lassen sich Erklärungsmusterfür die Ergebnisse finden? Welche möglichen Ursachen lassen sich benennen? Können diese Bedingungen (kurzfristig, mittelfristig) geändert werden? Wer sollte dafür angesprochen werden? • Auf dieser Basis sollte eine Ergebnisvorlage für die Fachkonferenz erarbeitet • werden, die folgende Punkte enthält: • Zusammenstellung zentraler Ergebnisse auf Kompetenz- und Aufgabenebene, • Reflexion der Ergebnisse vor dem Hintergrund des schulinternen Lehrplans, • Formulierung von Hypothesen zur Erklärung der schuleigenen Ergebnisse, • Erste Überlegungen zu möglichen Konsequenzen im Hinblick auf Schul- und Unterrichtsentwicklung.

31. 3. Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz • Eine sensible und verantwortungsvolle Beschreibung der Situation an der eigenen Schule und eine Ursachenforschung beziehen u.a. • folgende Aspekte ein: • Unterrichtsgestaltung (Lehr- und Lernformen, Unterrichtsklima, ...) • Didaktisch-methodisches Vorgehen (thematisch-inhaltliche Schwerpunktsetzungen, Wahl der Lernmittel und Medien, ...) • Schulischer Kontext (schulorganisatorische Voraussetzungen, Zusammensetzung der Lerngruppen, Unterrichtsausfall, Lehrerwechsel, ...) • Voraussetzungen der Schülerinnen und Schüler (Lernvoraussetzungen, Motivation, Anstrengungsbereitschaft, …) • Soziale Herkunft der Schülerinnen und Schüler (Bildungsnähe des Elternhauses, sozialer Status der Eltern, Migrationshintergrund)

32. Die Fachkonferenz beschäftigt sich vor allem • mit der Sichtung und Diskussion der aktuellen Ergebnisse (auch der anderen an den Lernstandserhebungen beteiligten Fächer), • mit der Überprüfung der Stimmigkeit und Validität der Einschätzungen aus den Vorjahren • mit der Sichtung und Diskussion der Vorschläge der Kolleginnen und Kollegen sowie der Fachgruppe(n), • mit einer systematischen Ursachenforschung und Aufarbeitung erkannter Defizite (auch vor dem Hintergrund der Erkenntnisse und der Strategien aus vorausgegangenen Lernstandserhebungen), • mit der Überprüfung der Angemessenheit der als Konsequenz aus den Ergebnissen der Lernstandserhebungen beschlossenen Maßnahmen, • mit der Erarbeitung eines Berichts an die schulischen Gremien sowie die Schulaufsicht.

33. Mögliche Konsequenzen der Beratungen können sein: • Verabredung einer systematischen Variation von Aufgabentypen, die in den Lernstandserhebungen besondere Schwierigkeiten verursacht haben, • systematische inhaltliche Aufarbeitung von Kompetenzbereichen (z. B. ausgewählter inhalts- bzw. prozessbezogener Kompetenzen), die an der eigenen Schule Schwierigkeiten verursacht haben, • Auseinandersetzung mit den Beschreibungen von Kompetenzniveaus – insbesondere mit den anspruchsvolleren Niveaus, deren Besetzung in der eigenen Schule (noch) nicht angemessen erscheinen • Einsatz gezielter Fördermaßnahmen für besonders auffällige Schülergruppen bewirken • Festlegung von Fortbildungsschwerpunkten innerhalb des Kollegiums erzielen

34. 4. Aufgabe der Schulleitung Die Schulleitung muss sicherstellen, dass diese Prozesse auch tatsächlich stattfinden und die betroffenen Lehrpersonen Prozesse der Unterrichtsentwicklung einleiten. Am Besten ist jedoch, die Lehrpersonen tun das aus eigener Initiative!

35. 8. Zehn Gründe gegen Rankings • Rankings untergraben Vertrauen (fördern Abschulen und Mogeln) • Rankings sind Momentaufnahmen, interessanter wären Lernzuwächse • Rankings bilden nur einen sehr eingeschränkten Ausschnitt von Schulqualität ab • Rankings wirken deshalb auch gegen ein ausdifferenziertes Schulprofil • Der Ranking-Wert ist ein Artefakt. Er kann aus sehr guten Leseleistungen und schlechten Mathe-Leistungen bestehen

36. Rankings stoßen bei der Lehrerschaft auf Abwehr-Routinen • Rankings vergrößern die Ungleichheit (Prangereffekte) • Rankings lenken von Wichtigerem ab. • Rankings werden überwiegend nur von Eltern genutzt, die sich sowieso gut im Schulbereich auskennen • Rankings sind nicht geeignet, die Schülerleistungen zu erhöhen. Zur Klarstellung: Ich bezeichne mit Ranking nur eindimensionale Rangordnungen (wie beim Thermometer), nicht Indikatorensysteme und Gruppenvergleiche

37. Fazit: Vier Kernaussagen für die Diskussion • Interne Evaluation ist vorrangig (vor externer) • Selbsterhobene Daten bewirken mehr als fremdgelieferte • Aber: Fremdgelieferte Daten sind unumgänglich (Rechenschaft und Spiegelung); Deren Nutzung erfordert jedoch zumeist zusätzliche Qualifikation und Unterstützung. • Rankings sind nicht nur nicht nützlich, sie können sogar schädlich sein. Ich bin gespannt, ob Sie zustimmen

38. Literaturhinweise Wo geht’s lang? • ARGYRIS, Ch: Wissen in Aktion. Stuttgart 1997 • ROLFF, H.G.: Studien zu einer Theorie der Schulentwicklung. Weinheim/Basel 2007