390 likes | 796 Vues
Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen. SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen . Inhalte der letzten Sitzung:Daten sammeln Messen und SkalierenSkalenniveaus ? Informationsgehalt der Messung - Nominalskala - Ordinal- bzw. Rangskala - Intervall
E N D
1. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen Pdagogische Diagnostik Modul H II - Vorlesung Thema 2: Methodenfragen - 2
2. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Inhalte der letzten Sitzung:
Daten sammeln Messen und Skalieren
Skalenniveaus ? Informationsgehalt der Messung- Nominalskala- Ordinal- bzw. Rangskala- Intervallskala- Verhltnis- bzw. Proportionalskala
Gtekriterien ? Qualitt der Messung- Objektivitt- Reliabilitt (Zuverlssigkeit)- Validitt (Gltigkeit)
3. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Vergleich von Messdaten
Normen
Verfahren der Datenerhebung
Beobachten
Befragen
Testmethoden
4. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Normen ? Bezugsmastbe fr den Vergleich von Messdaten
1) Bezugsnormen nach der Vergleichsperspektive (Rheinberg 2001)
Soziale Bezugsnorm = Vergleich mit den Ergebnissen der Lerngruppe (Klasse)
Individuelle Bezugsnorm= Vergleich mit den frheren Lernergebnissen des Individuums
Sachliche bzw. kriterielle Bezugsnorm= Vergleich mit gesetzten Lernzielen
Problem: fehlende allgemeine (objektive) Vergleichskennwerte!
5. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Bezugsnormen (Rheinberg/Krug 2005, S. 41)
6. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen
7. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Allgemeine Normen (mit Vergleichskennwerten):
Prozentrnge
Standardnormen
Fhigkeitsnormen
ermglichen den Vergleich von Einzelwerten mit einer allgemeinen Vergleichsskala
8. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Prozentrang ? markiert die relative Position in einer Gruppe ? gibt an, wie viel Prozent der Schler/innen in einem Test genauso gut oder schlechter abgeschlossen haben!
9. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Umwandlung der Rohwerte in Prozentrnge: cum f % = 100*cumf / N
10. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Standardnormen
empirisches Relativ (Merkmal) normalverteilt
Hufigkeitsverteilung (Flchenverteilung) wird auf lineare Skalen bezogen basiert auf Eigenschaften der Standardnormalverteilung: - symmetrische Kurve - Flche unter der Kurve = 1 (100%) - arithm. Mittel = Median - Standardabweichung: s=1
Aufteilung in gleiche Achsenabschnitte (Intervalle) (Basis: Standardabweichung)
11. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen
12. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Allgemeiner Schulleistungstest fr 2. Klassen (AST 2) (Rieder 1991)
13. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Normskalen und Anwendungsvoraussetzungen:
14. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Fhigkeitsnorm? Vergleichsmastab: Schwierigkeitsgrad von Testaufgaben
Annahme (probabilistische Testtheorie): kann eine Person eine Aufgabe mit einem spezifischen Schwierigkeitsgrad lsen, besitzt sie mit einer gewissen Wahrscheinlichkeit diese Fhigkeit in entsprechender Ausprgung
15. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen
16. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen
17. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 1. Gegenstand Pdagogischer Diagnostik vgl. Pekrun 1988: S.83
18. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Verhaltensbeobachtung ? Vorteile
Quelle von Informationen, die auf anderen Wegen nicht gewonnen werden knnen
kann weitgehend unabhngig von der Bereitschaft der beobachteten Person durchgefhrt werden
geringer Einfluss auf die beobachtete Person
19. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Verflschungstendenzen durch
Selektion
Organisation
Akzentuierung
Fixierung
= strukturierende Faktoren menschlicher Wahrnehmung (Basis: eigene Erfahrungen)
Problem: eigene Erfahrungen (!!)
notwendige Voraussetzung fr Verstehen
Quelle von Beobachtungsfehlern
20. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Allgemeine diagnostische Fehler
Referenzfehler
wenn mit unangemessenen Verhaltensmustern verglichen wird(zu streng, zu milde, indifferent)
wenn Verhalten falsch interpretiert wird (interkulturelle Differenzen)
Zusammenhangsfehler
? wenn unzutreffende Relationen zwischen Merkmalen hergestellt werden, z. B. - Halo-Effekt (Hof-Effekt)- logischer Fehler
21. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen beobachtungsspezifische Fehler
wenn die Wahrnehmungskapazitt berfordert ist
wenn die Beobachtungsgegenstnde zu unscharf definiert sind
wenn B. nicht mit den Beobachtungsgegenstnden vertraut ist
wenn B. nicht mit der Probandengruppe vertraut ist
Wissenschaftliche (systematische) Beobachtung
? Versuch Verflschungstendenzen zu minimieren und zu kontrollieren
22. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen naive Beobachtung ? einfache Wahrnehmung? ungerichtetes Zuschauen
Funktion: Orientierung in der sozialen Welt (Atteslander 2000)
wissenschaftliche (systematische) Beobachtung ? Absicht, Annahmen zu berprfen (Fragestellung)? systematische Selektion bestimmter Aspekte? beabsichtigte Auswertung der erhobenen Daten ? Gtekriterien
Funktion: Rekonstruktion sozialer Wirklichkeit (Atteslander 2000)
23. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Unterformen wissenschaftlicher Beobachtungen (Fisseni 2004)
unsystematische ? systematische unstandardisiert ? standardisiert unstrukturiert ? strukturiert unkontrolliert ? kontrolliert
teilnehmende ? nicht teilnehmende
nach Art der Ergebnisfixierung: mechanisch ? symbolisch
nach Beobachtungsausschnitten: Ereignisstichproben ? Zeitstichproben
Problem: Stichprobenziehung ? Bestimmung der Grundgesamtheit!!
24. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Formen der Protokollierung von Beobachtungen (Fanacht 1995)? Reduktion von Inferenz
Indexsysteme (Zeichensysteme, Merkmalsysteme) ? Vorkommen von Indikatoren
Kategoriensysteme ? Vorkommen von Merkmalskategorien
Schtz- bzw. Ratingskalen ? Quantifizierung des Auftreten bzw. der Ausprgung von Merkmalen
25. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Konkretheit ? Abstraktheit von Beschreibungen
Inferenz
? Wertungs- und Interpretationsprozesse in Beschreibungen (Schlussfolgerungen = Inferenzen)
niedrig inferent (konkret, verhaltensnah) (Bsp.: Der Gedichtvortrag des Schlers enthielt mehrere Versprecher, vier Mal wurde falsch betont und drei Mal wurde vom Orginaltext abgewichen.)
hoch inferent (abstrakt) (Bsp.: Der Gedichtvortrag des Schlers war eher stockend und fehlerhaft.)
26. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Schtz- bzw. Ratingskalen (hochinferent!!)
27. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Schtz- bzw. Ratingskalen (niedriginferent)
28. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Schtz- bzw. Ratingskalen (niedriginferent)
29. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Minimalprogramm fr eine objektivierte Beobachtung im schulischen Kontext:
Auswahl der Beobachtungsfrage fr wichtige Beurteilungsauf- gabe, z. B. Abschlussnote: Projektkompetenz
Auswahl geeigneter Beobachtungssituationen: z. B. Gruppen- arbeit/ Projektwochen/Exkursion etc.
Auswahl und Kategorisierung der Indikatoren: In welchem Verhalten uert sich Projektkompetenz? Welches Verhalten kann in konkreten Situationen als projektkompetent gelten?
Festlegung: Welche Personen werden in welchem Zeitabschnitt beobachtet?
Wie knnen potentielle Beobachtungsfehler vermieden werden?
Vorbereitungen zur Protokollierung von Beobachtungsergebnissen
30. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen berprfung der Beobachtungsgte (Minimalprogramm)
? z. B. Objektivitt durch parallele Beobachtungen (standardisiert)
? Berechnung des bereinstimmungsgrades (Inter-Rater-Reliabilitt)
31. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 1. Gegenstand Pdagogischer Diagnostik vgl. Pekrun 1988: S.83
32. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Befragung
? vorwissenschaftliches ungesteuertes Gesprch
? diagnostische Befragung (theoriegeleitet, geplant)
eine Vorgehensweise der Informationssuche, bei der ein Proband durch gezielte Fragen zu Angaben ber sich und sein Umfeld angeregt werden soll (Fisseni 2004: 141)
33. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Befragungsmethoden - kategorisiert
Merkmale
nach mndlicher und schriftlicher Erhebungstechnik
nach dem Ausma der Strukturierung
nach dem Grad der Standardisierung
nach offener und geschlossener Antworttechnik
nach Individual- oder Gruppenerhebung
nach einmaliger oder mehrfacher Anwendung
34. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Mndliche Befragung Interview
Strukturiertheit ? Interviewsituation (Ablauf) wenig strukturiert teilstrukturiert stark strukturiert
Standardisierung ? Instrument standardisierte Fragen - nicht standardisierte Fragen
Antworttechnik ? Antwortspielraum der Frage offene Antworten - geschlossene Antworten
35. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen
36. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Pdagogischer Kontext i. d. R. weniger strukturierte Gesprchsformen
? hohe Anforderung an den Interviewer
? angemessene Vorbereitung wichtig- Informationsinteresse konkretisieren- Reihenfolge der Themen festlegen- situative Bedingungen bercksichtigen
? psychologische Reihenfolge tendenziell bedeutsamer als sachlogische- Wechsel der Bezugssysteme einleiten- keine Suggestivfragen
? aufgeschlossene Atmosphre schaffen- Eisbrecher-Fragen- neutrale aber wertschtzende Haltung, Zurckhaltung respektieren- angepasste Ausdrucksweise, nicht an Themen festbeien
37. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Schriftliche Befragung (Fragebogen)
? Fragebogen wird von Befragten selbst ausgefllt
? wenig aufwndiges Verfahren, um Informationen zu gewinnen
? viele bewhrte Fragebogen ffentlich zugnglich (z. B. Motivation, Interesse, Prfungsangst, Selbstkonzept etc.)
38. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen Regeln fr die Konstruktion von Fragebogen (vgl. Ingenkamp/Lissmann 2005: 102f.)
Sprache und Wortschatz der Zielgruppe beachten
Informationsniveau der Zielgruppe bercksichtigen, Frageinteresse legitimieren, auf Bezugssysteme verweisen
vage und unbestimmte Begriffe vermeiden (z. B. durchschnittlich, mittelmig etc.)
Frage nur auf ein Problem bezogen
direkte und gegebenenfalls indirekte Fragen (zu Einstellungen) einsetzen
Zustimmungs- oder Bejahungstendenzen bei der Formulierung von Fragen bercksichtigen
evtl. Portalfragen oder Trichtertechnik einsetzen, um Antworthemmungen zu verringern
39. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 2. Methodenfragen 3. Testmethoden
Testprsentation
Formen von Testaufgaben
Kurzantwortformen
Essayformen
Performanzaufgaben
40. Dr. Birgit Ziegler, Institut fr Erziehungswissenschaften, RWTH Aachen SS 2007: H II - Pdagogische Diagnostik 1. Gegenstand Pdagogischer Diagnostik ergnzende Literatur:
Rheinberg, F. (1980): Leistungsbewertung und Lernmotivation. Gttingen: Hogrefe
Rheinberg, F. (2001): Bezugsnormen und schulische Leistungsbeurteilung. In: Weinert, F. E. (Hrsg.): Leistungsmessung in Schulen. Weinheim: Beltz, S. 59-71
Rheinberg, F.; Krug, S. (2005): Motivationsfrderung im Schulalltag. 3. korr. Aufl.. Gttingen: Hogrefe