Reliabilitätsanalysen

1. Reliabilitätsanalysen Seminar: Testtheorie und -konstruktion Dozent: R. Leonhart Referentinnen: Anne-Maria Müller, Michaela Nagl 24. Mai 2006

2. Gliederung • A) Theoretischer Hintergrund • 1. Einführung • 2. Methoden zur Reliabilitätsbestimmung • 3. Formeln zur Schätzung der Reliabilität • 4. Minderungskorrekturen • 5. Faktoren, die die Reliabilität beeinflussen • B) Durchführung mit SPSS

3. Theoretischer Hintergrund – 1. Einführung • Reliabilität: Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte • Äquivalenz: Gleichwertigkeit von Messungen • Können variieren bezüglich: • Mittelwert • Standardabweichung • Reliabilität

4. 1. Einführung • Arten der Äquivalenz von Messungen • Streng parallel • T` = T und σ²`(E) = σ²(E) • Im Wesentlichen parallel • T` = T + γ und σ²`(E) = σ²(E) • Tau-äquivalent • T` = T • Im Wesentlichen tau-äquivalent • T` = T + γ • Kongenerisch • T`= β * T + γ T`= wahrer Wert in Test A T = wahrer Wert in Test B σ²`(E) = Fehlervarianz in Test A σ²(E) = Fehlervarianz in Test B γ = additive Konstante β = multiplikative Konstante

5. 2. Methoden der Reliabilitätsbestimmung • Testhalbierungsmethode • Innere (interne) Konsistenz • Retestmethode • Paralleltestmethode

6. 2. Methoden der Reliabilitätsbestimmung • Testhalbierung • Einmalige Durchführung eines Tests an einer Stichprobe • Aufteilung in zwei oder mehrere Teile • Berechnung: Korrelation der Rohwerte der Testhälften • Aufteilungstechniken: • Odd even • Zufällige Aufteilung • Itemzwillinge • Aufteilung nach Testzeit

7. 2. Methoden der Reliabilitätsbestimmung • Anwendung der Testhalbierungsmethode: • Schnelligkeitstests • Ermüdungseffekte verteilen sich gleichmäßig auf die Testteile • Erhöhung der Reliabilität • Bei gleichem Messanspruch: • Beide Testteile erfassen das gleiche Merkmal

8. 2. Methoden der Reliabilitätsbestimmung • Innere (interne) Konsistenz: • An einer Stichprobe durchgeführt • Überprüfung des inneren Zusammenhangs • Tests in so viele Teile zerlegt wie Items • Berechnung: • Itemstreuung • Korrelation • Kovarianzen • Anwendung der inneren Konsistenz: • Erfassen von homogenen Merkmalsbereichen

9. 2. Methoden der Reliabilitätsbestimmung • Retestmethode: • Wiederholte Darbietung desselben Tests an einer Stichprobe mit Zeitabstand • Berechnung: • Korrelation der Rohwertpaare der beiden Testungen • Anwendung: • Schnelligkeitstests • Persönlichkeitstests • generell bei Unabhängigkeit von Übungseinflüssen

10. 2. Methoden der Reliabilitätsbestimmung • Paralleltestmethode: • Parallelformen eines Tests werden einer Stichprobe dargeboten • Berechnung: Korrelation der Rohwerte aus beiden Testformen • Anwendung: • Niveautests • Schnelligkeitstests

11. 3. Formeln zur Schätzung der Reliabilität • Testhalbierungs- und Konsistenzkoeffizient sind gute Schätzer der Reliabilität • Retest- und Paralleltestkoeffizienten über- bzw. unterschätzen die wahre Reliabilität

12. 3. Formeln zur Schätzung der Reliabilität • Testhalbierungskoeffizienten • Spearman-Brown-Formel • rtt = 2 * r12 / 1+ r12 • Voraussetzung: gleiche Itemanzahl und Parallelität • Guttman • rtt = 2 * [ 1- (s1² + s2²)/ sx²] • Kristof (bei kleinen Stichproben) • Feldt (bei ungleich großen Testteilen)

13. 3. Formeln zur Schätzung der Reliabilität • Konsistenzkoeffizienten: • Cronbach-alpha • Guttman`s Lambda3 • Voraussetzung: tau-äquivalente Messungen

14. 3. Formeln zur Schätzung der Reliabilität • Cronbach-alpha: • Cronbach-alpha erhöht sich mit zunehmender Anzahl an positiv korrelierenden Items • Cronbach-alpha-Koeffizient gibt also in Abhängigkeit von der Itemanzahl die Höhe der mittleren Itemzusammenhänge an

15. 3. Formeln zur Schätzung der Reliabilität • Guttman`s Lambda3: • Anwendung bei negativen Itemkovarianzen

16. 4. Minderungskorrekturen • Die Reliabilität beeinflusst die Korrelation zweier Kennwerte in unterschiedlichen Stichproben • Bsp.

17. 5. Faktoren, die die Reliabilität beeinflussen • Homogenität • Streuung der Testkennwerte • Messfehler • Zufällige Antwortmessfehler • Vorübergehende Fehler von Messungen • Systematische Fehler • Spezifische Fehler

18. 5. Faktoren, die die Reliabilität beeinflussen • Klare Testinstruktionen • Klare Formulierung der Items • Auswertungsobjektivität • Keine Items mit geringen Trennschärfen • Testverlängerung mit homogenen Items • Spearman-Brown-Korrekturformel:

19. Beurteilung der Höhe von Testkennwerten

20. B) Durchführung mit SPSS • Berechnung: • Analysieren  Skalieren  Reliabilitätsanalyse

21. B) Durchführung mit SPSS • Verfügbare Modelle zur Berechnung der Reliabilität: • Alpha (voreingestellt): Cronbach-Alpha • Split-Half: Testhalbierungskoeffizient (Spearman-Brown Formel) • Guttman: Konsistenzkoeffizient, Lambda3 • Parallel: Voraussetzungen des parallelen Modells müssen gelten ( gleiche Varianzen und Fehlervarianzen) • Streng parallel: zusätzlich gefordert: Gleichheit der Mittelwerte

22. B) Durchführung mit SPSS • Itemlabels anzeigen: Darstellung der Itemnamen • Schaltfläche Statistik: • Item: Itemmittelwerte (Schwierigkeiten), Streuungen, Anzahl gültiger Fälle • Skala wenn Item gelöscht: korrigierte Item-Trennschärfen • Skala: Mittelwerte und Standardabweichungen für die gesammte Skala • Ausgabe: • Deskriptive Statistiken • Inter-Item correlations: mittlere Itemkorrelation (Homogenitätsindex, i.d.R. zwischen .2 und .4) • Corrected item-total correlation: part-whole korrigierte Trennschärfe • Squared multiple correlation: quadrierte multiple Korrelation der restlichen Items mit dem vorliegenden • Alpha if Item deleted: Reliabilität der verbleibenden Items ohne das vorliegende • Alpha: Gesamtreliabilität • Standardized Item Alpha: bei stark unterschiedlichen Itemstreuungen