Theorie psychometrischer Tests, I

1. Theorie psychometrischer Tests, I U. Mortensen Mainz, 2009

2. Experten versus Tests Diagnose Experten Psychometr. Tests Professoren, Lehrer, Psychiater, Psychologen etc Intelligenztests Zulassungstest (Medizin, Management, etc) Persönlichkeitstests, etc Urteile: Wissen, Erfahrung Empirisch getestete Gültigkeit und Zuverlässigkeit (Lundberg, 1941) (Sarbin, 1943)

3. Experten versus Tests Meehl, 1954 Experten – „Kliniker‘‘ Selbstbild Fremdbild (Psychometriker) • mystisch, transzendent • metaphysisch • unzuverlässig, grob • unverifizierbar • vorwissenschaftlich • unkontrolliert • wirrköpfig • bedeutungsvoll, • holistisch, subtil, • konfigural, • einfühlsam, tief, • echt, • dynamisch, global, • lebensnah,

4. Experten versus Tests Meehl, 1954 Psychometriker- „Mechaniker“ Selbstbild Fremdbild (Klinker) • operational • kommunizierbar, objektiv • verifizierbar • präzise, zuverlässig • wissenschaftlich • mechanisch • atomistisch, additiv • künstlich • fraktioniert, trivial • übersimplifiziert • pseudowissenschaftlich • pedantisch

5. Experten versus Tests Empirische Befunde Meehl (1986): Alle Studien sprechen für den psychometrischen, nicht für den „verstehenden Ansatz“ der Experten (Experten: zwischen 50% und 65% korrekt, Psychometriker: 75% bis über 90% korrekt) Dawes (1996): Weitere Studien mit gleichem Befund; Rolle insbesondere psychoanalytisch orientierter Therapeuten, medizinische Prognosen, etc Beispiel: Texas Medical School

6. Experten versus Tests Gründe für Expertenversagen: Situative Faktoren (Müdigkeit, Veränderung der Konzeptualisierung = Reduktion der Zuverlässigkeit) Mangelnde Validität aufgrund mangelnder Rückkopplung, dh es findet kein Lernen statt Konfirmatorischer Bias (widersprechende Informationen werden nicht zur Kenntnis genommen) Sich selbst erfüllende Prophezeiungen: Gewalttäter - Todesstrafe – tobt in der Zelle

7. Experten versus Tests Gründe für Expertenversagen: Repräsentativität: (Kahnemann & Tversky, 1974) Mann sei scheu, zurückgezogen, Neigung zu Ordnung und Detail: Ist er Bauer, Handelsvertreter, Pilot, Bibliothekar, Arzt? Häufigste Antwort: Bibliothekar.

8. Experten versus Tests Gründe für Expertenversagen: Verhalten erscheint vorhersagbar, nachdem es eingetreten ist, - aber nicht vorher! Daher subjektive (Pseudo-)Konsistenz der eigenen Urteile, - Erfahrung wird nicht vermehrt! Experten und mangelnde Repräsentativität der Population, aus der Erfahrung gewonnen wird: Jugendliche Delinquenten und „abweichende EEG-Muster“ – also abweichendes EEG-Muster impliziert Neigung zur Delinquenz. Aber: nicht-delinquente Jugendliche haben ebenso häufig abweichene EEG-Muster!

9. Experten versus Tests Gründe für Expertenversagen: Grundquotentäuschung (base rate fallacy): Grundquoten (base rates)

10. Experten versus Tests Gründe für Expertenversagen: Verfügbarkeit (Avaliability) Wahrscheinlichkeit, mit der eine Person ein Merkmal hat, wird nach Maßgabe der Personen mit diesem Merkmal, die man im Gedächtnis hat, abgeschätzt. Merkmale mit großer Salienz (Herzinfarkte) werden besser erinnert als Merkmale mit geringer Salienz.

11. Aufgabentypen • Frage • Feststellung • Bild Antwortformat: • Offen • Dichotom/polynom • Schätz-(Rating-)Skala • Multiple choice Ziel: möglichst 1-deutige Rückschlüsse auf Merkmal ermöglichen!

12. Grundbegriffe der Testtheorie Objektivität: verschiedene Testleiter kommen zur gleichen Bewertung; hohe Korrelation zwischen verschiedenen Testleitern. Reliabilität: Zuverlässigkeit – die Genauigkeit, mit der ein Merkmal gemessen wird. Validität: Gültigkeit – der Test erfasst das Merkmal, das er erfassen soll. Trennschärfe: der Test differenziert zwischen Personen, die sich durch die Merkmalsausprägung unterscheiden.

13. Grundbegriffe der Testtheorie Schwierigkeit: Ein Test oder Item ist schwierig bzw leicht, wenn die Beantwortung eine hohe oder geringe Merkmalsausprägung voraussetzt. Homogenität/Heterogenität: Die Items eines Tests sind homogen, wenn sie alle nur ein Merkmal erfassen, andernfalls sind sie heterogen.

14. Psychometrische Tests Testtheorien Klassische Testtheorie Probabilistische Testtheorie wahrer Wert Fehler Score Item-characteristic-function Schwierigkeit Fähigkeit

15. Klassische Testtheorie(Messfehlertheorie) Fehler Wahrer Wert Gewichte

16. Klassische Testtheorie (KTT) Beispiele:

17. Klassische Testtheorie (KTT) Schwierigkeit einer Aufgabe: Anteil bzw. Prozentsatz der Probanden, die die Aufgabe lösen bzw. beantworten. Problem: die Schwierigkeit ist abhängig von der Population, bei der der Test administriert wird, d.h. Der Vergleich von Probanden aus verschiedenen Populationen ist schwierig, wenn nicht unmöglich.

18. Probabilistische Testtheorie(Item-Response-Theorie, IRT) Ziel: Personenparameter und Itemparameter (= Schwierigkeit) sollen unabhängig voneinander bestimmt werden. Die Schwierigkeit ist ein Merkmal eines Items, unabhängig von den getesteten Personen, der Personenparameter ist unabhängig von den im Test verwendeten Items. Die Bezeichnung ‚Probabilistische Testtheorie‘ ist insofern irreführend, als auch die KTT probabilistisch ist, - der Score ist ja mit einem zufälligen Fehler behaftet.

19. Monotone Itemfunktionen Spezialfall: deterministisches Antwortverhalten (Guttman-Skalen) Allgemeiner Fall: Probabilistisches Anwortverhalten