Vor- und Nachteile von Auswahlinstrumenten

1. Prof. Dr. Lothar Schmidt-Atzert Fachbereich Psychologie, Philipps-Universität Marburg Vor- und Nachteile von Auswahlinstrumenten

2. Übersicht • Vorhersage von Studienerfolg • Kriterien: was vorhersagen? • Anforderungsanalyse: Was wird benötigt? • Empirische Befunde: Was ist wie valide? • Noten • Eignungstests • Auswahlgespräche • auch beachten: Ökonomie, Verfälschbarkeit, Fairness, Akzeptanz • Fazit

3. Zulässige Auswahlkriterien Auswahlkriterien für die Hochschulen (HRG, §32, Abs. 3) Variationen bei Umsetzung in Hochschulgesetze der Länder • Durchschnittsnote der Hochschulzugangsberechtigung • gewichtete Einzelnoten • Ergebnis eines fachspezifischen Studierfähigkeitstests • Art der Berufsausbildung oder Berufstätigkeit • Ergebnis eines von der Hochschule durchzuführenden Gesprächs (Motivation und Eignung) • eine Kombination der o.g. Kriterien

4. Informationen zu folgenden Auswahlkriterien • Abiturnote √ • gewichtete Einzelnoten √ • fachspezifische Studierfähigkeitstests √ • Gespräch √ • Art der Berufsausbildung oder Berufstätigkeit (oder eine Kombination der o.g. Kriterien) √

5. Was soll vorhergesagt werden? • Studienerfolg (Noten)? • Berufserfolg? • Studiendauer? • Studienabbruch? Kriterium vorab zu entscheiden!

6. Wie findet man das richtige Auswahlverfahren? 1) Anforderungsanalyse 2) empirische Befunde zur Vorhersage von Studienerfolg, … Beide Strategien ergänzen sich.

7. 1) Anforderungsanalyse • Ansatz aus der Arbeitspsychologie • Welche Anforderungen sind zu bewältigen? • Welche Eigenschaften benötigen erfolgreiche Studierende? • liefert Hinweise, welche Merkmale für den Studienerfolg relevant sind • Die Fragen müssen für jedes Studienfach gestellt werden.

8. Methoden der Anforderungsanalyse • Befragungvon Studierenden und Lehrenden (Interview oder schriftlich) • „kritische Ereignisse“ nennen lassen • Anforderungen oder Eigenschaften direkt erfragen • Analyse von Dokumenten(Studien- und Prüfungsordnungen) - für Studium keine standardisierten Instrumente verfügbar

9. Anforderungsanalyse: Anglistikstudium erforderliche Eigenschaften: • selbstständiger Erwerb englischer Sprachpraxis • Informationssuche • selbstorganisiertes Lernen • … Quelle: Pixner, J., Zapf, S. & Schüpbach, H. (2005). Die Anforderungsanalyse zur Ermittlung erfolgskritischer Aufgaben und Verhaltensweisen im Studium. Vortrag auf der 8. Arbeitstagung der Fachgruppe Differentielle Psychologie, Persönlichkeitsforschung und Diagnostik in Marburg am 26. und 27. September 2005.

10. Anforderungsanalyse: Psychologie-studium erforderliche Eigenschaften: • Selbstorganisation • allgemeine sprachliche Kompetenz • Leistungsmotivation • … Quelle: Wetzenstein, Vortrag 20. 4. 05 im Bühler-Kolloquium, Universität Dresden

11. Wie kann man die erforderlichen Eigenschaften messen? Selbstorganisation: Gespräch? sprachliche Kompetenz: Deutschnote? Leistungsmotivation: Gespräch? zulässige Verfahren im Sinne des HRG!

12. Prinzip der Verfahrensauswahl

13. 2) Empirische Befunde • internationale Forschung zu Studienerfolg • nationale Forschung zu Studienerfolg

14. Internationale Forschung zu Studienerfolg 1) Metaanalyse von Robbins et al. (2004) 2) Metaanalyse von Hell et al. (2005) und Trapmann et al. (2005)

15. Internationale Forschung zu Studienerfolg Metaanalyse von Robbins et al. (2004) • Kriterium: „college outcome“ (College GPA, Dauer) • Prädiktoren: Schulnoten, Auswahltests + psychosoziale Faktoren • insgesamt 109 Studien Robbins, S.B., Lauver, K., Le, H., Davis, D., Langley, R. & Carlstrom, A. (2004). Do psychosocial and study skill factors predict college outcomes? A meta-analysis.Psychological Bulletin, 130, 261-288.

16. Vorhersage von College GPA(Robbins et al., 2004) multiple Regression nach Robbins et al., Tab. 5; (r) = nur die beiden varianzstärksten zusätzlichen Prädiktoren aus Tab. 10 aufgeführt (unkorrigierte Werte). R2 für klassische Prädiktoren aus Tab. 9. * Fragebogen; akad. Fähigkeiten (= academic self-efficacy). ,

17. Vorhersage der Studiendauer(Robbins et al., 2004) multiple Regression nach Robbins et al., Tab. 4; r nicht minderungskorrigiert, nur die beiden varianzstärksten zusätzlichen Prädiktoren aus Tab. 8 aufgeführt, R2 für klassische Prädiktoren aus Tab. 9. * Fragebogen; akad. Fertigkeiten = time management skills, study skills and habits, problem solving strategies, communication skills,…

18. Zusammenfassung Robbins et al. (2004) Studienleistung (GPA): • Die Klassischen Prädiktoren erklären 22%. • Drei psychosozialen Faktoren erklären weitere 4%. Studiendauer: • Die Klassischen Prädiktoren erklären 9%. • Fünf psychosozialen Faktoren erklären weitere 8%. Fazit: GPA durch klassische Prädiktoren, Dauer primär durch psychosoziale Faktoren vorhersagbar nach Robbins et al., Tab. 9 für Dauer und 11 für GPA; (nicht minderungskorrigiert)

19. Vorhersage von StudiennotenMetaanalysen von Hell et al., 2005; Trapmann et al., 2005 • Kriterium: Noten, Studienabbruch • Prädiktoren: Schulnoten, Bachelornoten, allgem. und fachspezifische Studierfähigkeitstests (bis hier nur Europa), Interviews, … (weltweit) • insgesamt 211 Studien ausgewertet Hell, B., Trapmann, S., Weigand, S., Hirn, J.O. & Schuler, H. (2005). Die Validität von Prädiktoren des Studienerfolgs – eine Metaanalyse. Vortrag auf der 4. Tagung der Fachgruppe Arbeits- und Organisationspsychologie der Deutschen Gesellschaft für Psychologie in Bonn, 19.09.-21.09.2005. Trapmann, S., Hell, B., Hirn, J.O., Weigand, S. & Schuler, H. (2005). Psychologische Konstrukte als Prädiktoren des Studienerfolgs – eine Metaanalyse. Vortrag auf der 8. Arbeitstagung der Fachgruppe Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik der Deutschen Gesellschaft für Psychologie in Marburg, 26.09.-27.09.2005.

20. Ergebnisse (Hell et al., 2005) Metaanalyse von Hell et al. (2005) N = Anzahl der untersuchten Personen, k = Anzahl der Studien

21. Ergebnisse (Trapmann et al., 2005) Fazit der Autoren: Komponenten der Gewissenhaftigkeit mit Interviews erfassen

22. Vorhersage von Studienabbruch Metaanalyse von Trapmann et al. (2005) Trapmann et al. (2005)

23. Deutsche Forschung zu Studienerfolg 1) Metaanalyse von Baron-Bolt, Schuler & Funke (1988) zu Schulnoten 2) Untersuchung von Steyer et al. (2005) zu Schulnoten (Studienfach Psychologie) 3) Untersuchung von Schmidt-Atzert (2005) zu Schulnoten und weiteren Prädiktoren (Studienfach Psychologie) 4) Forschung zum Auswahlverfahren für medizinische Studiengänge

24. Vorhersage von Studienerfolg mit Schulnoten Metaanalyse von Baron-Boldt et al. (1988) Fazit: Gesamtnote bester Prädiktor, Unterschiede zwischen den Studienfächern

25. Vorhersage von Studienerfolg mit Schulnoten aktuelle Studie von Steyer, Yousfi und Würfel (2005) • Stichprobe: alle 1995 bis 2001 in Jena neu immatrikulierte Psychologiestudenten (N = 694) • Prädiktor: Abiturnoten • Kriterium: Noten im Vordiplom und Diplom • Ergebnisse: • r = .39 (Gesamtnote Vordiplom) • r = .28 (Gesamtnote Diplom) • einzelne Fachnoten korrelieren niedriger mit (Vor-) Diplom • Fazit: Gesamtnote im Abitur guter Prädiktor, gewichtete Schulnoten nicht sinnvoll

26. Vorhersage von Studienerfolg mit Schulnotenaktuelle Studie von Schmidt-Atzert (2005) • Studienanfänger im Fach Psychologie zum Studienbeginn WS 2002/03 untersucht (freiwillig!) • Kriterium: Vordiplomnoten nach zwei Jahren, Studiendauer, Studienabbruch • N = max. 106

27. Ergebnisse: Vorhersage der Vordiplomnote 1 Leistungsmotivation hat eine signifikante inkrementelle Validität über die Abiturnote hinaus! N = 48 (Belastbarkeit) bis 79 (Abiturnote); negatives Vorzeichen wegen Notenskala 1 - 5

28. Abiturnote und Vordiplomnote

29. Leistungsmotivation und Vordiplomnote r = -.25* n = 57

30. Ergebnisse: Studiendauer und -abbruch VD = Vordiplom; Werte, die sich signifikant von der Gruppe „VD“ unterscheiden, farbig markiert

31. Zusammenfassung zur Studie • Vordiplomnote durch Abiturnote vorhersagbar (r = .37) • Leistungsmotivation hat eine inkrementelle Validität • Studienabbrecher • haben höhere Neurotizismus-Werte • sind schlechter über Studium informiert • berichten viele Belastungen (Jobs, Familie, …)

32. Auswahlverfahren für medizinische Studiengänge • in Deutschland 1986 bis 1998 „Test für medizinische Studiengänge“ TMS • seit 1998 Nachfolgertest in der Schweiz

33. zum TMS: Testaufbau

34. zum TMS: Testaufbau Gesamtdauer: ca. 5 Stunden Quelle: Langfeldt & Tent (1999)

35. Vorhersage der Ärztlichen Vorprüfung schriftlicher Teil ______________________________________ Teststandardwert: r = .50 Abiturdurchschnitt: r = .48 „Wertzahl“ (Note 55%, Test 45%): r = .57 ______________________________________ Ergebnisse aus drei Testkohorten ( N = 27.876) * unkorrigierte Validitätskoeffizienten Quelle: Klieme & Nauels, 1994, S.158) Fazit: Abiturnote guter Prädiktor, inkrementelle Validität durch Test

36. Nachfolgetest EMS in der Schweiz • gleicher Aufbau wie TMS • seit 1998 angewandt • bis 2005 freie Zulassung, kein NC! • Validität: r = .55 • Kriterium: Durchschnittsnote (Human- und Veterinärmedizin) • Trainierbarkeit gering Quelle: Hänsgen, K.-D. (2005). Acht Jahre Eignungstests für das Medizinstudium in der Schweiz. Vortrag auf der 8. Arbeitstagung der Fachgruppe Differentielle Psychologie, Persönlichkeitsforschung und Diagnostik in Marburg am 26. und 27. September 2005.

37. Ein Zwischenfazit • zwei gute Prädiktoren für Studienerfolg: Noten und Studierfähigkeitstests • Kombination besser als ein Prädiktor • Studiendauer und –abbruch durch psychosoziale Faktoren vorhersagbar

38. Empirische Befunde zu Auswahlgesprächen Metaanalysen zur Validität verschiedener Prädiktoren für (beruflichen) Ausbildungserfolg(Auszug) Kriterium: „performance in job training programs“ Korrelationen korrigiert für Varianzeinschränkung und Reliabilität. Nur die besten Prädiktoren nach Schmidt & Hunter aufgeführt.

39. Gespräche ??? • Was leisten Auswahlgespräche bei der Vorhersage von Studienerfolg?

40. Untersuchungen zur Vorhersage des Studienerfolgs in Medizin Vergleich verschiedener Auswahlverfahren. Zulassung zum Studium nach fünf Quoten: _____________________________________ vorab bis 10 % für Ausländer N = 592 15 % nach Auswahlgespräch N = 2.010 45 % nach Abitur und Test N = 12.550 10 % nach Testergebnis N = 1.983 20 % nach Wartezeit N = 3.707 ______________________________________ Quelle: Nauels & Klieme, 1994; N = Anzahl der Studierenden, die nach vier Semestern zur Prüfung angetreten sind 15 % Kandidaten nach Vorabquote per Los Auswahlgespräch oder der „gestaffelten“ Restgruppe zugewiesen

41. Auswahlgespräch • Selektionsquote: 1/3 (d.h. drei mal mehr Kandidaten eingeladen als Studienplätze) • Gespräch mit zwei Hochschullehrern • Motivation und Eignung für das Studium und den angestrebten Beruf feststellen Quelle: Nauels & Klieme, 1994

42. Validität: Studiendauer Studiendauer: nach 4 Semestern zur Vorprüfung angetreten Quelle: Nauels & Klieme (1994)

43. Validität: Prüfungserfolg Prüfungserfolg: Vorprüfung nach 4 Semestern im ersten Anlauf bestanden Quelle: Nauels & Klieme (1994)

44. Validität: Prüfungsleistung schriftlich schriftliche Prüfungsleistung: Standardwerte Quelle: Nauels & Klieme (1994)

45. Validität: Prüfungsleistung mündlich mündliche Prüfungsleistung: Note Quelle: Nauels & Klieme (1994)

46. Zwischenfazit zu Auswahlgesprächen • Validität von Auswahlgesprächen bei allen Kriterien schlechter als die von Eignungstest

47. Weitere Aspekte von Auswahlverfahren • Ökonomie • Verfälschbarkeit • Fairness • Akzeptanz

48. Ökonomie zeitlicher und finanzieller Aufwand für • die Bewerber • die Prüfer • die Organisation • Einladungen, Bescheide, Abwehr von Klagen, …

49. Ökonomie * bei Gruppenuntersuchungen mit N = 150 pro Termin mit drei „Prüfern“ anwesend ** bei 2 Interviewern pro Gespräch

50. Ökonomie • Die nach einem validen Verfahren ausgewählten Studierenden erzielen am Ende bessere Studienleistungen. • Auswahl hat diesbezüglich den gleichen Effekt wie eine Verbesserung der Ausbildung. • Eine Verbesserung der Ausbildung kostet viel Geld. • Ein valides Auswahlverfahren kostet vergleichsweise wenig Geld.