Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik

1. 3. SPSS-Academic Convention Weimar – 16./17. Juni 2004 Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus Essen – FB Wirtschaftswissenschaften 16. Juni 2004

2. Agenda • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

3. Situation • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Inhalte sind Deskriptive Statistik, Induktive Statistik und Wirtschaftsstatistik • Klausuren werden jeweils zu zwei Terminen gestellt (Haupttermin/Nachtermin) • Konstant hohe Durchfallquoten sowohl in den Klausuren zur Deskriptiven Statistik als auch zur Induktiven Statistik Statistik als Pflichtveranstaltung für Studierende der Fächer Betriebswirtschaftslehre (BWL), Wirtschafts-informatik (WIINF), Bachelor of Arts in Economics (BA)

4. Punkteverteilung der Klausur Deskriptive Statistik • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

5. Weitere Fakten • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

6. Practice Tests in der empirischen Sozialforschung • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Arten von Feedback • itemspezifisches Feedback (answer-until-correct)/Kennzahlen • sofortiges Feedback/verzögertes Feedback • Empirische Untersuchungen zur Auswirkung von Practice Tests und Feedbackformen auf die tatsächlichen Prüfungsleistungen • Dempsey/Litchfield/Driscoll (1993), Bol/Hacker (2001), Epstein/Epstein/Brosvic (2001), Jacobs (2001), Epstein et al. (2002), Dihoff/Brosvic/Epstein (2003) • Methoden zur Steigerung des Lernerfolgs • Vorstellung einer teaching-testing-machine von Pressey (1926) • Probeklausuren • Dozentenreviews • permanente Lernerfolgskontrolle durch Übungsblätter

7. Practice Tests im Fach Statistik • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Korrektur der Übungsblätter durch Mitarbeiter des Lehrstuhls • Rückgabe der korrigierten Übungsblätter (mit Musterlösung) • Den Studenten wird eine realistische Einschätzung der eigenen Leistung ermöglicht • Lerndefizite werden aufgedeckt • Die Motivation der Studenten, die Defizite bis zur tatsächlichen Prüfung zu beseitigen, wird angeregt • Erfolg versprechende Maßnahme Semesterbegleitende Ausgabe von Übungsblättern(5 Stück)

8. Erste Ergebnisse • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

9. Methodische Vorgehensweise • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Regressionsrechnung zur Bestimmung der Determinanten des Klausurerfolgs • lineare Einfachregression • Logit-/Probit-Schätzung • Berücksichtigung der Selektionsverzerrung • Deskriptive Analyse • Bestimmung von Odds und Odds-Ratios • c2-Test auf Unabhängigkeit

10. Schätzproblem bei Selbstselektion • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Selbstselektion führt bei Nichtberücksichtigung zu verzerrten Schätzergebnissen • Selektionsmodell von Heckman (1976) berücksichtigt die Selektionsverzerrung Teilnahme an der lernfördernden Maßnahme ist freiwillig Lösung Bestimme die Wahrscheinlichkeit einer Teilnahme am Practice Test Berücksichtigung dieser Wahrscheinlichkeit in der eigentlichen Schätzgleichung • Erwartungstreue Schätzung der Einflussfaktoren

11. Deskriptive Analyse • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Durch die Teilnahme am Practice Test steigt die Chance einer erfolgreichen Klausurteilnahme signifikant an. Odds-Ratio=1,25/0,54=2,3188 (statistisch signifikant zum 1%-Niveau) • Die Chance einer erfolgreichen Teilnahme steigt mit der Anzahl der bearbeiteten Übungsblätter an. 0,7 bei einem Blatt; 4,33 bei allen bearbeiteten Blättern • Die Nationalität und der Klausurerfolg sind nicht unabhängig. Odds-Ratio = 2,0914 (statistisch signifikant zum 1%-Niveau) • Kein signifikanter Zusammenhang zwischen Geschlecht und Klausurerfolg Die Wahrscheinlichkeit, die Klausur zu bestehen beträgt nur ungefähr 2/3 der Wahrscheinlichkeit, die Klausur nicht zu bestehen. Chance=0,4005/0,5995=0,6681

12. Schätzergebnisse der Regressionsanalyse • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

13. Berücksichtigung der Selektionsverzerrung • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit 1. Schritt: Selektionswahrscheinlichkeit 2. Schritt: Regressionsgleichung

14. Vergleich der ermittelten Effekte • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit

15. Fazit • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Die Einführung von zu bearbeitenden Übungsblättern entspricht einer lernfördernden Maßnahme im Sinne von Practice Tests • Diese Maßnahme hat auf den ersten Blick einen positiven Effekt auf die Klausurergebnisse der Studierenden • Weitere Einflussfaktoren sind die Nationalität, eine wiederholte Klausurteilnahme sowie die Häufigkeit der Bearbeitung der Übungsblätter Die Klausurergebnisse im Fach Statistik schwanken über die unterschiedlichen Studiengänge stark

16. Fazit • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit • Bei Berücksichtigung des Selektionsprozesses ändern sich die Ergebnisse nicht von der Tendenz, wohl aber in ihrer Intensität. • Der Effekt der Practice Tests wird leicht überschätzt • Der Effekt einer wiederholten Klausurteilnahme wird deutlich unterschätzt • Ausländische Studierende erreichen signifikant schlechtere Ergebnisse als deutsche Studierende • Die Teilnahme an einer lernerfolgsfördernden Maßnahme unterliegt jedoch der Selbstselektion • Die Wahrscheinlichkeit einer Teilnahme am Practice Test wird vom Studiengang, dem Alter der Studierenden und von der Semesterzahl beeinflusst

18. Klausurerfolg – Chancen, Odds-Ratio und c2-Test • Bestandsaufnahme • Practice Tests • Methodische Vorgehensweise • Ergebnisse • Fazit