Experimente in der Linguistik

1. Experimente in der Linguistik 8. Vorlesung (09.12.2010) apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie ulrich.schade@fkie.fraunhofer.de

2. Experimente in der Linguistik Kontaktdaten apl. Professor Dr. Ulrich Schade Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) Neuenahrer Straße 20 53343 Wachtberg E-Mail: ulrich.schade@fkie.fraunhofer.de Telefon: 0228 9435 376 Fax: 0228 9435 685

3. Experimente in der Linguistik Überblick • Einführung • Zur wissenschaftstheoretischen Bedeutung von Experimenten • Hypothesenbildung • – Grundlagen zu „Experiment“ • – Arten von Experimenten • – Hypothesen • Statistische Auswertung • Beispiele für Experimente in der Linguistik

4. Experimente in der Linguistik Statistische Auswertung • Der Vollständigkeit halber folgt noch der Test, mit dem man überprüfen kann, ob für die Messwerte einer Messreihe eine Normalverteilung vorliegt. (Untersucht wird eigentlich die Frage, ob die beobachtete Häufigkeitsverteilung signifikant von der Normalverteilung abweicht.) • Voraussetzungen: • eine Messreihe mit n Messwerten • Die Messwerte sind kardinal skaliert.

5. Experimente in der Linguistik Statistische Auswertung: Normalverteilungsanpassungstest nach David Schritt 1: Berechnung der Spannweite w w = xmax – xmin Schritt 2: Berechnung des arithmetischen Mittels Xarith = (x1 + … + xn)/ n

6. Experimente in der Linguistik Statistische Auswertung: Normalverteilungsanpassungstest nach David Schritt 3: Berechnung der Summe der quadrierten Differenzen zwischen den Messwerten und dem Mittelwert Q = (x1 – Xarith)2 + … + (xn– Xarith)2 Schritt 4: Berechnung der Varianz s2 = Q / (n – 1)

7. Experimente in der Linguistik Statistische Auswertung: Normalverteilungsanpassungstest nach David Schritt 5: Berechnung des Testwertes D D = w / s Das Nachschlagen in der Tabelle gibt für D und  (z.B.  = 0.05) die beiden kritischen Schranken, Dmin und Dmax. Sofern D zwischen diesen beiden Schranken liegt (Dmin ≤ D ≤ Dmax), liegt keine signifikante Abweichung von der Normalverteilung vor.

8. Experimente in der Linguistik Statistische Auswertung: Normalverteilungsanpassungstest nach David Ausschnitt aus der Liste für D-Werte

9. Experimente in der Linguistik Statistische Auswertung Wir haben bislang für die Diskussion der statistischen Auswertung immer zwei Messreihen miteinander verglichen. Häufig hat man jedoch sehr viel mehr Messreihen. Betrachten wir dazu wieder das Beispiel Schriefers, H., Meyer, A.S. & Levelt, WJ.M. (1990). Exploring the time course of lexical access in speech production. Journal of Memory and Language, 29, 86-102.

10. Experimente in der Linguistik Schriefers, Meyer & Levelt (1990) Ziel: sigaar (Zigarre) Unrel: poes (Katze) Sem: pijp (Pfeife) Phon: citroen (Zitrone) Aufgetragen wird die Differenz zur Produktion ohne Störwort. 100 50 0 -150 0 +150

11. Experimente in der Linguistik Statistische Auswertung • Im Prinzip haben wir in diesem Beispiel (wenigstens) 9 Messreihen: • Messreihe semantische Ähnlichkeit bei SOA -150ms • Messreihe semantische Ähnlichkeit bei SOA 0ms • Messreihe semantische Ähnlichkeit bei SOA +150ms • Messreihe phonologische Ähnlichkeit bei SOA -150ms • Messreihe phonologische Ähnlichkeit bei SOA 0ms • Messreihe phonologische Ähnlichkeit bei SOA +150ms • Messreihe unrelatiert bei SOA -150ms • Messreihe unrelatiert bei SOA 0ms • Messreihe unrelatiert bei SOA +150ms

12. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen In diesem Fall müssen wir auch Wechselwirkungen zwischen den Messreihen untersuchen. Eine Wechselwirkung (Interaktion) liegt dann vor, wenn eine Kombination mehrerer Faktoren für einen Unterschied zwischen den Mittelwerten verantwortlich ist. Im Beispiel wechselwirken die Faktoren „Relation zwischen Ziel- und Störwort“ und „SOA“.

13. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Die besondere hemmende Wirkung von Störwörtern, die dem Zielwort semantisch ähnlich sind, zeigt sich nur für SOA = -150ms. Die vergleichsweise beschleunigende Wirkung von Störwörtern, die dem Zielwort phonologisch ähnlich sind, zeigt sich nicht für SOA = -150ms, sondern nur für SOA = 0ms und SOA = +150ms.

14. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen „Wechselwirkung“ bedeutet: Ein Effekt der in Bezug auf eine der unabhängigen Variablen sichtbar wird, ergibt sich nur unter bestimmten Werten für eine andere unabhängige Variable. Im Beispiel: Die stärkere Verzögerung, die man bei semantisch ähnlichen Störwörtern beobachten kann, tritt nicht für alle SOA auf, sondern nur im Fall „SOA = -150ms.

15. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Um die Bedeutung von Wechselwirkungen zu klären,betrachten wir zunächst einen Fall, in dem die Faktoren von einander unabhängig sind. (Beispiel von http://www.phil.uni-sb.de/~jakobs/seminar/vpl/mehrfak/interact.htm) Vier Gruppen von Kindergartenkinder sollen „Früchte wiegen“. Gruppe a1 wiegt zwei Äpfel; Gruppe a2 wiegt vier Äpfel; Gruppe b1 wiegt zwei Birnen; Gruppe b2 wiegt vier Birnen. Die Faktoren sind „Anzahl der Früchte“ und „Art der Frucht“. Das Gewicht eines Apfels ist unabhängig vom Gewicht einer Birne.

16. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Wir betrachten zunächst einen anderen Fall, in dem die Faktoren von einander unabhängig sind. Das Gewicht eines Apfels ist unabhängig vom Gewicht einer Birne. Gewicht Faktor 2: Art der Frucht (Apfel vs. Birne) Faktor 1: Anzahl

17. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen • Wenn die Faktoren unabhängig sind, kann man die „Haupteffekte“ interpretieren. • Haupteffekt zu Faktor 1: Äpfel sind schwerer als Birnen. • Haupteffekt zu Faktor 2: Mehr Früchte wiegen mehr. Gewicht Faktor 2: Art der Frucht (Apfel vs. Birne) Faktor 1: Anzahl

18. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Da unter Wechselwirkungen Effekte nur unter bestimmten Umständen sichtbar sind, stellt sich die Frage, in welchen Fällen „Haupteffekte“ interpretierbar sind. Ein Haupteffekt ist dabei ein signifikanter Unterschied zwischen den Mittelwerten aller Messwerte, die zu einer Ausprägung eines Faktors gehören.

19. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen • Im Beispiel fasst man etwa die Messwerte der drei Messreihen • Messreihe semantische Ähnlichkeit bei SOA -150ms • Messreihe semantische Ähnlichkeit bei SOA 0ms • Messreihe semantische Ähnlichkeit bei SOA +150ms • zusammen zu einer Messreihe und die Messwerte der Reihen • Messreihe unrelatiert bei SOA -150ms • Messreihe unrelatiert bei SOA 0ms • Messreihe unrelatiert bei SOA +150ms • zu einer zweiten Messreihe.

20. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Man kann nun die Mittelwerte der ersten Messreihe („Zielwort und Störwort sind semantisch ähnlich“ [SOA ist egal]) mit dem Mittelwert der zweiten Messreihe („Zielwort und Störwort sind unrelatiert“ [SOA ist egal]) vergleichen. Ergibt sich dann ein signifikanter Unterschied zwischen den beiden Messreihen, kann man sagen, dass es generell zu einer größeren Verzögerung bei semantisch relatierten Störwörtern (im Vergleich zu unrelatierten Störwörtern) kommt (unabhängig von der SOA). Das wäre dann ein interpretierter Haupteffekt.

21. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Wir unterscheiden drei Typen von Wechselwirkungen: ordinale Wechselwirkung disordinale Wechselwirkung hybride Wechselwirkung

22. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Bei disordinalen Wechselwirkungen sind die Haupteffekte nicht interpretierbar. ordinale Wechselwirkung

23. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Bei ordinalen Wechselwirkungen sind die Haupteffekte im Prinzip interpretierbar. Ordinale Wechselwirkungen sind insbesondere dann interessant, wenn nachgewiesen werden kann, dass die Gegenläufigkeit signifikant wird. disordinale Wechselwirkung

24. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen (gilt nur bei begrenzter Lernzeit) Beispiel aus http://www.phil.uni-sb.de/ ~jakobs/seminar/vpl/mehrfak/ empbeispiele/beispielinteraktionen.htm

25. Experimente in der Linguistik Statistische Auswertung: Wechselwirkungen Bei hybriden Wechselwirkungen ist (nur) einer der Haupteffekte, hier der zu Faktor 2, interpretierbar. Faktor 2: (rot vs. blau) hybride Wechselwirkung Faktor 1: (links vs. rechts)

26. Experimente in der Linguistik Statistische Auswertung Mehrfaktorielle Designs Generell kann das Problem der Wechselwirkungen nur dann auftreten, wenn unser Experiment ein mehrfaktorielles Design hat. Dies bedeutet, dass wir zwei oder mehr unabhängige Variablen vorgeben und in Abhängigkeit von diesen den Wert der abhängigen Variablen bestimmen. In unserem Beispiel liegt ein 3x3-faktorielles und damit ein zweifaktorielles Design vor. Jeder Faktor (= unabhängige Varaible) hat drei mögliche Ausprägungen.

27. Experimente in der Linguistik Statistische Auswertung Mehrfaktorielle Designs Mehrfaktorielle Designs sind nicht nur in Bezug auf mögliche Wechselwirkungen problematisch. Sie erfordern auch eine gute Versuchsplanung.

28. Experimente in der Linguistik Statistische Auswertung Mehrfaktorielle Designs Mehrfaktorielle Designs sind nicht nur in Bezug auf mögliche Wechselwirkungen problematisch. Sie erfordern auch eine gute Versuchsplanung.

29. Experimente in der Linguistik Statistische Auswertung Mehrfaktorielle Designs Bei einem 3x3-faktroriellen Design benötigt man also eine Anzahl von Materialien, die ein Vielfaches von 9 ist, damit jede Versuchsperson jede der neun Testbedingungen gleich häufig präsentiert bekommt. Auch die Zahl der Versuchspersonen sollte ein Vielfaches von 9 betragen, damit jede der Bedingungen von der selben Anzahl von Versuchspersonen bearbeitet wird.

30. Experimente in der Linguistik Statistische Auswertung Versuchspläne Ein weiteres Problem ergibt sich daraus, dass die einzelnen Bedingungen einer Versuchsperson in einer bestimmten Reihenfolge präsentiert werden und dass diese Reihenfolge eine Auswirkung auf die Ergebnisse haben könnte. Also versucht man die Präsentation der Stimuli für die verschiedenen Versuchspersonen unterschiedlich zu gestalten. Daraus ergibt sich letztlich ein Versuchsplan, der besagt, in welcher Reihenfolge welche Stimuli welcher Versuchsperson präsentiert werden.

31. Experimente in der Linguistik Statistische Auswertung Versuchspläne Im Prinzip soll durch die Anwendung eines Versuchsplans erreicht werden, dass systematische Fehler, etwa solche, die durch Lern-effekte entstehen, reduziert werden. Im einfachsten Fall wird die erste Hälfte der Versuchspersonen zunächst mit den Stimuli der Bedingung A konfrontiert und dann mit denen der Bedingung B (A und B sind dabei Ausprägungen eines Faktors). Die zweite Hälfte der Versuchspersonen wird erst mit B und dann mit A konfrontiert.

32. Experimente in der Linguistik Statistische Auswertung Versuchspläne Hat man n Bedingungen (in unserem Beispiel eines 3x3-faktoriellen Designs haben wir neuen Bedingungen), so teilt man die Versuchspersonen in n Gruppen. Die Reihenfolge, in der die einzelnen Gruppen dann mit den Bedingungen konfrontiert werden, ergeben sich aus einem so genannten „lateinischen Quadrat“, einem Quadrat aus nxn Feldern, wobei die Felder so mit n verschiedenen Symbolen belegt werden, dass jedes Symbol genau einmal in jeder Zeile und in jeder Spalte auftritt. (Das kennen wir von „Sodoko“.)

33. Experimente in der Linguistik Statistische Auswertung Versuchspläne • Bedingung1: Messreihe semantische Ähnlichkeit bei SOA -150ms • Bedingung2: Messreihe semantische Ähnlichkeit bei SOA 0ms • Bedingung3: Messreihe semantische Ähnlichkeit bei SOA +150ms • Bedingung4: Messreihe phonologische Ähnlichkeit bei SOA -150ms • Bedingung5: Messreihe phonologische Ähnlichkeit bei SOA 0ms • Bedingung6: Messreihe phonologische Ähnlichkeit bei SOA +150ms • Bedingung7: Messreihe unrelatiert bei SOA -150ms • Bedingung8: Messreihe unrelatiert bei SOA 0ms • Bedingung9: Messreihe unrelatiert bei SOA +150ms

34. Experimente in der Linguistik Statistische Auswertung Versuchspläne Dies ist ein einfach zu erstellendes lateinisches Quadrat, das etwa für die Erstellung von Spiel-plänen (Bundesliga etc.) Anwendung findet, das aber insofern problematisch ist, als sich die Abfolge der Bedingungen nicht ändert.

35. Experimente in der Linguistik Statistische Auswertung Versuchspläne Man kann das Problem der Abfolge der Bedingungen dadurch verringern, dass man zusätzliche Bedingungen einführt, die für die Einträge gelten müssen, z.B. die Sodoku-Bedingung für n = 9.

36. Experimente in der Linguistik Statistische Auswertung Versuchspläne Man kann bei einem zweifaktoriellen Design statt dessen auch so genannte „griechisch-lateinische Quadrate“ (auch „Euler-Quadrate“) nutzen, bei denen in jedem Feld zwei Symbole stehen, wobei jedes Symbolpaar nur einmal auftreten darf und jedes einzelne Symbol in jeder Zeile und in jeder Spalte genau einmal auftritt. Bild aus http://de.wikipedia.org/wiki/Griechisch-lateinisches_Quadrat

37. Experimente in der Linguistik Statistische Auswertung Mehrfaktorielle Designs Insgesamt sprechen die Probleme, die man mit multifaktoriellen Design bekommen kann, dafür, die Anzahl der unabhängigen Variablen (der Faktoren) sowie die Anzahl der zu diesen gehörenden Ausprägungen (Werte) zu beschränken. Das heißt auch, dass bei Experimenten möglichst viele (mögliche) Variablen fest gewählt werden.