(1) Beschriften
Ordne die folgenden Begriffe den korrekten Beschriftungen (I. bis V.) in der Grafik zu:
Definitionen:
(2) Determinanten der Teststärke
Welche Angabe trifft zu?
I. Je kleiner das \(\alpha\)–Niveau, desto __________________ (größer/ kleiner) die Teststärke.
II. Je größer die Effektgröße \(\delta\), desto ________________ (größer/ kleiner) die Teststärke.
III. Je größer die Stichprobengröße \(N\), desto _______________ (größer/ kleiner) die Teststärke.
I. Je kleiner das \(\alpha\)–Niveau, desto kleiner die Teststärke.
II. Je größer die Effektgröße \(\delta\), desto größer die Teststärke.
III. Je größer die Stichprobengröße \(N\), desto größer die Teststärke.
Erklärung:
Anhand der Grafik aus der Lösung der Aufgabe 1) lassen sich einige Zusammenhänge bezüglich der Teststärke beschreiben:
Zudem gilt: Je größer der Stichprobenumfang N, desto genauer die Schätzung. Dementsprechend steigt die Wahrscheinlichkeit, einen Effekt zu detektieren, sofern ein solcher vorliegt (also die Teststärke).
Dies lässt sich auch grafisch erklären: je genauer die Schätzung, desto kleiner der Standardfehler. Somit wird die Verteilung schmaler, sodass entsprechend wieder ein kleinerer Überlappungsbereich von \(H_0\) und \(H_1\) entsteht.
(3) Wahr oder falsch?
Welche Aussagen sind korrekt? (Mehrfachantwort möglich):
(4) A priori Power-Analysen: Unterrichtsmethoden
Kehren wir zu unserem Beispiel zu den verschiedenen pädagogischen Ansätzen mit Herrn A. und Frau B. zurück (s. Aufgabe unter z-Test).
Frau B. wollte inferenzstatistisch prüfen, ob Kinder bessere Leistungen in einem Mathematiktest zeigen, wenn man sie vielfältig (Methode B) statt traditionell (Methode A) unterrichtet.
Vor der Ziehung einer Stichprobe von Schülern_innen, die nach der neuen Methode B unterrichtet wurden, fragt sich Frau B., wie groß ihre Stichprobe sein sollte.
Um ihr zu helfen, machst Du eine a priori Poweranalyse für ein Signifikanzniveau von \(\alpha\)= 10%.
Zur Berechnung dieser Aufgabe greifen wir auf eine Formel aus der Formelsammlung zurück, mit welcher wir den \(z_{\beta}\)- Wert ermitteln, welcher die Grenze der Fläche der Teststärke \(1-\beta\) unter der \(H_1\) darstellt.
Die zugehörige Formel lautet:
\(z_{\beta} = z_{1-\alpha} - \sqrt{n} \cdot \delta\)
Stellen wir diese Formel nach n um, so erhalten wir die Stichprobengröße von \(z_p\) und somit die Stichprobengröße, die mindestens notwendig ist, um eine Effektgröße von \(\delta\) = .80 mit einer Wahrscheinlichkeit von 85% zu entdecken.
Nach Umstellung nach n erhalten wir folgende Formel:
\(n = (\frac {z_{1-\alpha} - z_{\beta}} {\delta}) ^2\)
(für die genaue Erklärung der Umstellung nach n: s.u.)
Die zur Berechnung benötigten Werte können wir der Aufgabenstellung entnehmen:
Wir setzen diese Werte in der Formel ein und erhalten:
\(\begin{aligned} n &= (\frac {z_{1-\alpha} - z_{\beta}} {\delta}) ^2 \\ &= (\frac {1,28 + 1,04 }{0,80}) ^2 \\ &= (\frac {2,32}{0,80})^2 \\ &= 2,9^2 \\ &= \underline{8,41} \end{aligned}\)
Da wir nicht 8,41 Proband_innen untersuchen können, müssen wir aufrunden (Merke: in diesem Kontext müssen wir immer aufrunden; abrunden wäre nicht zulässig, da wir dann nicht mehr die erforderliche Mindestgröße von n erreichen würden).
Wir kommen zu dem Ergebnis, dass Frau B. eine Stichprobe von mindestens \(\underline{\underline{n=9}}\) Personen benötigt, um einen nach Cohen großen Effekt mit einer Wahrscheinlichkeit von 85% entdecken zu können.
Zur Erinnerung: die folgende Formel ist gegeben:
\(z_{\beta} = z_{1-\alpha} - \sqrt{n} \cdot \delta\)
Um alle Werte, bis auf n, auf die linke Seite der Gleichung zu holen, ziehen wir zunächst \(z_{1-\alpha}\) ab:
\(- z_{1-\alpha} + z_{\beta} = - \sqrt{n} \cdot \delta\)
Um das negative Vorzeichen loszuwerden, multiplizieren wir den Term mit \(-1\), wodurch sich die Vorzeichen umkehren:
\(z_{1-\alpha} - z_{\beta} = \sqrt{n} \cdot \delta\)
Nun holen wir \(\delta\) durch Division auf die linke Seite der Gleichung:
\(\frac{z_{1-\alpha} - z_{\beta}}{\delta} = \sqrt{n}\)
Im letzten Schritt werden wir die Wurzel los, indem wir die Gleichung quadrieren:
\((\frac{z_{1-\alpha} - z_{\beta}}{\delta})^2 = n\)
(5) Effektgröße: Unterrichtsmethoden (2)
Es sei bekannt, dass Schüler_innen nach der traditionellen Methode (A) eine normalverteilte mittlere Leistung von \(\mu\) = 50 Punkten im Mathematiktest mit einer Standardabweichung von \(\sigma\) = 10 Punkten zeigen.
Die von Frau B. gezogene Stichprobe verteilt sich normal mit einem Mittelwert von \(\bar{x} = 60\) und einer Streuung von \(s = 7\).
Als Maß für die Stärke eines Effekts berechnen wir salopp gesagt die “Entfernung” der beiden Erwartungswerte der Populationen von \(H_0\) und \(H_1\).
Bei der unstandardisierten Effektgröße handelt es somit sich um die Mittelwertsdifferenz von \(\mu_0\) und \(\mu_1\) bzw. \(\bar{x}\).
Wir standardisieren diesen Effekt, indem wir ihn durch \(\sigma\) teilen:
Standardisierter Effekt:
Dies entspricht einem großen Effekt nach Cohen.
Erklärung:
Dies lässt sich in der Tabelle “Effektstärkemaße nach Cohen” in der Formelsammlung ablesen: In der ersten Zeile “mA vs. mB for independent means” lesen wir die Werte für z- und t-Tests ab.
Hier lässt sich ablesen, dass alle Effektgrößen ab .80 nach Cohen als groß klassifiziert werden.
(6) Alpha-Niveau
Eine Kommilitonin stellt im Moodle-Forum der Vorlesung die Frage, warum wir nicht einfach in jedem Fall ein extrem kleines Alpha-Niveau wählen, um die Wahrscheinlichkeit des Fehlers 1. Art möglichst gering zu halten. Was antwortest Du?
[in Anlehnung an Bortz & Schuster (2010), S. 116, Aufg. 7.14]
Auch wenn wir mit einem sehr kleinen Signifikanzniveau das Risiko, die \(H_0\) fälschlicherweise abzulehnen, sehr gering halten, ginge es mit klaren Nachteilen einher.
Da \(\alpha\)- und \(\beta\)- Fehler komplementär sind, bedeutet ein geringes \(\alpha\)- Niveau, dass das Risiko eines \(\beta\)- Fehlers dementsprechend steigt: