einfaktorielle ANOVA

(a) Welche der folgenden Aussagen bezüglich Quadratsummen ist falsch?

  1. Sie sind ein übliches Maß, um die Streuung in einer Stichprobe widerzugeben.
  2. Sie sind die Summe der quadrierten Abweichungen der Einzelwerte vom arithmetischen Mittel.
  3. Sie sind notwendig, um die Varianz zu berechnen.
  4. Zur Berechnung von Quadratsummen sollte mindestens Intervallskalenniveau vorliegen.

Lösung

  1. Sie sind ein übliches Maß, um die Streuung in einer Stichprobe widerzugeben.
    FALSCH. Typische Maße sind Varianz und Standardabweichung.
  2. Sie sind die Summe der quadrierten Abweichungen der Einzelwerte vom arithmetischen Mittel.
    RICHTIG. \(QS = \sum_{i=1}^n (x_i - \bar{x})^2\)
  3. Sie sind notwendig, um die Varianz zu berechnen.
    RICHTIG. \(s^2 = \frac{QS}{n-1}\)
  4. Zur Berechnung von Quadratsummen sollte mindestens Intervallskalenniveau vorliegen.
    RICHTIG. Es ist notwendig zur Berechung der Mittelwerte.


(b) Welche Aussage ist falsch?

  1. Die einfaktorielle ANOVA für zwei Gruppen ist äquivalent zum \(t\)-Test für unabhängige Stichproben.
  2. Bei der mehrfaktoriellen ANOVA können wir theoretisch beliebig viele Faktoren aufnehmen, um deren Varianzaufklärung am Kriterium zu überprüfen.
  3. Die einfaktorielle ANOVA testet, ob sich die Mittelwerte mehrerer unabhängiger Gruppen unterscheiden, die durch eine kategoriale unabhängige Variable definiert werden.
  4. Ziel der ANOVA ist es, die Unterschiede zwischen den beobachteten Werten und dem Gesamtmittelwert der Stichprobe zu erklären

Lösung

  1. Einfaktorielle ANOVA für zwei Gruppen ist äquivalent zum \(t\)-Test für unabhängige Stichproben.
    RICHTIG. Im Rahmen von ANOVA führen wir einen \(F\)-Test durch. \(F\)-Wert von einer solchen ANOVA ist identisch zu \(t^2\) des \(t\)-Tests für unabhängige Stichproben. (Allgemein gilt: \(t^2_{df}= F _{1; df}\)).
  2. Bei der mehrfaktoriellen ANOVA können wir theoretisch beliebig viele Faktoren aufnehmen, um deren Varianzaufklärung am Kriterium zu überprüfen.
    RICHTIG. Dies entspricht einer mehrfaktoriellen Varianzanalyse.
  3. Die einfaktorielle ANOVA testet, ob sich die Mittelwerte mehrerer unabhängiger Gruppen unterscheiden, die durch eine kategoriale unabhängige Variable definiert werden.
    RICHTIG. Wir testen, ob sich die Mittelwerte mehrerer Treatmentstufen unterscheiden, wobei jede Versuchsperson jeweils nur einmal in der Stichprobe vorkommt (unabhängige Gruppen).
  4. Ziel der ANOVA ist es, die Unterschiede zwischen den beobachteten Werten und dem Gesamtmittelwert der Stichprobe zu erklären.
    RICHTIG. Wir nehmen einen oder mehrere Faktoren in das Modell auf, um die Gesamtvarianz durch die Zugehörigkeit zu Faktorstufen bzw. Faktorstufenkombinationen zu erklären.


(c) Gegeben ist die folgende Tabelle der ANOVA, sowie die zugehörige Testentscheidung.

Quelle QS df MQ F
Gruppen (A) 128 2 64 36
Fehler 16 9 1.778
Total 144 11

\(\rightarrow\) Der kritische Wert beträgt \(\boldsymbol{F_{2; 9; 95\%} = 4.256}\). Die \(H_0\) wird verworfen.

Kreuze die falsche Aussage an!

  1. Aufgrund der oben getroffenen Testentscheidung lässt sich sagen: Alle Varianten des Schlafentzugs (Faktor A) unterscheiden sich hinsichtlich ihrer Auswirkung auf die Konzentration (Kriterium).
  2. Bei Gültigkeit der \(H_0\) wären \(MQ_A\) und \(MQ_e\) etwa gleich groß.
  3. Mittlere Quadrate relativieren die Quadratsumme eines Faktors an seinen Freiheitsgraden.
  4. Der Fehleranteil ergibt sich aus den Abweichungen der individuellen Messwerte vom Gruppenmittelwert.

Lösung

  1. Aufgrund der oben getroffenen Testentscheidung lässt sich sagen: Alle Varianten des Schlafentzugs (Faktor A) unterscheiden sich hinsichtlich ihrer Auswirkung auf die Konzentration (Kriterium).
    FALSCH. Man kann nur interpretieren, dass sich mindestens 2 der 3 Treatments hinsichtlich ihrer Auswirkung auf die Konzentration unterscheiden.
  2. Bei Gültigkeit der \(H_0\) wären \(MQ_A\) und \(MQ_e\) etwa gleich groß.
    RICHTIG. Wir brauchen die \(MQ_A\) und \(MQ_e\) zur Berechnung des empirischen \(F\)-Werts: \(F=\frac{MQ_A}{MQ_e}\).
    Unser Ergebnis wäre signifikant, wenn die durch den Faktor aufgeklärte systematische Varianz (\(MQ_A\)) größer als die unsystematische Varianz (\(MQ_e\)) wäre und unser \(F\)-Wert somit größer \(1\) wäre. Dann könnte man davon ausgehen, dass die Varianzaufklärung überzufällig bzw. bedeutsam ist und die \(H_0\) ablehnen.
    Wenn die beiden \(MQ\) etwa gleich groß sind, führt dies zu einem \(F\)-Wert von etwa \(1\). Die Varianzaufklärung durch den Faktor \(A\) ist somit nicht überzufällig. Die \(H_0\) wird beibehalten.

  3. Mittlere Quadrate relativieren die Quadratsumme eines Faktors an seinen Freiheitsgraden.
    RICHTIG. Z.B. \(MQ_A = \frac{QS_A}{df_A}\)
  4. Der Fehleranteil ergibt sich aus den Abweichungen der individuellen Messwerte vom Gruppenmittelwert.
    RICHTIG. Wir können durch unseren Faktor \(A\) nicht erklären, warum sich die Probanden innerhalb der Treatmentstufen unterscheiden.


mehrfaktorielle ANOVA

(a) Welche zwei “Effekt”-Arten unterscheidet man in der Varianzanalyse? Benenne die Arten und gib jeweils ein Beispiel. Erläutere anhand derer jeweils kurz die “Effekt”-Arten.


Lösung

Zufälliger “Effekt”:

  • z.B.: Hat der Staat einen Einfluss auf das subjektive Wohlbefinden?
  • Greifen wir (zufällig) ein paar aller Staaten heraus und nehmen diese beispielhaft für die Vielfalt des staatlichen Einflusses, handelt es sich um einen zufälligen Effekt. Bestimmte Staaten auf ihren Einfluss zu untersuchen, interessiert uns dabei nicht. Wir interessieren uns für die Frage, ob der staatlicher Einfluss allgemein unterschiedlich sein kann. D.h. wir möchten von den untersuchten auf alle anderen Staaten generalisieren.

Fester “Effekt”:

  • z.B.: Hat es einen Einfluss auf das subjektive Wohlbefinden, welcher Religion man angehört?
  • Wir definieren alle uns interessierenden Ausprägungen des Merkmals „Religion“ und ermitteln die jeweilige Ausprägung bei jedem Probanden. Dies ist dann ein fester Effekt. Alle definierten Ausprägungen sollten in unserer Stichprobe vorkommen. Wir interessieren uns für die Frage, Wir interessieren uns für die Frage, ob die als Merkmal untersuchten Religionen unterschiedlichen Einfluss auf das subjektive Wohlbefinden haben.

Anmerkung: Natürlich können wir diese Beispiele den “Effekten” andersherum zuordnen. Es hängt lediglich davon ab, wofür genau wir uns in jedem konkreten Fall interessieren.


(b) Kreuze die falsche Aussage an!

  1. Mit zweifaktoriellen ANOVAs lässt sich u.a. feststellen, ob es einen Effekt über die Summe der untersuchten Faktoren hinaus gibt.
  2. Bei zweifaktoriellen ANOVAs bekommen wir die empirische \(F\)-Werte immer, indem wir \(MQ\) des jeweiligen Faktors bzw. der Interaktion durch die \(MQ_e\) teilen.
  3. Durch die Aufnahme eines zusätzlichen Faktors kann die \(QS_e\) verringert werden.
  4. Eine Reduktion der Fehlerquadratsumme durch die Aufnahme eines zusätzlichen Faktors bedeutet nicht automatisch, dass sich die Fehlervarianz verringert.

Lösung

  1. Mit zweifaktoriellen ANOVAS lässt sich u.a. feststellen, ob es einen Effekt über die Summe der untersuchten Faktoren hinaus gibt.
    RICHTIG. Es handelt sich hierbei um den Interaktionseffekt.
  2. Bei zweifaktoriellen ANOVAs bekommen wir die empirische \(F\)-Werte immer, indem wir \(MQ\) des jeweiligen Faktors bzw. der Interaktion durch die \(MQ_e\) teilen.
    FALSCH. Das gilt nur für Modell mit festen “Effekten”.
    Im Modell mit zufälligen bzw. gemischten “Effekten” bekommen wir die \(F\)-Werte für die Haupteffekte, indem wir die \(MQ\) des jeweiligen Faktors durch die \(MQ_{AB}\) teilen. Z.B.: \(F_{A} = \frac{MQ_{A}}{MQ_{AB}}\)
    Den \(F\)-Wert für die Interaktion bekommen wir wie folgt: \(F_{AB} = \frac{MQ_{AB}}{MQ_e}\)

  3. Durch die Aufnahme eines zusätzlichen Faktors kann die \(QS_e\) verringert werden.
    RICHTIG. Die zuvor nicht aufgeklärte Varianz wird in dem Fall zum Teil durch den neu aufgenommenen Faktor aufgeklärt.
  4. Eine Reduktion der Fehlerquadratsumme durch die Aufnahme eines zusätzlichen Faktors bedeutet nicht automatisch, dass sich die Fehlervarianz verringert.
    RICHTIG. Die Formel der Fehlervarianz lautet: \(MQ_e = \frac{QS_e}{df_e}\). Durch die Aufnahme eines zusätzlichen Prädiktors verringern sich neben der \(QS_e\) auch die Freiheitsgrade des Fehlers. In dem Fall kann es sein, dass die Fehlervarianz sogar größer wird, wenn sich die Freiheitsgrade im Verhältnis zur \(QS_e\) stärker verringern.


ANOVA mit Messwiederholung

(a) Worin unterscheiden sich der \(t\)-Test für abhängige Stichproben und der \(t\)-Test für unabhängige Stichproben in der Anwendung?


Lösung

  • Die beiden sind Tests auf Gruppenmittelwertsunterschiede, wobei die Einheiten paarweise (\(t\)-Test für abhängige Stichproben) vs. nicht paarweise (\(t\)-Test für unabhängige Stichproben) zugeordnet sind.


…Deine Freundin möchte eine Vorher-Nachher-Untersuchung ihrer neuen Ernährungsidee machen - welche Auswertungsmethode empfiehst du? Begründe kurz deine Antwort.


Lösung

  • Die untersuchten Personen sind vorher und nachher jeweils dieselben; deswegen handelt es sich um abhängige Stichproben.
  • Man könnte in dem Fall einen \(t\)-Test für abhängige Stichproben empfehlen.
  • ODER auch ANOVA mit Messwiederholung. Sie stellt eine Verallgemeinerung des \(t\)-Tests für abhängige Stichproben für \(>2\) Gruppen dar. (Analog zu der einfaktoriellen ANOVA und dem \(t\)-Test für unabhängige Stichproben.) Dabei könnte man das Untersuchungsdesign erweitern und z.B. die Ernährungsidee der Freundin auch mit einer anderen Ernährung vergleichen.


(b) Ordne die Fragestellungen den Untersuchungsdesigns zu:

  1. Untersuchung der Spendenbereitschaft (\(y\)) in Abhängigkeit von 3 unterschiedlichen Arten von Aufruf (\(a_1\): persönliche Anrede, \(a_2\): ein allgemeines Informationsvideo, \(a_3\): ein stark emotionales Video), wobei alle Versuchspersonen alle Stimulusarten präsentiert bekommen.
  2. Vergleich von 2 Strategien zur Emotionsregulation (\(a_1\): kognitives Training, \(a_2\): aerobes Sporttraining) bei Männern (\(b_1\)) und Frauen (\(b_2\)) mit Deperssion (\(y\)).
  3. Untersuchung der Auswirkung einer arbeitsbezogenen Intervention (\(y\)) bei Menschen aus 2 Unternehmen (Faktor \(A\)) durch tägliche Befragung (Faktor \(B\)) aller Teilnehmer eine Woche lang.

Untersuchungsdesigns:
a) ANOVA mit einem Messwiederholungsfaktor und einem Gruppierungsfaktor.
b) Einfaktorielle ANOVA mit Messwiederholung.
c) Zweifaktorielle ANOVA.


Lösung

  1. b): Hier gibt es nur einen Faktor \(A\) “Art des Aufrufs”. Jede Versuchsperson bekommt drei Stimulusarten dargeboten und wird somit dreimal gemessen. Der Faktor \(A\) ist deshalb ein Messwiederholungsfaktor. Somit entspricht diese Fragestellung einer einfaktoriellen ANOVA mit Messwiederholung.
  2. c): Hier gibt es den Faktor \(A\) “Strategie” und den Faktor \(B\) “Geschlecht”. Jede Versuchsperson kommt einmal in der Stichprobe vor, und zwar in einer bestimmten Faktorstufenkombination (z.B. Frau (\(b_2\)), kognitives Training (\(a_1\))). Somit können wir diese Fragestellung mit einer zweifaktoriellen ANOVA ohne Messwiederholung untersuchen.
  3. a): Hier gibt es den Faktor \(A\) “Unternehmen” und den Faktor \(B\) “Zeitpunkt der Befragung”. Alle Versuchspersonen nehmen an allen Erhebungszeitpunkten (Faktor \(B\)) teil und unterscheiden sich hinsichtlich des Unternehmens (Faktor \(A\)), in dem sie arbeiten. Somit ist der Faktor \(B\) eine Messwiederholungsfaktor, da er mehrere Messungen von gleichen Pesonen beinhaltet. Faktor \(A\) ist ein Gruppierungsfaktor, da er eine Unterscheidung der Personen hinsichtlich der Arbeitstelle ermöglicht. Somit geht es hier um eine ANOVA mit einem Gruppierungs- und einem Messwiederholungsfaktor.


(c) Matthäus Zügler ist entsetzt: Sein IQ beim BIS beträgt nur \(123\), obwohl er doch eigentlich hochbegabt ist. Er möchte deswegen verschiedene Intelligenztests empirisch vergleichen. Dazu lässt er seine Studierenden den Wechsler IQ-Test, Ravens Matrizen und den BIS durchführen und erhebt zusätzlich das Geschlecht der Person.

Einer seiner weniger begabten HiWis wurde mit dem folgenden Datensatz beauftragt:

Geschlecht Wechsler Intelligenztest Ravens Matrizentest Berliner Intelligenzstrukturtest
m 100 95 97
w 122 110 107
w 105 107 98
w 113 99 107
w 120 113 104
m 134 135 120
w 98 101 89

Empfehle ihm eine Analysestrategie. Gehe dabei insbesondere darauf ein, welches statistische Verfahren du verwenden würdest und was dabei zu berücksichtigen ist. Begründe deine Empfehlungen!


Lösung

  • Hier handelt es sich um eine Beispiellösung:

1. Fragestellung inkl. aV, uV, Kennwerte:
Es handelt sich um einen Mittelwertsvergleich (Kennwert) in Intelligenz (aV) der verschiedenen IQ-Tests (uV) mit dem Gruppierungsfaktor Geschlecht (uV).
2. statistisches Verfahren inkl. Begründung:
Ich würde daher zur Auswertung eine zweifaktorielle ANOVA mit Messwiederholung empfehlen, da dieses Verfahren für nominalskalierte unabhängige Variablen und intervallskalierte abhängige Variablen geeignet ist (Begründung). Dabei stellen die IQ-Tests die Stufen des Messwiederholungsfaktors dar, da jede Versuchspreson alle Tests gemacht hat. Geschlecht ist ein Gruppierungsfaktor, da jede Person nur unter einer Faktorstufe beobachtet wurde.
3. „Problem“: Messwiederholungsfaktor:
Die Intelligenztests stellen Stufen eines Messwiederholungsfaktors dar.
4. Annahmen prüfen inkl. Begründung:
Deswegen sollte zusätzlich die Annahme geprüft werden, ob Sphärizität vorliegt. Dafür empfiehlt sich zum beispiel Mauchly‘s Test auf Sphärizität. Bei Verletzung der Annahme müssten die Freiheitsgrade korrigiert werden, um progressive Entscheidungen zu vermeiden.
5. Korrekturverfahren inkl. Begründung:
Dies würde ich über die Korrektur nach Greenhouse-Geisser vornehmen, da diese Korrektur konservativer ist (Begründung), was Matthäus Züglers Vorlieben sicher entsprechen würde.


partielle & semipartielle Korrelation

(a) Erkläre die unterschiedlichen Korrelationstypen!


Lösung

  • Bivariate Korrelation: Eine einfache Korrelation zwischen zwei Variablen. Sie erfasst, ob es einen linearen Zusammenhang zwischen den Variablen gibt.
  • Partielle Korrelation: Die Korrelation zweier Variablen \(x_{1}\) und \(x_{2}\), bereinigt vom Einfluss einer dritten Variablen \(x_{3}\). Das Herauspartialisieren geschieht, indem zunächst die beiden interessierenden Variablen in je einer einfachen linearen Regression durch die dritte Variable vorhergesagt werden. Die Residuen \(x_{1}^*\) und \(x_{2}^*\) aus diesen beiden Regressionen werden korreliert und bilden die Partialkorrelation \(r_{x^*_{1}x^*_{2}} = r_{12 \cdot 3}\).
  • Semipartielle Regression: Die bivariate Korrelation einer bereinigten und einer unbereinigten Variable. Eine Variable \(x_{1}\) wird von dem Einfluss einer anderen Variable \(x_{2}\) bereinigt und hiernach mit einer unbereinigten Variable (meist dem Kriterium in einer multiplen Regression) korreliert. Man erhält die Semipartielkorrelation \(r_{(1 \cdot 2)y} = r_{yx_{1}^*} = sr_{1}\)
  • multiple Korrelation:
    • Die bivariate Korrelation zwischen dem Kriterium \(y\) und den aufgrund einer multiplen Regression vorhergesagten Werten der Kriteriumsvariablen \(\hat{y}\): \(R = r_{y\hat{y}}\)
    • Oder die (quadrierte) Korrelation zwischen dem \(j\)-ten und allen anderen \((k-1)\) Prädiktoren \(R^2_{j}\) in einer multiplen Regression. Sie ist gleichbedeutend mit dem Determinationskoeffizienten der Regression des \(j\)-ten Prädiktors auf die anderen \(k - 1\) Prädiktoren.


(b) Welche Zusammenhänge gibt es jeweils mit der Varianzaufklärung (Determinationskoeffizient)?


Lösung

  • In der einfachen linearen Regression entspricht die quadrierte bivariate Korrelation von Prädiktor und Kriterium \(r_{xy}^2\) dem Determinationskoeffizienten \(R^2\), da die Korrelation der beobachteten mit den vorhergesagten Werten \(r_{y\hat{y}}\) gleich der Korrelation \(r_{xy}\) ist. Das Modell kann die Kriteriumswerte nur in dem Maß vorhersagen, wie Prädiktor und Kriterium Varianz teilen, d.h. \(R^2 = r_{y\hat{y}} = r_{xy}^2\)
  • In der multiplen linearen Regression trifft das nur in dem Spezialfall zu, in dem alle weiteren Prädiktoren gar keine Varianz am Kriterium aufklären, sodass ihre Nützlichkeit 0 ist. Natürlich bezeichnet der Determinationskoeffizient weiterhin den Zusammenhang zwischen dem Kriterium \(y\) und den aufgrund einer multiplen Regression vorhergesagten Werten der Kriteriumsvariablen \(\hat{y}\) (multiple Korrelation): \(R = r_{y\hat{y}} \rightarrow R^2 = r_{y\hat{y}}^2\)
  • Für die multiple lineare Regression gilt im Allgemeinen, dass das \(R^2\) in die quadrierte bivariate Korrelation \(r^2_{y1}\) von dem ersten Prädiktor \(x_{1}\) mit dem Kriterium und in die quadrierten Semipartialkorrelationen zwischen den weiteren Prädiktoren mit dem Kriterium, bereinigt von den zuvor berücksichtigten Prädiktoren, zerlegt werden kann: \(R^2_{y,12...k} = r^2_{y1} + sr^2_{2 \cdot 1} + sr^2_{3 \cdot 12} + ... + sr^2_{k \cdot 12...(k -1)}\)
  • Entsprechend gehen (quadrierte) bivariate Korrelation und Semipartialkorrelation in den Determinationskoeffizienten \(R_{j}^2\) der Regression \(j\)-ten Prädiktors auf die anderen \(k - 1\) Prädiktoren ein. Die Toleranz \(1 - R_{j}^2 = Tol_{j}\) eines Prädiktors bezeichnet den Anteil seiner Variation, welcher unabhängig von den anderen Prädiktoren in einer multiplen Regression ist.
  • Die Partialkorrelation geht nur indirekt durch die Berechnung der Semipartialkorrelation in den Determinationskoeffizienten ein: \(sr_{2 \cdot 1} = r_{y2 \cdot 1} \cdot \sqrt{1 - r^2_{y2}}\)


(c) Welche Aussage ist FALSCH?

  1. Die Partialkorrelation ist eine Korrelation zwischen zwei Regressionsresiduen.
  2. Die partielle Korrelation und die bivariate Korrelation unterscheiden sich nicht, wenn die herauszupartialisierende Variable mit den beiden anderen Variablen unkorreliert ist.
  3. Eine partielle Korrelation 3. Ordnung erhält man, wenn aus dem Zusammenhang zweier Variablen nicht nur eine, sondern zwei Variablen herauspartialisiert werden.
  4. Die Semipartialkorrelation ist eine Korrelation zwischen einem Residuum und einer unbereinigten Variable.

Lösung

  1. Die Partialkorrelation ist eine Korrelation zwischen zwei Regressionsresiduen.
    RICHTIG. Die Residuen ergeben sich aus zwei Regressionen, in denen jeweils eine der interessierenden Variablen, z.B. \(x_{1}\) und \(x_{2}\), auf die herauszupartialisierende Variable \(x_{3}\) zurückgeführt wird. Die resultierenden Residuen sind die vom Einfluss dieser Variable \(x_{3}\) “bereinigten” Variablen \(e_{1} = x^*_{1}\) und \(e_{2} = x^*_{2}\), die in der Paritalkorrelation \(r_{12 \cdot 3}\) korreliert werden.
  2. Die partielle Korrelation und die bivariate Korrelation unterscheiden sich nicht, wenn die herauszupartialisierende Variable mit den beiden anderen Variablen unkorreliert ist.
    RICHTIG. Wenn \(r_{13} = r_{23} = 0\), gibt es keinen Unterschied zwischen den Regressionsresiduen und den unbereinigten Variablen, da die Variable \(x_{3}\) die Variablen \(x_{1}\) und \(x_{2}\) nicht vorhersagen kann: \(x_{1} = e_{1} = x^*_{1}\) und \(x_{2} = e_{2} = x^*_{2}\) Das sieht man auch an der Formel für die Partialkorrelation: \[r_{12 \cdot 3} = \frac{r_{12} - r_{13} \cdot r_{23}}{\sqrt{1 - r^2_{13}} \cdot \sqrt{1 - r^2_{23}}} = \frac{r_{12} - 0 \cdot 0}{\sqrt{1 - 0} \cdot \sqrt{1 - 0 = r_{12}}}\]
  3. Eine partielle Korrelation 3. Ordnung erhält man, wenn aus dem Zusammenhang zweier Variablen nicht nur eine, sondern zwei Variablen herauspartialisiert werden.
    FALSCH. Eine partielle Korrelation 3. Ordnung erhält man, wenn aus dem Zusammenhang zweier Variablen nicht nur zwei, sondern drei Variablen herauspartialisiert werden.
  4. Die Semipartialkorrelation ist eine Korrelation zwischen einem Residuum und einer unbereinigten Variable.
    RICHTIG. Eine Variable \(x_{1}\) wird auf eine Variable \(x_{3}\) zurückgeführt und die Residuen aus dieser Regression \(e_{1}\) bilden die vom Einfluss der Variable \(x_{3}\) bereinigte Variable \(x^*_{1}\). Diese wird mit einer unbereinigten Variable (meistens das Kriterium \(y\)) korreliert - so erhält man die Semipartialkorrelation: \(r_{ye_{1}} = r_{yx^*_{1}} = sr_{1 \cdot 3}\)


Multiple lineare Regression

(a) Auf welche verschiedenen Arten lässt sich eine Regressionsgleichung in der mutiplen Regression ermitteln?


Lösung

  • Die unstandardisierten Regressionsgewichte können wir auf zwei unterschiedliche Arten bestimmen:
    • Weg 1: Direkt über die Formeln  \(b_{1} = \frac{r_{y1} - r_{y2} \cdot r_{12}}{1 - r_{12}^2} \cdot \frac{s_{y}}{s_{1}}\) (im Falle von zwei Prädiktoren) bzw.  \(b_{j} = sr_{j} \cdot \frac{s_{y}}{s^*_{j}}\) mit \(s^*_{j} = s_{j} \cdot \sqrt{1 - R^2_{j}}\)  sowie den y-Achsenabschnitt via \(b_{0} = \bar{y} - b_{1} \cdot \bar{x_{1}} - b_{2} \cdot \bar{x_{2}}\)
    • Weg 2: In zwei Schritten über Regressionen:
      1. Schritt: Berechne die bereinigte Variable \(x_{1}^*\) als Residuum der Regression von \(x_{1}\) auf \(x_{2}\) (\(\rightarrow\) der Anteil von \(x_{1}\), der mit \(x_{2}\) unkorreliert ist).
      2. Schritt: Berechne die einfache Regression von \(y\) auf \(x_{1}^*\).
  • Die standardisierten Regressionsgewichte können wir ebenfalls auf unterschiedliche Arten bestimmen:
    • Weg 1: Direkt über die Formel \(B_{1} = \frac{r_{y1} - r_{y2} \cdot r_{12}}{1 - r_{12}^2}\) bzw. \(B_{1} = b_{1} \cdot \frac{s_{1}}{s_{y}}\)  (allgemein: \(B_{j} = b_{j} \cdot \frac{s_{j}}{s_{y}}\))
    • Weg 2: Wir könnten auch die Rohwerte aller Variablen z-standardisieren und anschließend Weg 1 oder Weg 2 von oben nehmen.
    • Der y-Achsenabschnitt ist jeweils 0.


(b) Wie testet und interpretiert man die Regressionskoeffizienten?


Lösung

  • Signifikanztestung:
    1. Häufig testet man das gesamte Modell auf Signifikanz, d.h. die Varianzaufklärung insgesamt. Dies geschieht über den Determinationskoeffizienten.
    • Die Nullhypothese lautet, dass der Determinationskoeffizient in der Population null ist (\(H_{0}: \rho^2 = 0\))
    • Die Prüfgröße vergleicht die im Modell aufgeklärte mit der nicht aufgeklärten Varianz: \(F = \frac{\frac{R^2}{k}}{\frac{1 - R^2}{n - k - 1}}\)
    • Hier testet man gewissermaßen die Behauptung, dass alle Steigungskoeffizienten in der Population null sind. \(H_{0}: \beta_{1} = ... = \beta_{k} = 0\) vs. \(H_{1}:\) mindestens ein \(\beta_{j} \neq 0\)
    1. Man kann aber auch die partiellen Regressionskoeffizienten einzeln auf Signifikanz testen.
    • Wir testen \(H_{0}: \beta_{j} = 0\) gegen \(H_{1}: \beta_{j} \neq 0\)
    • Die Prüfgröße ist in dem Fall \(t\)-verteilt mit \(df = n - k - 1\).
    • Berechnet wird sie via \(t = \frac{b_{j}}{s_{b_{j}}}\), wobei wir den Standardfehler als \(s_{b_{j}} = \frac{s_{e}}{\sqrt{QS^*_{j}}} = \frac{s_{e}}{\sqrt{QS_{j} \cdot Tol_{j}}}\) erhalten.
    • Die Prüfgröße wird mit dem kritischen \(t\)-Wert mit \(df = n - k - 1\) und für unser im Voraus festgelegtes \(\alpha\) verglichen.
    • Zudem können wir das Konfidenzintervall berechnen via \(KI: [b_{j} - t_{df;1 - \alpha/2} \cdot s_{b_{j}}; \enspace b_{j} - t_{df;1 - \alpha/2} \cdot s_{b_{j}}]\). Wenn das Konfidenzintervall 0 nicht umschließt, verwerfen wir die Nullhypohese.
  • Interpretation:
    • Der y-Achsenabschnitt (oder Intercept) \(b_{0}\) ist der Kriteriumswert \(\hat{y}\) an der Stelle \(x_{1} = x_{2} = ... = x_{k} = 0\). Oft ist er mit keiner sinnvollen inhaltlichen Interpretation verbunden.
    • Der unstandardisierte Steigungskoeffizient \(b_{1}\) wird interpretiert als voraussichtliche Differenz zweier Personen im Kriterium y, die sich hinsichtlich des Prädiktors \(x_{1}\) um eine Einheit unterscheiden - unter Konstanthaltung aller anderen Prädiktoren.
    • Den standardisierten Steigungskoeffizienten \(B_{1}\) interpretieren wir als voraussichtliche Differenz (in Standardabweichungen zweier Personen im Kriterium y, die sich hinsichtlich des Prädiktors \(x_{1}\) um eine Standardabweichung unterscheiden, wohingegen alle anderen Prädiktoren konstant sind.


(c) Stelle die Korrelationstypen, Varianzaufklärung, Nützlichkeit und Toleranz in Venn-Diagrammen dar!


Lösungsmöglichkeiten

Erklärung:

  • Eine (quadrierte) bivariate Korrelation einer Variable \(x_{1}\) mit einer anderen Variable \(y\) entspricht der geteilten Varianz dieser beiden Variablen.
    • In unserer Graphik finden wir somit \(r^2_{y1}\) in der Überschneidung der Kreise \(x_{1}\) und \(y\), also \(a + c\).
  • Die (quadrierte) semipartielle Korrelation \(sr^2_{1 \cdot 2}\) einer Variable \(x_{1}\) mit einer anderen Variable \(y\) ist die Varianz, die die von \(x_{2}\) bereinigte Variable \(x^*_{1}\) mit \(y\) teilt.
    • Es handelt sich also nur um die Fläche \(a\) im Venn-Diagramm.
    • Genauer betrachtet, wird der gemeinsame Varianzanteil von \(x_{1}^*\) und \(y\) an den Flächen \(a + b + c + e\) normiert, welche zusammen \(100\%\) (des Kriteriums) ergeben. D.h., wir könnten auch schreiben: \(sr^2_{1 \cdot 2} = \frac{a}{a + b + c + e} = \frac{a}{1} = a\)
  • In die (quadrierte) partielle Korrelation \(r^2_{y1 \cdot 2}\) geht im Vergleich zur semipartiellen Korrelation nicht die unbereinigte Variable \(y\) ein. Stattdessen handelt es sich um die vom Einfluss der Variable \(x_{2}\) bereinigte Variable \(y^*\) und deren Korrelation mit der ebenfalls von \(x_{2}\) bereinigten Variable \(x^*_{1}\).
    • \(y^*\) sehen wir in der Graphik als die Fläche \(a + e\): Die Überschneidung mit \(x_{2}\), d.h. \(b + c\), wurde herauspartialisiert.
    • Daher wäre die quadierte Partialkorrelation \(r^2_{y1 \cdot 2}\) im Venn-Diagramm \(\frac{a}{a + e}\)

Erklärung:

  • Die in einer multiplen Regression aufgeklärte Varianz \(R^2\) ist die quadrierte Korrelation der beobachteten mit den vorhergesagten Kriteriumswerten \(r^2_{y\hat{y}}\).
  • Dies entspricht auch der quadrierten multiplen Korrelation \(R^2_{y,123}\) zwischen den beobachteten Kriteriumswerten und allen Prädiktoren (in der Graphik oben dargestellt). Berechnet wird sie durch die Summe
    • der quadrierten bivariaten Korrelation des ersten Prädiktors mit dem Kriterium \(r^2_{yx_{1}}\)
      • (das sind die ersten beiden türkisen Flächen von links in der Graphik),
    • der quadrierten Semipartialkorrelation des zweiten Prädiktors, bereinigt vom ersten Prädiktor \(x_{1}\), mit dem Kriterium, d.h. \(sr^2_{(2 \cdot 1)y}\)
      • (dies sind die zwei türkisen Flächen mittig in der Graphik, rechts von \(r^2_{yx_{1}}\))
    • und der quadrierten Semipartialkorrelation des dritten Prädiktors \(x_{3}\), bereinigt vom ersten und zweiten Prädiktor, mit dem Kriterium, d.h. \(sr^2_{(3 \cdot 12)y}\)
      • (dies ist die kleine türkise Fläche ganz rechts in der Graphik).
      • In unserem Spezialfall in der Graphik teilen \(x_{1}\) und \(x_{3}\) keine Varianz (d.h. \(r_{13} = 0\)), sodass \(sr^2_{(3 \cdot 12)y} = sr^2_{(3 \cdot 2)y}\)

Erklärung:

  • Die Nützlichkeit eines Prädiktors ist der Teil der Varianz, den er in einer multiplen Regression über die anderen Prädiktoren hinaus an dem Kriterium erklären kann: \(U_{k} = R^2_{y, 12...k} - R^2_{y, 12...(k-1)}\).
  • Anders ausgedrückt ist die Nützlichkeit eines Prädiktors die Semipartialkorrelation der höchstmöglichen Ordnung: \(U_{k} = sr_{k \cdot 12...(k-1)}\).
  • Die türkise Fläche stellt die Nützlichkeit \(U_{2}\) dar, also die Varianz, die der Prädiktor \(x_{2}\) mit dem Kriterium \(y\), aber mit keinem anderen Prädiktor teilt.
  • Nicht die gesamte Varianz, die \(x_{2}\) an \(y\) aufklärt, zählt zur Nützlichkeit \(U_{2}\). In der Graphik ist zu sehen, dass die Überschneidungen von \(x_{2}\) und \(y\), die auch mit \(x_{1}\) und \(x_{3}\) überlappen, nicht farbig markiert sind. Nur in dem Spezialfall, dass ein Prädiktor keine Korrelation mit anderen Prädiktoren aufwiese, wäre seine gesamte mit dem Kriterium geteilte Varianz auch seine Nützlichkeit: \(r_{12} = r_{23} = 0 \rightarrow sr^2_{(2 \cdot 13)y} = r^2_{y2} = U_{2}\)
  • Das bringt uns zu der Toleranz:

Erklärung:

  • Die Toleranz \(Tol_{j}\) eines Prädiktors ist die Varianz, die er mit keinem anderen Prädiktor teilt.
  • Im Gegensatz zur Nützlichkeit bezieht sich die Toleranz auf die gesamte Varianz des Prädiktors, nicht auf nur die Varianz, die er am Kriterium aufklärt.
  • In der Graphik sind daher die Varianzanteile von \(x_{2}\) markiert, die sich nicht mit \(x_{1}\) und \(x_{3}\) überschneiden.


(d) Welche Aussage ist KORREKT?

  1. In der multiplen Regression entspricht der multiple Determinationskoeffizient der Summe der quadrierten bivariaten Korrelationen zwischen den Prädiktoren und dem Kriterium.
  2. Die multiple Korrelation R entspricht der bivariaten Korrelation zwischen dem Kriterium y und den aufgrund einer multiplen Regression vorhergesagten Werten der Kriteriumsvariablen.
  3. Wenn ein Prädiktor hinzugefügt wird, kann \(R^2\) auch abnehmen.
  4. In der multiplen Regression bezeichnet die Toleranz eines Prädiktors den Anteil seiner Variation, welcher abhängig von anderen Prädiktoren ist.

Lösung

  1. In der multiplen Regression entspricht der multiple Determinationskoeffizient der Summe der quadrierten bivariaten Korrelationen zwischen den Prädiktoren und dem Kriterium.
    FALSCH. Dies gilt nur für den Spezialfall von unkorrelierten Prädiktoren. Wenn die Prädiktoren untereinander korreliert sind, d.h. z.T. dasselbe erfassen, entspricht der multiple Determinationskoeffizient nicht der Summe der einzelnen quadrierten bivariaten Korrelationen zwischen den Prädiktoren und dem Kriterium. Stattdessen kann man ihn durch eine bivariate und mehrere Semipartialkorrelationen folgendermaßen zerlegen: \(R^2_{y,12...k} = r^2_{y1} + sr^2_{2 \cdot 1} + sr^2_{3 \cdot 12} + ... + sr^2_{k \cdot 12...(k-1)}\)
  2. Die multiple Korrelation R entspricht der bivariaten Korrelation zwischen dem Kriterium y und den aufgrund einer multiplen Regression vorhergesagten Werten der Kriteriumsvariablen.
    RICHTIG.
  3. Wenn ein Prädiktor hinzugefügt wird, kann \(R^2\) auch abnehmen.
    FALSCH. Meistens nimmt das \(R^2\) mit der Aufnahme von zusätzlichen Prädiktoren zu. Im “schlimmsten” Fall, also wenn der neue Prädiktor überhaupt keine Varianz aufklären kann, bleibt \(R^2\) gleich. (Allerdings wäre es dann unwahrscheinlicher, dass der Hypothesentest auf \(R^2\) signifikant wird, da die Prädiktoranzahl in die Freiheitsgrade und somit indirekt in die Prüfgröße eingeht.)
  4. In der multiplen Regression bezeichnet die Toleranz eines Prädiktors den Anteil seiner Variation, welcher abhängig von anderen Prädiktoren ist.
    FALSCH. Dies wäre die multiple Korrelation \(R^2_{j}\). Die Toleranz bezeichnet den Anteil seiner Variation, der unabhängig von anderen den Prädiktoren ist: \(TOL_{j} = 1 - R^2_{j}\)