Quiz 1

Bei einer linearen Einfachregression von \(y\) auf \(x\) werden die Regressionsgewichte \(a\) und \(b\) mit der KQ-Methode berechnet. Es ergibt sich ein Determinationskoeffizient in Höhe von Eins (\(R^2=1\)).


Hilfestellung: Darstellung einer exemplarischen Regressionsgeraden


Welche der folgenden Aussagen treffen zu und welche sind inkorrekt?

1. Alle Wertepaare \((x_i,y_i)\) aus der Stichprobe liegen exakt auf einer Geraden.

Lösung

Richtig.

Da der Regressionskoeffizient gleich 1 ist (\(R^2=1\)), wissen wir, dass die gesamte Variation im Kriterium \(y\) durch den Prädiktor \(x\) vorhergesagt wird. Es liegt ein deterministischer Zusammenhang vor. Alle Wertepaare liegen exakt auf der Regressionsgeraden und die tatsächlich beobachteten \(y\) Werte entsprechenden den vorhergesagten \(\hat{y}\) Werten.


2. Die Produkt-Moment-Korrelation zwischen \(x\) und \(y\) ist plus/ minus Eins, d.h. \(r_{xy}= \pm 1\).
Lösung

Richtig

Für die einfache lineare Regression gilt, dass der Determinationskoeffizient und die quadrierte Korrelation zwischen Prädiktor und Kriterium identisch sind: \(R^2 = r_{xy}^2\).
Folglich ist \(r_{xy} = \pm \sqrt {R^2}\).
Da der Determinationskoeffizient \(R^2\) gleich 1 ist, können wir mit Gewissheit sagen, dass \(r_{xy}\) auch gleich 1 sein muss:
\(\begin{aligned} r_{xy} =& \pm \sqrt {R^2} \\ =& \pm \sqrt {1} \\ =& \pm 1 \end{aligned}\)

Bei einem deterministischen Zusammenhang ist die Korrelation von Prädiktor und Kriterium also gleich \(\pm\) 1.


3. Die mit dem KQ-Schätzer berechnete Gerade hat eine Steigung von Eins, d.h. \(b=1\).
Lösung

Falsch

Die vorliegenden Informationen reichen nicht aus, um eine Aussage über die unstandardisierte Regressionssteigung \(b\) treffen zu können.
Zwar kennen wir \(r_{xy}\), jedoch erlaubt dies nur eine Aussage über das Beta-Gewicht \(B\). Da bei der einfachen linearen Regression gilt, dass \(B = r_{xy}\), wissen wir, dass das Beta-Gewicht gleich 1 sein muss.
Die Regressionssteigung \(b\) hingegen ist zwar proportional zur Korrelation \(r_{xy}\), jedoch nicht identisch. Stattdessen ist sie von den Messeinheiten abhängig.


4. Die Fehlerquadratsumme ist Null, d.h. \(QS_e=0\).
Lösung

Richtig

(Dies lässt sich zum einen inhaltlich, zum anderen mathematisch erklären:)

1. Mathematische Erklärung anhand des Prinzips der Varianzzerlegung:
Die Gesamtvarianz lässt sich aufteilen in den Anteil der aufgeklärten Variation an der Gesamtvarianz \(\frac {QS_{\hat{y}}} {QS_y}\) (dem Determinationskoeffizienten) und den Anteil der nicht aufgeklärten Variation an der Gesamtvarianz \(\frac {QS_e} {QS_y}\):
Addiert ergeben diese beiden Anteile 1 (also 100%).
Da wir wissen, dass \(R^2\), also \(\frac {QS_{\hat{y}}} {QS_y}\) gleich 1 ist, muss \(\frac {QS_e} {QS_y}\) gleich 0 sein.
Dies kann nur der Fall sein, wenn der Zähler des Bruchs, also \(QS_e\) ebenfalls 0 ist.

2. Inhaltliche Erklärung:
Inhaltlich bedeutet ein Determinationskoeffizient von \(R^2 = 1\), dass die Variation im Kriterium \(y\) vollständig vorhergesagt werden kann. In diesem Fall liegen keine Abweichungen der beobachteten Werte von der Geraden, also keine Residuen vor. Somit muss die Fehlerquadratsumme \(QS_e\) null sein.


5. Die Quadratsumme der vorhergesagten Werte ist gleich der Quadratsumme der tatsächlichen Werte, d.h. \(QS_{\hat{y}}=QS_y\).
Lösung

Richtig.

Wie auch in (4) können wir uns die Antwort wieder mathematisch und inhaltlich hierleiten:

1. Mathematische Erklärung:
Da wir wissen, dass der Determinationskoeffizient \(\frac {QS_{\hat{y}}} {QS_y}\) gleich 1 ist, müssen Zähler (die QS der vorhergesagten Werte) und Nenner (die QS der tatsächlichen Werte) dieses Bruchs identisch sein.

2. Inhaltliche Erklärung:
Da ein Determinationskoeffizient von \(R^2 = 1\) bedeutet, dass die gesamte Varianz des Kriteriums vorhergesagt werden kann und ein deterministischer Zusammenhang vorliegt, liegen alle beobachteten Werte exakt auf der Regressionsgeraden (Vgl. Teilaufgabe 1). Dies bedeutet, dass die vorhergesagten \(\hat {y}\) und die tatsächlich beobachteten \(y\)-Werte für jeden \(x\)- Wert identisch sind. Folglich sind ihre Quadratsummen \(QS_{\hat{y}}\) und \(QS_y\) gleich groß.


6. Alle \(y\)-Werte in der Stichprobe können ohne Vorhersagefehler vorhergesagt werden
Lösung

Richtig.

Da der Determinationskoeffizient \(R^2 = 1\) ist, wird sämtliche Varianz im Kriterium vorhergesagt werden. Es besteht ein deterministischer Zusammenhang, was bedeutet, dass alle beobachteten \(y\)- Werte auf der Regressionsgeraden liegen. Sie können folglich ohne Vorhersagefehler (also ohne Abweichung von der Regressionsgeraden) vorhergesagt werden.


7. Alle Residuen in der Stichprobe sind gleich Null, d.h. \(e_i=0\).
Lösung

Richtig

Da durch \(R^2=1\) sämtliche \(y\)- Werte exakt durch die Regressionsgerade vorhergesagt werden können (also ein deterministischer Zusammenhang vorliegt), wissen wir, dass die beobachteten Werte exakt auf der Regressionsgeraden liegen. Somit sind alle Residuen in der Stichprobe gleich Null.


8. Der Mittelwert aller Residuen ist Null, d.h. \(\bar{e}=0\).
Lösung

Richtig

Diese Eigenschaft der Residuen gilt unabhängig von der Größe des Determinationskoeffizienten immer (Vgl. VL Einfache lineare Regression, Folie 29f.).
Wenn wir die Regressionsgerade mittels der Methode der kleinsten Quadrate schätzen, weichen die beobachteten Werte mal negativ, mal positiv von der Regressionsgeraden ab. Im Durchschnitt mitteln sich diese Abweichungen jedoch aus. Wäre dies nicht der Fall, wären die Regressionsparameter unserer Regressionsgeraden keine optimalen Schätzer. Würden z.B. die Abweichungen nach oben dominieren, dann würde unser Modell Werte unter der Regressionsgeraden akkurater vorhersagen als Werte oberhalb der Regressionsgeraden.
Da wir aber per Definition mit der KQ-Methode die optimalen Regressionskoeffizienten finden, wissen wir automatisch, dass dies nicht der Fall sein kann und der Mittelwert der Residuen immer gleich 0 sein muss.


9. Die Residuen sind unkorreliert mit dem Prädiktor , d.h. \(r_{ex}=0\).
Lösung

Richtig

Diese Eigenschaft der Residuen gilt immer und ergibt sich aus der Methode der kleinsten Quadrate.
Wäre dies nicht der Fall, wären die Residuen z.B. bei hohen \(x\)-Werten größer als bei kleinen \(x\)-Werten. Dies würde bedeuten, dass unser Modell bei kleinen \(x\)-Werten präzisere Vorhersagen machen würde als bei hohen \(x\) Werten. Es würde sich folglich nicht mehr um eine optimale Schätzung der Regressionsgeraden durch die Parameter \(a\) und \(b\) handeln.
Da wir aber per Definition mit der KQ-Methode die optimalen Regressionskoeffizienten finden, wissen wir automatisch, dass dies nicht der Fall sein kann und die Residuen mit dem Prädiktor unkorreliert sein müssen.


10. Es besteht ein perfekter positiver linearer Zusammenhang zwischen \(x\) und \(y\).
Lösung

Falsch

Wir können zwar sagen, dass ein perfekter linearer Zusammenhang zwischen \(x\) und \(y\) besteht, jedoch nicht, welche Richtung dieser annimmt (d.h. ob er perfekt linear positiv oder perfekt linear negativ ist).
Da \(R^2 =1\) und identisch mit \(r_{xy}^2\) ist, wissen wir, dass die Korrelation zwischen \(x\) und \(y\) gleich +1 oder -1 sein muss:
\(r_{xy}= \sqrt {1} = \pm 1\).
Die Korrelation und somit der Zusammenhang zwischen \(x\) und \(y\) kann also sowohl positiv, als auch negativ sein.


11. Der Standardschätzfehler ist größer Null, d.h. \(s_e>0\).
Lösung

Falsch

Der Standardschätzfehler drückt die Streuung der Residuen um die Regressionsgerade (in \(y\)-Richtung) aus.
Da mit einem Determinationskoeffizienten von \(R^2 = 1\) jedoch ein deterministischer Zusammenhang besteht, also alle beobachteten \(y\)-Werte auf der Regressionsgeraden liegen, sind in diesem Fall alle Residuen gleich Null.
Die Streuung der Residuen um die Regressionsgerade und folglich der Standardschätzfehler \(s_e\) beträgt 0.


12. Der Standardfehler von \(b\) ist größer Null, d.h. \(s_b>0\).
Lösung

Falsch

Betrachtet man die Formel von \(s_b\), so lässt sich feststellen, dass diese u.a. abhängig vom Standardschätzfehler \(s_e\) ist:
\(s_b = \frac {s_e} {\sqrt {QS_x}}\).
Aus Teilaufgabe 11) wissen wir, dass der Standardschätzfehler \(s_e\) gleich 0 sein muss, da aufgrund des deterministischen Zusammenhangs keine Residuen vorliegen.
Da mit \(s_e\) der Zähler des Bruchs gleich 0 ist, wird auch \(s_b\) automatisch 0 sein.


Quiz 2

Bei einer linearen Einfachregression von \(y\) auf \(x\) werden die Regressionsgewichte \(a\) und \(b\) mit der KQ-Methode berechnet. Es ergibt sich ein Determinationskoeffizient in Höhe von Null (\(R^2=0\)).


Hilfestellung: Darstellung einer exemplarischen Regressionsgeraden


Welche der folgenden Aussagen treffen zu und welche sind inkorrekt?

1. Die Produkt-Momenten Korrelation zwischen \(x\) und \(y\) ist minus Eins, d.h. \(r_{xy}=-1\)..
Lösung

Falsch

Da bei der einfachen linearen Regression gilt, dass \(R^2 = r_{xy}^2\) und da wir wissen, dass \(R^2 = 0\) ist, können wir schlussfolgern, dass \(r_{xy}^2 = 0\) und folglich auch \(r_{xy}=0\) sein muss.
Dies lässt sich auch inhaltlich herleiten: Würde eine Produkt-Momenten Korrelation zwischen \(x\) und \(y\) von -1 vorliegen, bestünde zwischen Prädiktor und Kriterium ein negativer perfekt linearer Zusammenhang und sämtliche Varianz im Kriterium könnte vorhergesagt werden (Vgl. Quiz 1).
Aufgrund des Determinationskoeffizienten von \(R^2 = 0\) lässt sich jedoch schließen, dass sich keine Varianz im Kriterium durch den Prädiktor vorhersagen lässt.


2. Die mit dem KQ-Schätzer berechnete Gerade hat eine Steigung von Null, d.h. \(b=0\). .
Lösung

Richtig

Wir wissen, dass \(r_{xy} = 0\) ist (s. Teilaufgabe 2).
Anhand der Formel der Regressionsparameters \(b\) ist zu erkennen, dass dieser u.a. von \(r_{xy}\) abhängig ist: \[b = r_{xy} \cdot \frac {s_y} {s_x}\]
Da \(r_{xy}\) gleich Null ist, ist die gesamte Gleichung und somit unsere unstandardisierte Steigung \(b\) gleich Null.

Inhaltlich bedeutet dies folgendes:
Die unstandardisierte Steigung \(b\) gibt den voraussichtlichen Unterschied von zwei Personen im Kriterium \(y\) an, die sich in ihrem Prädiktorwert \(x\) um 1 unterscheiden.
Bei einem Determinationskoeffizienten von \(R^2 = 0\) kann der Prädiktor \(x\) absolut keine Varianz in \(y\) vorhersagen. Wir würden somit auch keinen Unterschied von zwei Personen im Kriterium, die sich in ihrem Prädiktorwert um 1 unterscheiden, vorhersagen können. Somit beträgt die Steigung unserer Regressionsgeraden \(b=0\).


3. Die Fehlerquadratsumme ist Null, d.h. \(QS_e=0\).
Lösung

Falsch

Dies lässt sich sowohl mathematisch, als auch inhaltlich erklären:

1. Inhaltliche Erklärung:
Eine Fehlerquadratsumme von \(QS_e = 0\) läge vor, wenn alle beobachteten Wertepaare exakt auf der Regressionsgeraden lägen, also ein deterministischer Zusammenhang mit einem Determinationskoeffizienten von \(R^2 = 1\) bestünde.
Hier beträgt der Determinationskoeffizient jedoch \(R^2 = 0\), was bedeutet, dass der Prädiktor in unserem Modell keine Varianz im Kriterium vorhersagen kann. Somit entsprechen die beobachteten Werte nicht den von unserer Regressionsgeraden vorhergesagten \(\hat {y}\) Werten.
Dies bedeutet, dass Residuen vorliegen und die Fehlerquadratsumme \(QS_e\) größer Null sein muss.

2. Mathematische Erklärung:
Laut dem Prinzip der Varianzzerlegung lässt sich sämtliche Varianz folgendermaßen aufteilen:
Da der Determinationskoeffizient (\(\frac {QS_{\hat{y}}} {QS_y}\)) gleich Null ist, muss die nicht aufgeklärte Varianz, also der Bruch \(\frac {QS_e} {QS_y}\) gleich 1 sein.
Wäre die Fehlerquadratsumme \(QS_e\) jedoch gleich 0, könnte der Bruch \(\frac {QS_e} {QS_y}\) nicht 1 sein.
Somit ist eine Fehlerquadratsumme von \(QS_e\)= 0 in diesem Kontext nicht möglich.


4. Die Fehlerquadratsumme ist gleich der Quadratsumme der tatsächlichen Werte, d.h. \(QS_{e}=QS_y\).
Lösung

Richtig

Wie auch Teilaufgabe 4 lässt sich dies anhand des Prinzips der Varianzzerlegung erklären:
Die Gesamtvarianz teilt sich auf in den Anteil der nicht aufgeklärten Variation an der Gesamtvarianz (\(\frac {QS_e} {QS_y}\)) und der aufgeklärten Variation an der Gesamtvarianz (\(\frac {QS_{\hat{y}}} {QS_y}\) oder \(R^2\)): Da wir wissen, dass unser Determinationskoeffizient (also (\(\frac {QS_{\hat{y}}} {QS_y}\)) gleich Null ist, muss folglich \(\frac {QS_e} {QS_y}\) gleich 1 sein.
Dies ist nur dann der Fall, wenn Zähler und Nenner des Bruchs, also die Fehlerquadratsumme \(QS_e\) und die Quadratsumme der tatsächlichen Werte \(QS_y\) identisch sind.


5. Alle \(y\)-Werte in der Stichprobe können ohne Vorhersagefehler vorhergesagt werden.
Lösung

Falsch

Der Determinationskoeffizient von \(R^2 = 0\) impliziert, dass keine Variation im Kriterium durch den Prädiktor vorhergesagt und \(x\) und \(y\) nicht miteinander korrelieren. Da wir jedoch anhand der KQ-Methode unsere Regressionsgerade basierend auf den (nicht zusammenhängenden) Wertepaaren aus \(yx\) und \(y\) aufgestellt haben, können wir davon ausgehen, dass die beobachteten \(y\) Werte nicht anhand unserer Regressionsgeraden vorhergesagt werden können.


6. Alle Residuen in der Stichprobe sind gleich Null, d.h. \(e_i=0\).
Lösung

Falsch

Dies wäre der Fall, wenn \(R^2 = 1\) wäre, also wenn die gesamte Variation der Kriteriumswerte durch den Prädiktor vorhergesagt werden würde. In diesem Fall lägen sämtliche \(y\) Werte auf unserer Regressionsgeraden und es würden keine Abweichungen existieren, d.h. alle Residuen wären gleich Null.
Da unser Determinationskoeffizient hier jedoch Null beträgt, wissen wir, dass keine Variation im Kriterium vorhergesagt werden kann. Dementsprechend können wir mit unserem Regressionsmodell keine Vorhersage der beobachteten \(y\) Werte treffen.
Somit muss die Summe der Residuen größer Null sein.


7. Der Mittelwert aller Residuen ist Null, d.h. \(\bar{e}=0\).
Lösung

Richtig

Diese Annahme gilt für sämtliche Residuen, unabhängig von der Summe der Residuen. (Erkärung: siehe. Quiz 1, Teilaufgabe 8)


8. Die Residuen sind unkorreliert mit den Fehlertermen, d.h. \(r_{e\varepsilon}=0\).
Lösung

Falsch

Da die Fehlerterme anhand der Residuen in der Stichprobe geschätzt werden, ist davon auszugehen, dass sie hoch mit den Residuen korrelieren.


8a. Die Residuen sind unkorreliert mit den Prädiktoren, d.h. \(r_{ex}=0\).
Lösung

Richtig

Hier handelt es sich ebenfalls um eine allgemeingültige Annahme bezüglich der Residuen, die aus der Methode der kleinsten Quadrate resultiert. (Erklärung: s. Quiz 1, Teilaufgabe 9a)


9. Es besteht ein perfekter negativer linearer Zusammenhang zwischen \(x\) und \(y\)..
Lösung

Falsch

Ein perfekter negativer Zusammenhang würde bei einer Korrelation von \(r_{xy}= -1\) bestehen.
In diesem Fall wäre \(R^2 = 1\) und sämtliche \(y\)-Werte lägen exakt auf der Regressionsgeraden.
Da die \(r_{xy}\) und \(R^2\) jedoch Null sind, besteht kein Zusammenhang zwischen \(x\) und \(y\).


10. Der Standardschätzfehler ist gleich der Standardabweichung von \(y\), d.h. \(s_e=s_y\).
Lösung

Falsch

Dies lässt sich anhand der Formeln von \(s_e\) und \(s_y\), verdeutlichen:
\(s_e = \sqrt {s_y^2 \cdot ( 1- r_{xy}^2) \cdot \frac {(n-1)} {(n-2)}}\)
\(s_y = \sqrt {s_y^2}\)

Wir wissen, dass \(r_{xy}^2 = 0\) ist (Vgl. Teilaufgabe 2). Setzen wir dies in Formel für \(s_e\) ein, erhalten wir folgendes Resultat:
\(\begin{aligned} s_e =& \sqrt {s_y^2 \cdot ( 1- r_{xy}^2) \cdot \frac {(n-1)} {(n-2)}} \\ =& \sqrt {s_y^2 \cdot ( 1- 0) \cdot \frac {(n-1)} {(n-2)}} \\ =& \sqrt {s_y^2 \cdot 1 \cdot \frac {(n-1)} {(n-2)}} \\ =& \sqrt {s_y^2 \cdot \frac {(n-1)} {(n-2)}} \\ \end{aligned}\)

Vergleichen wir dies mit der Formel für \(s_y\) erkennen wir, dass sie sich hinsichtlich des Faktors \(\frac {(n-1)} {(n-2)}\) unterscheiden:

\(s_e = \sqrt {s_y^2 \cdot \frac {(n-1)} {(n-2)}}\)
\(s_y = \sqrt {s_y^2}\)

Die beiden Werte können somit nicht identisch sein.


11. Der Standardfehler von \(b\) ist größer Null, d.h. \(s_b>0\).
Lösung

Richtig

Betrachtet man die Formel von \(s_b\), ist zu erkennen, dass \(s_b\) nur dann gleich Null sein kann, wenn \(s_e\) (der Zähler des Bruchs) gleich Null ist:
\(s_b = \frac {s_e} {\sqrt {QS_x}}\)

Der Standardschätzfehler \(s_e\) quantifiziert, wie weit die Residuen von der Regressionsgeraden abweichen. Hierbei gilt: je geringer \(s_e\), desto genauer die Regression.
In unserem Fall (mit \(R^2 = 0\)) ist die Regression sehr ungenau und die Residuen weichen stark von der Regressionsgeraden ab.
Dies bedeutet, dass \(s_e\) hoch und größer Null sein muss (d.h. \(s_e\) > 0).
Folglich kann \(s_b\) in diesem Beispiel nur > 0 sein


Exkurs: Alle Wertepaare \((x_i,y_i)\) aus der Stichprobe liegen exakt auf einer horizontalen Geraden.

Lösung

Falsch

Wenn alle Wertepaare auf einer horizontalen Gerade liegen, dann liegt ein deterministischer Zusammenhang vor. Wir könnten also davon ausgehen, dass \(R^2=1\) ist, da wir eine perfekte Vorhersage über unsere \(y\)-Werte treffen können. Die Schätzgüte unseres Modells ist maximal.
Wenn wir uns das Beispiel mithilfe der Varianzzerlegung näher ansehen stoßen wir aber auf ein Problem: Im Kriterium \(y\) gibt es keinerlei Variation. Diese können wir somit auch nicht aufteilen (in \(QS_{\hat{y}}\), \(QS_y\) und \(QS_e\)) und es ergibt sich \(R^2=0\). Dies ist auch mit einer anderen Interpretationsweise von \(R^2\) schlüssig. Die Werte von \(x\) nützen uns bei der Erklärung von \(y\) nichts, da die Werte immer gleich sind und Veränderungen in \(x\) keinen Aufschluss über die Veränderung in \(y\) leisten.
Letztendlich ist der oben genannte Fall ein mögliches Szenario für \(R^2 = 0\), allerdings nicht das Einzige (siehe Darstellung ganz oben).