Varianzzerlegung

Das Bestimmtheitsmaß (abk. R² oder B, auch Determinationskoeffizient) ist ein Maß der Statistik für den erklärten Anteil der Variabilität (Varianz) einer abhängigen Variablen Y durch ein statistisches Modell. Indirekt wird damit auch der Zusammenhang zwischen der abhängigen und der/den unabhängigen Variablen gemessen (siehe Fehlerreduktionsmaße) ^[1][2].

Nur im Fall eines linearen Regressionsmodells, d.h. Y_i = b₀ + b₁X_i1 + ... + b_pX_ip + U_i, gibt es eine eindeutige Definition: das Quadrat des multiplen Korrelationskoeffizienten. Ansonsten existieren meist mehrere unterschiedliche Definitionen (siehe Pseudo-Bestimmtheitsmaß).

Das Bestimmtheitsmaß R²

Interpretation

Die Maßzahl R² ist der Prozentanteil der Variation von Y (oder auch der Varianz von Y, da gilt Variation(Y) = n * Var(Y)), der durch die lineare Regression erklärt wird, und liegt daher zwischen

0 (oder 0 %): kein linearer Zusammenhang und

1 (oder 100%): perfekter linearer Zusammenhang.

Ist R² = 0, dann besteht das "beste" lineare Regressionsmodell nur aus der Konstanten b₀, alle anderen Koeffizienten b_i sind Null. Ist R² = 1, dann lässt sich die Variable Y vollständig durch das lineare Regressionsmodell erklären.

Konstruktion

Die Variation von Y wird zerlegt in die Variation der Residuen (durch das Modell nicht erklärte Variation) und die Variation der Regresswerte (durch das Modell erklärte Variation):

$\underbrace{\sum_{i=1}^n (Y_i - \bar{Y})^2}_{\mbox{Variation von Y}} = \underbrace{\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}_{\mbox{Variation der Residuen}}+\underbrace{\sum_{i=1}^n (\hat{Y}_i- \bar{Y})^2}_{\mbox{Variation der Regresswerte}}$

mit $\bar{Y}$ der Mittelwert der Y's, $\hat{Y}_i$ die geschätzten Regresswerte aus dem Regressionsmodell ($\hat{Y}_i = \hat{b}_0 + \hat{b}_0 X_{i1} + ... + \hat{b}_p X_{ip}$).

Damit wird das Bestimmtheitsmaß R² definiert als:

$R^2 = 1-\frac{\displaystyle\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})^2}= 1-\frac{\mbox{Variation der Residuen}}{\mbox{Variation von Y}} = \frac{\mbox{Variation der Regresswerte}}{\mbox{Variation von Y}}= \frac{\displaystyle\sum_{i=1}^n (\hat{Y}_i- \bar{Y})^2}{\displaystyle\sum_{i=1}^n (Y_i - \bar{Y})^2}$

In der Literatur findet man auch folgende Notation für die

• Variation von Y: TSS = SS_Total (total sum of squares),
• Variation der Residuen: RSS = SS_Residuen (sum of squared residual) und
• Variation der Regresswerte: ESS = SS_Regression (estimated sum of squares).

Zusammenhang mit Korrelationskoeffizienten

Bei einer einfachen Regression (nur eine unabhängige Variable) entspricht R² dem Quadrat des Pearson'schen Korrelationskoeffizienten R und lässt sich aus der Kovarianz s_xy und den Einzelvarianzen $s_x^2$ und $s_y^2$ berechnen:

$R^2 = \frac{s_{xy}^2}{s_x^2 s_y^2}.$

Bei einer multiplen Regression (mehr als eine unabhängige Variable) entspricht R² dem Quadrat des multiplen Korrelationskoeffizienten, also der Korrelation zwischen Y und b₁X₁ + ... + b_pX_p.

Grenzen und Kritik

Beispiele für Daten mit einem hohen (pink) und einem niedrigen (blau) Bestimmtheitsmaß bei einem zugrundegelegten linearen Modell

• Das Bestimmtheitsmaß zeigt zwar die Qualität der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde. Modelle, die mittels kleinster Quadrate geschätzt wurden, werden daher die höchsten R² erhalten. Übliche Mißverständnisse sind:
  • Ein hohes R² erlaubt eine gute Vorhersage. Die rote Daten in der Grafik rechts legen nahe, dass sich die Richtung der Daten für höherere Wert von X ändert.
  • Ein hohes R² gibt an, dass die geschätzte Regressionslinie eine gute Approximation an die Daten darstellt; die rote Daten legen auch hier etwas anderes nahe.
  • Ein R² nahe bei Null, zeigt an, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gibt. Die blauen Daten in der Grafik rechts zeigen einen deutlichen, allerdings nicht-linearen, Zusammenhang, obwohl R² Null ist.
• Es sagt nichts darüber aus, ob die unabhängigen Variablen X_i wirklich der Grund für die Änderungen in Y sind. Z.B. gibt es tatsächlich einen Zusammenhang zwischen der Anzahl der Störche und der Anzahl der neugeborenen Kinder in einem Gebiet. Der Grund für den Zusammenhang ist jedoch, dass in einem mehr ländlichen Gebiet sowohl die Zahl der Störche als auch die Zahl der neugeborenen Kinder grösser ist als in einem mehr städtisch geprägten Gebiet. Korrekterweise müsste man statt einer Regression Zahl der Kinder = b₀ + b₁Zahl der Störche eine Regression Zahl der Kinder = b₀ + b₁Städtische Ausprägung durchführen.
• Außerdem sagt es nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen Regressoren aus. Dazu muss zusätzlich ein Signifikanztest durchgeführt werden.
• Es macht keine Aussage über Multikollinearität der unabhängigen Variablen X_i.
• Es macht keine Aussage, ob eine Transformation der Daten die Erklärungskraft der Regression verbessert.
• Ein weiterer Nachteil liegt in der Empfindlichkeit gegenüber Trends: Sofern sich eine exogene Variable parallel zu einer erklärenden entwickelt, werden unabhängig von der wahren Erklärungskraft des Modells hohe R² ausgewiesen.

Das korrigierte Bestimmtheitsmaß $\bar R^2$

Definition

Das Bestimmtheitsmaß R² hat die Eigenschaft, dass es umso größer wird je größer die Zahl der unabhängigen Variablen ist. Und zwar unabhängig davon, ob weitere unabhängige Variablen wirklich einen Beitrag zur Erklärungskraft liefern. Daher ist es ratsam, das korrigierte Bestimmtheitsmaß (auch bereinigtes, adjustiertes oder angepasstes Bestimmtheitsmaß genannt) zu Rate zu ziehen. Es berechnet sich wie folgt

$\bar R^2 = 1- (1-R^2) \frac{n-1}{n-p-1} = R^2 - (1-R^2) \frac{p}{n-p-1}.$

Hierbei wird die Erklärungskraft des Modells, repräsentiert durch R², ausbalanciert mit der Komplexität des Modells, repräsentiert durch p, die Anzahl der unabhängigen Variablen. Je komplexer das Modell ist, desto mehr "bestraft" $\bar R^2$ jede neu hinzugenommene unabhängige Variable.

Das angepasste Bestimmtheitsmaß $\bar R^2$ steigt nur, wenn R² ausreichend steigt, um den gegenläufigen Effekt des Quotienten $\frac{n-1}{n-p-1}$ auszugleichen und kann auch sinken. Auf diese Weise lässt sich $\bar R^2$ als Entscheidungskriterium bei der Auswahl zwischen zwei alternativen Modellspezifikationen (etwa einem restringierten und einem unrestringierten Modell) verwenden.

Das korrigierte Bestimmtheitsmaß $\bar R^2$ kann auch negative Werte annehmen und ist kleiner als das unbereinigte, außer falls $R^2= 1\;$, dann ist auch $\bar R^2=1$.

Konstruktion

Aus der obigen Definition von R² folgt, dass

$R^2= 1-\frac{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2}{\displaystyle \frac{1}{n} \sum_{i=1}^n (Y_i-\bar{Y})^2}.$

Wir wissen jedoch, dass $\frac{1}{n} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2$ und $\frac{1}{n} \sum_{i=1}^n (Y_i-\bar{Y})^2$ keine unverzerrten Schätzer für die Varianzen sind. Setzt man oben und unten unverzerrte Schätzer ein, so erhält man das korrigierte Bestimmtheitsmaß:

$\bar R^2=1-\frac{\displaystyle \frac{1}{n-p-1} \sum_{i=1}^n (Y_i-\hat{Y}_i)^2}{\displaystyle \frac{1}{n-1} \sum_{i=1}^n (Y_i-\bar{Y})^2}$.

Pseudo-Bestimmtheitsmaß

Bei einem nominalen oder ordinalen Skalenniveau von Y kann man weder ein lineares Regressionsmodell aufstellen noch eine Variation oder Varianz und damit ein R² berechnen. Mit Hilfe der Maximum-Likelihood-Schätzung lassen sich jedoch allgemeinere Regressionsmodelle schätzen. In solchen Modellen wird das sogenannte Pseudo-Bestimmtheitsmaß verwendet. Unter diesem Begriff wurden verschiedene Maße vorgeschlagen, darunter das unter Ökonomen am häufigsten verwendete von McFadden^[3] (mit lnL₀ aus dem Modell mit lediglich einer Konstanten):

$R^2_{McFadden}=1-{\ln L_1 \over \ln L_0}.$

Dabei ist L₁ der Wert der Likelihoodfunktion unter Kenntnis des Zusammenhanges zwischen Y und X_i (volles Regressionsmodell) und L₀ der Wert der Likelihoodfunktion ohne Kenntnis des Zusammenhanges zwischen Y und X_i (Nullmodell ohne X_i). Dieser Ansatz nutzt die Interpretation von R² als proportionales Fehlerreduktionsmaß aus. Weitere Maße sind die Maße von Cox und Snell^[4]

$R^2_{CoxSnell}=1-\left(\frac{L_0}{L_1}\right)^{2/n}$

bzw., da gilt $R^2_{CoxSnell}<1$, die Erweiterung von Nagelkerke^[5]

$R^2_{Nagelkerke}=\frac{1-\left(\frac{L_0}{L_1}\right)^{2/n}}{1-L_0^{2/n}}.$

Nagelkerke gab auch eine allgemeine Bedingungen für ein Pseudo-Bestimmtheitsmaß an:

1. Ein Pseudo-Bestimmtheitsmaß sollte mit dem Bestimmtheitsmaß R² übereinstimmen, wenn beide berechnet werden können.
2. Es soll ebenfalls maximiert werden mit der Maximum-Likelihood-Schätzung des Modells.
3. Es soll, zumindest asymptotisch, unabhängig vom Stichprobenumfang sein.
4. Die Interpretation sollte die durch das Modell erklärte Variabilität von Y sein.
5. Es soll zwischen Null und Eins liegen. Bei einem Wert von Null sollte es keine Aussage über die Variabilität von Y machen; bei einem Wert von Eins, sollte es die Variabilität von Y mvollständig erklären.
6. Es sollte keine Maßeinheit besitzen.

Literatur

• Neter, J., Kutner, M.H., Nachtsheim, C.J., Wasserman, W. (1996), Applied linear statistical models (Fourth edition), McGraw-Hill

Einzelnachweise

1. ↑ Yule, G.U. (1897), On the theory of correlation, Journal of the Royal Statistical Society, 62, S. 249-295
2. ↑ Pearson, K., Lee, A. (1897), On the Distribution of Frequency (Variation and Correlation) of the Barometric Height at Divers Stations, Philosophical Transactions of the Royal Society of London. Series A, Vol. 190, S. 423-469
3. ↑ McFadden, D. (1974), Conditional logit analysis of qualitative choice behaviour, in: P. Zarembka (ed.), Frontiers in Econometrics, Academic Press, New York, S. 105-142.
4. ↑ Cox, D.R., Snell, E.J. (1989), The Analysis of Binary Data (2. Auflage), Chapman and Hall, London.
5. ↑ Nagelkerke, N.J.D. (1991), A Note on a General Definition of the Coefficient of Determination, Biometrika 78(3), S. 691–692.