Multiple Regression

aus Wikipedia, der freien Enzyklopädie

Du hast neue Nachrichten (Unterschied zur vorletzten Version).

Die Multiple Regression ist der verallgemeinerte Fall der Regressionsanalyse. Die lineare Einfach-Regression lässt sich auch in dieser Form schreiben. Jedoch hat die multiple Regression besondere Annahmen und Anwendungen. Im folgenden wird ausgehend von der einfachen linearen Regression die multiple Regression eingeführt. Der Response $Y$ hängt linear von mehreren fest vorgegebenen Kovariablen $x_1,\ldots, x_p$ ab, somit erhält man die Form

$Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2+ ... +\beta_p x_p + \epsilon \$

wobei $ε$ wieder die Störgröße repräsentiert. $ε$ ist eine Zufallsvariable und daher ist $Y$ als lineare Transformation von $ε$ ebenfalls eine Zufallsvariable. Es liegen für die $x j$ , wobei $j= 1,\ldots,p$ , und $Y$ je $n$ viele Beobachtungen vor, so dass sich für die Beobachtungen $i$ , wobei $i=1,\ldots, n$ , das Gleichungssystem

$Y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2}+ \cdots +\beta_p x_{ip} + \epsilon_i$

ergibt. $p$ gibt somit die Anzahl der Kovariablen oder die Dimension des Kovariablenvektors $\underline{x}=(x_{i1},\ldots, x_{ip})^T$ an. In der einfachen linearen Regression wurde nur der Fall $p = 1$ betrachtet, ausgehend davon wird nun die multiple Regression als Verallgemeinerung dessen mit $p \geq 2$ präsentiert. Als stichprobentheoretischer Ansatz wird jedes Stichprobenelement $ε i$ als eine eigene Zufallsvariable interpretiert und ebenso so jedes $Y i$ .

Da es sich hier um ein lineares Gleichungssystem handelt, können die Elemente des Systems in Matrix-Schreibweise zusammengefasst werden. Man erhält den $(n \times 1)$ Spaltenvektore der abhängigen Variablen $Y$ und der Störgröße $ε$ als Zufallsvektoren und den $((p+1) \times 1)$ Spaltenvektor der Regressionskoeffizienten $β j$ , wobei $j=0,\ldots,p$ ,

$\underline Y= \begin{pmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_i \\ \vdots\\ Y_n \end{pmatrix} \in \mathbb{R}^{n \times 1} \;,$ $\underline \epsilon= \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots\\ \epsilon_i \\ \vdots\\ \epsilon_n \end{pmatrix} \in \mathbb{R}^{n \times 1} \;$ und $\underline \beta= \begin{pmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots\\ \beta_j \\ \vdots\\ \beta_p \end{pmatrix} \in \mathbb{R}^{(p+1) \times 1} \;$ .

Die Datenmatrix $\underline{X}$ lautet in ausgeschriebener Form

$\underline X= \begin{pmatrix} 1&x_{11}& x_{12}& \cdots &x_{1j}&\cdots &x_{1p}\\ 1&x_{21}& x_{22}& \cdots &x_{2j}&\cdots &x_{2p}\\ \vdots& & & & &\vdots \\ 1&x_{i1}& x_{i2}& \cdots &x_{ij}&\cdots &x_{ip}\\ \vdots& & & & &\vdots \\ 1&x_{n1}& x_{n2}& \cdots &x_{nj}&\cdots &x_{np} \end{pmatrix} \in \mathbb{R}^{(n \times(p+1))}$ .

Die Einsen in der ersten Spalte gehören zum Absolutglied $β 0$ . Des Weiteren trifft man, wie bereits im Abschnitt zur einfachen linearen Regression erwähnt, die Annahmen

$E(\underline{\epsilon}) = 0 \$ und $\mbox{Cov}(\underline{\epsilon})=\sigma^2 I_n$ .

Somit gilt für $\underline{Y}$

$E(\underline{Y}) = \underline{X} \underline{\beta}$ und $\mbox{Cov}(\underline{Y})=\sigma^2 I_n$ .

Ferner lässt sich das Gleichungssystem nun erheblich einfacher darstellen als

$\underline Y = \underline X \underline \beta + \underline \epsilon$ .

[Bearbeiten] Schätzung der Regressionskoeffizienten

Auch im multiplen linearen Regressionsmodell wird die Quadratsumme der Residuen nach der Methode der kleinsten Quadrate minimiert. Man erhält als Lösung mit Hilfe des Satzes von Gauß–Markow den Vektor der geschätzten Regressionskoeffizienten als

$\underline b = \begin{pmatrix} b_0 \\ b_1 \\ b_2 \\ ...\\ b_j \\ ...\\ b_p \end{pmatrix} = (\underline {X}^T \underline X )^{-1} \underline {X}^T \underline Y$ .

Dieser Schätzer ist BLUE (Best Linear Unbiased Estimator), also der beste (erwartungstreu mit kleinster Varianz) lineare unverzerrte Schätzer. Für die Eigenschaften der Schätzfunktion $\underline{b}$ muss also keine Verteilungsinformation der Störgröße vorliegen.

Man erhält mit Hilfe des Minimum-Quadrat-Schätzers $\underline{b}$ das Gleichungssystem

$\underline Y = \underline X \underline b + \underline e = \hat{\underline{Y}} + \underline e \;,$

wobei $\underline{e}$ der Vektor der Residuen und $\hat{\underline{Y}}$ die Schätzung für $\underline{Y}$ ist. Das Interesse der Analyse liegt vor allem in der Schätzung $\hat{\underline{Y}}_0$ oder auch Prognose der abhängigen Variablen $\underline{Y}$ für ein gegebenes Tupel von $\underline{x}_0$ . Die berechnet sich als

$\hat{\underline{Y}}_0 = b_0 + b_1 x_{01} + b_2 x_{02}+ ... + b_p x_{0p}=\underline{x}_0^T \underline{b}$ .

[Bearbeiten] Ausgewählte Schätzfunktionen

Die Schätzwerte der $Y i$ berechnen sich als

$\hat{\underline Y} = \underline {Xb} = \underline X (\underline X ^T \underline X )^{-1} \underline X ^T \underline Y$ ,

wobei man dies auch kürzer als

$\hat{\underline Y} = \underline H \underline Y$ mit $\underline{H} \in \mathbb{R}^{n \times n}$

schreiben kann. Die Matrix $\underline{H}$ ist idempotent und maximal vom Rang $p + 1$ . Sie wird auch Hat-Matrix genannt, weil sie $\underline{Y}$ den „Hut“ aufsetzt.

Die Residuen werden ermittelt als

$\underline e = \underline{Y}-\hat{\underline{Y}} = \underline Y - \underline {Xb} = \underline Y - \underline H \underline Y = (I_n - \underline H) \underline Y$ ,

wobei $(I_n - \underline H)$ mit $\underline{H}$ vergleichbare Eigenschaften hat.

Die Prognose $\underline{\hat{Y}}_0$ wird ermittelt als

$\underline{\hat{Y}}_0 = (1, x_{01}, \cdots, x_{0p}) (\underline X ^T \underline X )^{-1} \underline X ^T \underline Y$ .

Da $\underline{X}$ fest vorgegeben ist, kann man alle diese Variablen als lineare Transformation von $\underline{Y}$ und damit von $\underline{\epsilon}$ darstellen, und deshalb können auch ihr Erwartungswertvektor und ihre Kovarianzmatrix unproblematisch ermittelt werden.

Die Quadratsumme $S S R e s$ (von engl. „residual sum of squares“) der Residuen ergibt in Matrix-Notation

$SS_{Res} = \underline {e}^T \underline e = \underline {Y}^T (I_n - \underline H)^T (I_n - \underline H) \underline Y = \underline Y^T (I_n - \underline H) \underline Y$ .

Dies kann ferner auch geschrieben werden als

$SS_{Res} = \underline {e}^T \underline e = ||Y-\hat{Y} ||_2^2=\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2$ .

Die Varianz wird mit Hilfe der Residuen geschätzt, und zwar als mittlere Quadratsumme der Residuen

$s^2 = \hat \sigma^2 = \frac{SS_{Res}}{(n-p)}=\frac{\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2}{(n-p)} \;$ .

[Bearbeiten] Güte des Regressionsmodells

Hat man eine Regression ermittelt, ist man auch an der Güte dieser Regression interessiert. Häufig verwendet wird als Maß für die Güte das Bestimmtheitsmaß $R 2$ . Generell gilt, je näher der Wert des Bestimmtheitsmaßes bei 1, desto größer ist die Güte der Regression. Ist das Bestimmtheitsmaß klein, kann man seine Signifikanz durch die Hypothese H₀: R² = 0 mit der Prüfgröße

$F = \frac{SS_{Reg}/(n-1)}{SS_{Res}/(n-p)}=\frac{\frac{SS_{Reg}}{SS_{SS_{Total}}}/(n-1)} {\frac{SS_{Res}}{SS_{SS_{Total}}}/(n-p)}=\frac{R^2/(n-1)}{(1-R^2)/(n-p)} \sim F_{n-1, n-p}$

testen. F ist F-verteilt mit n-1 und n-p Freiheitsgraden. Überschreitet die Prüfgröße bei einem Signifikanzniveau α den kritischen Wert F(1-α; n-1; n-p), das (1-α)-Quantil der F-Verteilung mit n-1 und n-p Freiheitsgraden, wird H₀ abgelehnt. R² ist dann ausreichend groß, $X$ trägt also vermutlich genügend viel Information zur Erklärung von $Y$ bei. Die Residualanalyse, bei der man die Residuen über den unabhängigen Variablen aufträgt, gibt Aufschluss über

die Richtigkeit des angenommenen linearen Zusammenhangs,
mögliche Ausreißer,
Homoskedastie, Heteroskedastie.

Residualanalyse: Homoskedastizität und keine Autokorrelation

Ein Ziel bei der Residualanalyse ist es, dass man die Voraussetzung der unbeobachteten Residuen Störgrößen $ε i$ (der Grundgesamtheit) überprüft. Hierbei ist es wichtig zu beachten, dass die bekannten Residuen (der Stichprobe) $e_i \neq \epsilon_i$ sind. $e i$ ist mit der Formel $e_i = y_i - \hat{y}_i$ berechenbar. Im Gegensatz hierzu ist die Störgröße $ε i$ nicht berechenbar oder beobachtbar. Nach den oben getroffenen Annahmen soll für das Modell gelten

$Var(\epsilon_i) = \sigma^2 \;$ ,

es liegt somit eine Varianzhomogenität vor. Dieses Phänomen wird auch als Homoskedastie bezeichnet. Und ist auf die Residuen übertragbar. Dies bedeutet, dass wenn man die unabhängigen Variablen $x$ gegen die Residuen $e$ aufträgt, dass dann keine systematischen Muster erkennbar sein sollten.

In der folgenden Grafik werden unabhängigen Variablen $x$ gegen die Residuen $e$ geplottet.

In dieser Grafik sieht man, dass kein erkennbares Muster in den Residuen vorliegt. Somit ist die Annahme der Varianzhomogenität erfüllt. Anschließend werden zwei Grafiken aufgeführt, bei denen diese Annahme nicht erfüllt ist.

Residualanalyse: Heteroskedastizität (und Autokorrelation)

Bei der ersten Abbildung erkennt man ein Muster, welches an die Sinus-Funktion erinnert. Somit wäre hier eine Daten-Transformation in der Form $a \sin(t x_i + c)\;$ denkbar. Bei der unteren Abbildung erkennt man ein Muster, welches die Form einer Parabel annimmt. Somit wäre hier eine Daten-Transformation in der Form $a(x_i-c)^2\;$ angebracht.

[Bearbeiten] Beitrag der einzelnen Regressoren zur Erklärung von y

Man ist daran interessiert, ob man einzelne Parameter oder Kovariablen aus dem Regressionsmodell entfernen kann. Dies ist dann möglich, falls ein Parameter $β j$ gleich Null ist, somit testet man die Nullhypothese H₀: β_j = 0. Das heißt man testet, ob der $j$ -te Parameter gleich Null ist, falls dies der Fall ist, kann die zugehörige $j$ -te Kovariable $X j$ aus dem Modell entfernt werden. Der Vektor b ist als lineare Transformation von $Y$ verteilt wie

$\underline b \sim N(\underline \beta; \sigma^2 {(\underline X^T \underline X)}^{-1})$ .

Wenn man die Varianz der Störgröße schätzt, erhält man für die geschätzte Kovarianzmatrix

$\underline S = se(b_j)^2 (\underline X^T \underline X)^{-1}$ .

Die geschätzte Varianz se(b_j)² eines Regressionskoeffizienten b_j steht als j-tes Diagonalelement in der geschätzten Kovarianzmatrix. Es ergibt sich die Prüfgröße

$t_j = \frac {b_j}{se(b_j)} \sim t_{n-p}$ ,

die t-verteilt ist mit n-p Freiheitsgraden. Ist $| t j |$ größer als der kritische Wert t(1-α/2; n-p), dem (1-α/2)-Quantil der t-Verteilung mit n-p Freiheitsgraden, wird die Hypothese abgelehnt. Somit wird die Kovariable X_j im Modell beibehalten und der Beitrag des Regressors X_j zur Erklärung von Y ist signifikant groß.

[Bearbeiten] Prognose

Ermittelt man einen Prognosewert, möchte man möglicherweise wissen, in welchem Intervall sich die prognostizierten Werte mit einer festgelegten Wahrscheinlichkeit bewegen. Man wird also ein Konfidenzintervall für den durchschnittlichen Prognosewert E(Y₀) ermitteln. Es ergibt sich als Varianz der Prognose

$\operatorname{Var} (\underline{\hat{Y}}_0) = \sigma^2 (1; x_{01}; x_{02}; \cdots ) (\underline X ^T \underline X )^{-1} \begin{pmatrix} 1 \\ x_{01}\\ x_{02}\\ \vdots \end{pmatrix}=\sigma^2 \underline{x}_0^T (\underline X ^T \underline X )^{-1} \underline{x}_0$ .

Man erhält dann als (1-α)-Konfidenzintervall für den durchschnittlichen Prognosewert mit geschätzter Varianz

$[\underline{\hat{Y}}_0 - s \cdot t_{1-\alpha /2; n-p} \; ; \; \underline{\hat{Y}}_0 + s \cdot t_{1-\alpha /2; n-p}]$ .

Speziell für den Fall der einfachen linearen Regression ergibt das

$\left[ \underline{\hat{Y}}_0 - t_{1- \alpha/2 ; n-p} \cdot s \cdot \sqrt { 1 + \frac {1}{n} + \frac {(x_0 - \bar x)^2} { \sum_{i=1}^n (x_i - \bar x)^2 }} \; ; \; \underline{\hat{Y}}_0 + t_{1- \alpha/2 ; n-p} \cdot s \cdot \sqrt {1 + \frac {1}{n} + \frac {(x_0 - \bar x)^2} { \sum_{i=1}^n (x_i - \bar x)^2 }} \right]$

Speziell aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn die exogene Prognosevariable x₀ sich vom „Zentrum“ der Daten entfernt. Schätzungen der endogenen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig.

[Bearbeiten] Beispiel

Zur Illustration der multiplen Regression wird im folgenden Beispiel untersucht, wie die abhängige Variable Y: Bruttowertschöpfung (in Preisen von 95; bereinigt, Mrd. Euro) von den unabhängigen Variablen „Bruttowertschöpfung nach Wirtschaftsbereichen Deutschland (in jeweiligen Preisen; Mrd. EUR)“ abhängt. Die Daten sind im Artikel Regressionsanalyse/Datensatz angegeben. Da man in der Regel die Berechnung eines Regressionsmodell am Computer durchführt, wird in diesem Beispiel exemplarisch dargestellt, wie eine multiple Regression mit der Statistik-Software R durchgeführt werden kann.

Variable	Beschreibung der Variablen
BWSb95	Bruttowertschöpfung in Preisen von 95 (bereinigt)
BBLandFF	Bruttowertschöpfung von Land- und Forstwirtschaft, Fischerei
BBProdG	Bruttowertschöpfung des produzierenden Gewerbes ohne Baugewerbe
BBBau	Bruttowertschöpfung im Baugewerbe
BBHandGV	Bruttowertschöpfung von Handel, Gastgewerbe und Verkehr
BBFinVerm	Bruttowertschöpfung durch Finanzierung, Vermietung und Unternehmensdienstleister
BBDienstÖP	Bruttowertschöpfung von öffentlichen und privaten Dienstleistern

Zunächst lässt man sich ein Streudiagramm ausgeben, in diesem erkennt man, dass die gesamte Wertschöpfung offensichtlich mit den Wertschöpfungen der wirtschaftlichen Bereiche positiv korreliert ist. Dies erkennt man daran, dass die Datenpunkte in der ersten Spalte der Grafik in etwa auf einer Geraden mit einer positiven Steigung liegen. Auffällig ist, dass die Wertschöpfung im Baugewerbe negativ mit den anderen Sektoren korreliert. Dies erkennt man daran, dass in der vierten Spalte die Datenpunkte näherungsweise auf einer Geraden mit einer negativen Steigung liegen.

In einem ersten Schritt gibt man das Modell mit allen Kovariablen in R ein

lm(BWSb95~BBLandFF+BBProdG+BBBau+BBHandGV+BBFinVerm+BBDienstÖP)

Anschließend lässt man sich in R ein Summary des Modells mit allen Kovariablen ausgeben, dann erhält man folgende Auflistung.

Residuals:
    Min      1Q  Median      3Q     Max 
-1.5465 -0.8342 -0.1684  0.5747  1.5564 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 145.6533    30.1373   4.833 0.000525 ***
BBLandFF      0.4952     2.4182   0.205 0.841493    
BBProdG       0.9315     0.1525   6.107 7.67e-05 ***
BBBau         2.1671     0.2961   7.319 1.51e-05 ***
BBHandGV      0.9697     0.3889   2.494 0.029840 *  
BBFinVerm     0.1118     0.2186   0.512 0.619045    
BBDienstÖP    0.4053     0.1687   2.402 0.035086 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 

Residual standard error: 1.222 on 11 degrees of freedom
Multiple R-Squared: 0.9889,     Adjusted R-squared: 0.9828 
F-statistic: 162.9 on 6 and 11 DF,  p-value: 4.306e-10

Der Test auf Güte des gesamten Regressionsmodells ergibt eine Prüfgröße von F = 162.9. Diese Prüfgröße hat einen p-Wert von $4.306 \cdot 10^{-10}$ , somit ist die Anpassung signifikant gut.

Die Analyse der einzelnen Beiträge der Variablen (Tabelle Coefficients) des Regressionsmodells ergibt bei einem Signifikanzniveau von 0.05, dass die Variablen BBLandFF und BBFinVerm offensichtlich die Variable BWSB95 nur unzureichend erklären können. Dies erkennt man daran, dass die zugehörigen t-Werte zu diesen beiden Variablen verhältnismäßig groß sind, und somit die Hypothese, dass die Koeffizienten dieser Variablen Null sind nicht verworfen werden kann.

Die Variablen BBHandGV und BBDienstÖP sind gerade noch signifikant. Besonders stark korreliert ist Y (in diesem Beispiel also BWSb95) mit den Variablen BBProdG und BBBau, was man an den zugehörigen niedrigen t-Werten erkennen kann.

Im nächsten Schritt werden die insignifikanten Kovariablen BBLandFF und BBFinVerm aus dem Modell entfernt.

lm(BWSb95~BBProdG+BBBau+BBHandGV+BBDienstÖP)

Anschließend lässt man sich wiederum ein Summary des Modells ausgeben, dann erhält man folgende Auflistung.

Residuals:
     Min       1Q   Median       3Q      Max 
-1.34447 -0.96533 -0.05579  0.82701  1.42914 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 158.00900   10.87649  14.528 2.05e-09 ***
BBProdG       0.93203    0.14115   6.603 1.71e-05 ***
BBBau         2.03613    0.16513  12.330 1.51e-08 ***
BBHandGV      1.13213    0.13256   8.540 1.09e-06 ***
BBDienstÖP    0.36285    0.09543   3.802   0.0022 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 

Residual standard error: 1.14 on 13 degrees of freedom
Multiple R-Squared: 0.9886,     Adjusted R-squared: 0.985 
F-statistic: 280.8 on 4 and 13 DF,  p-value: 1.783e-12

Dieses Modell liefert eine Prüfgröße von F = 280.8. Diese Prüfgröße hat einen p-Wert von $1.783 \cdot 10^{-12}$ , somit ist die Anpassung besser als im ersten Modell. Dies ist vor allem darauf zurückzuführen, dass in dem jetzigen Modell alle Kovariablen signifikant sind.