Regressie-analyse

Regressie-analyse is een statistische techniek voor het analyseren van gegevens waarin (mogelijk) sprake is van een specifieke samenhang, aangeduid als regressie. Deze samenhang houdt in dat de waarde van een stochastische variabele, op een storingsterm na, afhangt van een of meer in principe instelbare variabelen. Noemen we de stochastische variabele Y en de instelvariabele x (eventueel als vector), dan is het verband:

$Y=f(x)+U\,$ ,

Hierin stelt U de storingsterm voor, die onafhankelijk is van x (dat wil zeggen dat men aanneemt dat de volledige variatie te wijten is aan een fout in Y).

In deze relatie is de functie f onbekend, maar voor toepassing van regressie-analyse, wel behorend tot een bepaalde klasse die met een beperkt aantal parameters beschreven kan worden. Het paar x, Y wordt wel aangeduid als onafhankelijke en afhankelijke variabele of als verklarende en te verklaren variabele; ook wordt wel gesproken van voorspeller en responsvariabele.

[bewerk] Terminologie

De terminologie "regressie", teruggang, is in dit verband eigenlijk misplaatst. De term werd voor het eerst gebruikt door de Engelse antropoloog Francis Galton. Hij merkte namelijk op dat kinderen uitzonderlijke eigenschappen van hun ouders overerven, doch dat er een tendens bestaat van "regressie naar het midden". De kinderen nemen de eigenschappen van hun ouders namelijk in afgezwakte mate over. Zo hebben lange ouders, lange kinderen, en korte ouders korte kinderen, maar steeds minder uitgesproken. Galton ontdekte dit verband door het toepassen van de methode van de kleinste kwadraten en noemde ze naar het door hem bestudeerde fenomeen, regressie-analyse. Later verfijnde Karl Pearson de rekenmethode en behield de door Galton aangewende psycho-antropologische terminologie.

[bewerk] Voorbeeld

Het benzineverbruik Y van een bepaald type auto hangt af van de snelheid x waarmee gereden wordt. Beredeneerd kan worden dat dit verband kwadratisch is en wel als volgt:

$Y=\alpha + \beta x^2 + U\,$ .

Afhankelijk van omstandigheden als wegdek, verkeerssituatie, weersomstandigheden e.d., zal het benzineverbruik bij een zelfde snelheid toch nog variaties vertonen, die weergegeven worden als storingsterm U. Met de gegevens verkregen uit een aantal testritten (steekproef) zal men door middel van regressie-analyse de parameters schatten.

[bewerk] Lineaire regressie

Er is sprake van lineaire regressie als de bovengenoemde functie f een lineaire functie is van de verklarende variabelen.

[bewerk] Enkelvoudige lineaire regressie

In het eenvoudigste geval is er slechts één verklarende variabele x. We spreken dan van enkelvoudige lineaire regressie. Het model voor Y wordt dan:

$Y=\alpha + \beta x + U\,$ .

Meestal wordt de storingsterm U normaal verdeeld verondersteld met verwachting 0 en standaardafwijking σ.

We kunnen de parameter σ, die meestal ook onbekend is, ook direct zichtbaar maken in de relatie:

$Y=\alpha + \beta x + \sigma U\,$ ;

waarin U nu standaardnormaal verdeeld is.

Met methoden uit de schattingstheorie worden de parameters van deze lineaire relatie geschat.

Omdat een schatting gebaseerd is op het resultaat van een steekproef, kan het analyseren van enkelvoudige lineaire regressie opgevat worden als het bepalen van de best passende lijn door de gegeven meetpunten. Wat "best passen" betekent is natuurlijk afhankelijk van het gehanteerde criterium. Een zo'n criterium is het "kleinste-kwadratencriterium". Daarvoor wordt de kleinste-kwadratenmethode gebruikt. Van lijn y=a+bx worden de coëfficiënten a en b zodanig berekend dat de som van de kwadraten van alle afwijkingen d_i van het meetpunt ten opzichte van de lijn (zie figuur) minimaal is.

[bewerk] Theorie

We bekijken het geval van enkelvoudige lineaire regressie. Bij verschillende waarden $x_1,\cdots, x_n$ van de verklarende variabele x worden de waarden $y_1,\cdots,y_n$ van de bijbehorende stochastische variabelen $Y_1,\cdots , Y_n$ waargenomen. Deze stochastische variabelen worden verondersteld onderling onafhankelijk te zijn. Het model voor de steekproef is dus:

$Y_k=\alpha + \beta x_k + \sigma U_k\,$ , voor k = 1,...,n.

waarin de $(U k)$ onderling onafhankelijk zijn en alle N(0,1)-verdeeld. Het gaat er nu om schattingen te geven voor de parameters op basis van de steekproefuitkomst $(x_1,y_1),\cdots, (x_n,y_n)$ . Meestal gebruik men daarvoor de kleinste-kwadratenmethode. De daaruit resulterende kleinste-kwadratenschatters a en b voor resp. α en β worden gegeven door:

$b=\frac{\sum_{k=1}^{n}{(x_k- \bar x)(y_k- \bar y)}}{\sum_{k=1}^{n}{(x_k-\bar x)^2}}=\frac{n \sum{xy}-\sum{x}\sum{y}}{n \sum{x^2} - (\sum{x})^2}$

$a=\bar y - b \bar x\,$

Ook de parameter σ² kan geschat worden, en wel door:

$s^2=\frac{1}{n-2}\sum_{k=1}^n(y_k - a - bx_k)^2$

[bewerk] Herhalingen

Als bij dezelfde waarde van de verklarende variabele x meer dan een waarneming y is gedaan, kan de parameter σ² geschat door middel van de variantie binnen deze groepen. Het model is dan:

$Y_{kj} =\alpha + \beta x_k + \sigma U_{kj}\,$ , voor k = 1,...,n, en j = 1,..,m,

waarin de $(U k j)$ weer onderling onafhankelijk zijn en alle N(0,1)-verdeeld.

(NB. De groepen zijn hier voor de eenvoud alle van gelijke omvang m gekozen; noodzakelijk is dit niet.)

In de formules voor de schattingen a resp. b van de parameters α en β, moet nu overal de bij x_k horende y-waarde vervangen worden door het gemiddelde

$y_{k*}=\frac 1m \sum_{j=1}^m y_{kj}$

van die groep. Een schatting van σ² is;

$\frac{1}{n(m-1)}\sum_{k,j}(y_{kj} - y_{k*})^2.$

De kwadratensom hierin is een van de termen uit de variantieanalyse, waarin de totale kwadratensom uiteenvalt in drie delen:

$\sum_{k,j}(y_{kj} - y_{**})^2 = \sum_{k,j}(y_{kj} - y_{k*})^2 + \sum_{k,j}(y_{k*} - \hat{y}_{k})^2 + \sum_{k,j}(\hat{y}_{k}-y_{**})^2$ .

De laatste term daarin is de kwadratensom ten gevolge van de regressie. De middelste term meet de afwijkingen van de groepsgemiddelden ten opzichte van de geschatte regressielijn, en is daarmee een maat voor het goed passen van het model.

[bewerk] Meervoudige lineaire regressie

Zijn er meer verklarende variabelen, maar is f wel een lineaire functie daarvan, dan spreken we van multipele (of meervoudige) lineaire regressie. Het model heeft de vorm:

$Y=\beta_0 + \beta_1 x_1 + \cdots + \beta_m x_m + \sigma U$ ,

met U weer N(0,1)-verdeeld.

Ook hier worden met de kleinste-kwadratenmethode de parameters $(β i)$ geschat. De analyse verloopt geheel analoog aan het enkelvoudige geval. Het is alleen rekentechnisch ingewikkelder.

[bewerk] Theorie

Ook hier worden bij verschillende waarden $x_{11},\cdots, x_{1n}, \cdots , x_{m1},\cdots, x_{mn},$ van de verklarende variabelen $(x_1,\cdots, x_m)$ de waarden $y_1,\cdots,y_n$ van de bijbehorende stochastische variabelen $Y_1,\cdots , Y_n$ waargenomen. Deze stochastische variabelen worden verondersteld onderling onafhankelijk te zijn. Het model voor de steekproef is dus:

$Y_k=\beta_0 + \beta_1 x_{1k} + \cdots + \beta_m x_{mk} + \sigma U_k$ , voor k = 1,...,n.

waarin de $(U k)$ onderling onafhankelijk zijn en alle N(0,1)-verdeeld. Het is overzichtelijker deze relaties met vectoren te noteren, waardoor ze in gedaante sterk vereenvoudigen.

$Y=X\beta + \sigma U\!$ .

Hierin is $Y=(Y_1, \cdots, Y_n)$ en $U=(U_1, \cdots, U_n)$ . De waarden van de x'en vinden we terug in de matrix X, waarvan de k-de rij gegeven wordt door:

$(1,x_{1k},\cdots,x_{mk})$ .

De kleinste-kwadratenmethode voert tot de normaalvergelijkingen:

$X'Y=X'Xb\!$ .

In de gebruikelijke gevallen is de matrix $X'X\!$ inverteerbaar, zodat de oplossing, de kleinste-kwadratenschatters, gegeven wordt door:

$b=(X'X)^{-1}X'Y\!$ .

[bewerk] Voorbeeld

Om de lineaire uitzettingscoëfficiënt van aluminium te bepalen, meet een fysicus de lengte van een aluminium staaf bij 4 verschillende temperaturen. Het resultaat staat hieronder.

temperatuur x  lengte y
(in °C)        (in mm)
  20           1000.02 
  60           1000.96
 100           1001.82
 120           1002.75

De gemeten lengte y is natuurlijk niet exact gelijk aan de "werkelijke" (verwachte) lengte; er zit nog een meetfout in en eventueel andere storingen. De verwachte lengte hangt lineair samen met de temperatuur x, daarom kunnen we voor de gemeten lengte y schrijven:

y = α + β x + u

waarin de meetfout en de overige storingen zijn samengevat in u. De parameter α is de lengte bij 0 graden; de parameter β staat in directe relatie met de gezochte uitzettingscoëfficiënt. Op basis van de boven gegeven steekproefuitkomst $(x_1,y_1),\cdots , (x_4,y_4)$ kunnen schattingen a en b van deze parameters berekend worden. Als we daartoe de methode der kleinste kwadraten gebruiken, zijn deze schattingen gebaseerd op de volgende grootheden:

$\sum{x}, \sum{y}, \sum{x^2}$ en $\sum{xy}$ .

Deze werden vroeger, bij "handmatige" berekening bepaald, door de tabel met de meetdata met geschikte kolommen uit te breiden en de kolomtotalen te berekenen:

   x       y          x²       xy
---------------------------------------- 
  20    1000.02      400     20000.4
  60    1000.96     3600     60057.6
 100    1001.82    10000    100182.0
 120    1002.75    14400    120330.0
---------------------------------------
 300    4005.55    28400    300570.0

Als kleinste-kwadratenschatting b voor de gezochte parameter β vinden we:

$b=\frac{n\sum{xy}-\sum{x}\sum{y}}{n\sum{x^2}- \sum{x}\sum{x}}=\frac{4\times300570.0-300\times4005.55}{4\times28400-300\times300}=\frac{615}{23600}\approx 0.026$ (mm/K)

[bewerk] Variantieanalyse

Vanwege de overeenkomstige analysemethodiek is het mogelijk een variantie-analyse op te vatten als een regressie-analyse. Als voorbeeld nemen we het ANOVA-model met één factor.

$Y_{ij}=\mu_i + \sigma U_{ij}\,$ ,