Kleinste-kwadratenmethode

De kleinste-kwadratenmethode is een rekenmethode om bij een gegeven set puntenparen in het vlak uit een set curven de "best passende" te bepalen. De methode dankt z'n naam "kleinste kwadraten" aan het daarbij hanteerde criterium voor "best passen", waarbij de mate van passen wordt afgemeten aan het totaal van de kwadratische afwijkingen (in vertikale zin) van de curve.

De methode werd onafhankelijk van elkaar ontwikkeld door Karl Friedrich Gauss en Adrien Marie Legendre. In 1801 gebruikte Gauss de kleinste-kwadratenmethode om de baan van de pas ontdekte planeet Ceres te schatten. Hij voorspelde nauwkeurig waar en wanneer Ceres zou verschijnen.

De kleinste-kwadratenmethode in z'n eenvoudigste, oorspronkelijk vorm is een methode om bij een gegeven set punten in het xy-vlak, die verondersteld worden (min of meer) op een rechte lijn te liggen, de "best passende" lijn te bepalen. Best passen betekent dat het totaal van de gekwadrateerde afwijkingen in verticale zin van de punten t.o.v. de lijn zo klein mogelijk is.

Stellen we het i-de meetpunt voor door $(x i, y i)$ , en de gezochte lijn door:

y = a + b x

dan wordt de afwijking $d i$ voor dit punt gegeven door:

d i = y i - (a + b x i)

De som van de kwadraten van alle afwijkingen is

$\sum_{i=1}^{n}{d_i^2}=\sum_{i=1}^{n}(y_i -(a+bx_i))^2$ .

Het komt er nu op neer bij de gegeven punten de parameters a en b zo te bepalen dat de bovenstaande som minimaal is. Dit voert tot de zogeheten normaalvergelijkingen voor a en b::

$a \cdot n + b \sum{x}= \sum{y}$

$a \sum{x} + b \sum{x^2} = \sum{xy}$ ,

met als oplossingen

$b=(n\sum xy - \sum x\sum y)/(n\sum x^2 - \sum x\sum x)$

$a=\sum y/n-b\sum x/n$ .

[bewerk] Generalisatie

De kleinste-kwadratenmethode is een methode om een model te passen aan een aantal meetwaarden. De parameters van het model waarvoor geldt dat de kwadraten van de afwijkingen van de meetwaarden ten opzichte van het model minimaal zijn, worden gezocht.

Als het model slechts onafhankelijke parameters kent, die daarnaast elk alleen in de eerste macht voorkomen, dan kan men de kleinste-kwadratenmethode in een keer toepassen: men verkrijgt in een enkele bewerking de optimale parameters. Deze variant noemt men de lineaire kleinste- kwadratenmethode let op: dit wil dus niet zeggen dat het model een rechte lijn is! Veel gecompliceerdere modellen kunnen lineair worden opgelost.

Wanneer het model wel hogere machten heeft of correlaties tussen parameters kent, kan via een iteratieve procedure toch vaak een goed model worden gevonden. Hiervoor moet men een aantal keren een berekening maken waarbij de lokale afgeleide van de model-functie wordt gebruikt. Men moet daarvoor echter wel van tevoren weten waar men ongeveer zal uitkomen, anders kan men in een verkeerd (suboptimaal) minimum uitkomen.