Information de Fisher

Un article de Wikipédia, l'encyclopédie libre.

Vous avez de nouveaux messages (diff^?).

Cet article est une ébauche à compléter concernant les probabilités et les statistiques, vous pouvez partager vos connaissances en le modifiant.

L'information de Fisher est une notion de statistique introduite par R.A. Fisher qui quantifie l'information relative à un paramètre contenue dans une distribution.

Soit $f (x;θ)$ la distribution de vraisemblance d'une grandeur $x$ (qui peut être multidimensionelle), paramétrée par $θ$ . La technique d'estimation de $θ$ par le maximum de vraisemblance, introduite par Fisher consiste à choisir la valeur maximisant la vraisemblance des observations X.

$E\left[\frac{\partial \log f(X;\theta)}{\partial \theta} | \theta \right] =0$

L'information de Fisher est quant à elle définie comme la variance associée à ce maximum :

$I(\theta)=E\left[ \left(\frac{\partial \log f(X;\theta)}{\partial \theta} \right)^2 |\theta \right]$

[modifier] Formulation discrète

Les différentes observations $x i$ nous permettent d'échantillonner la fonction de densité de probabilité $f (x;θ)$ . Selon le thèorème de Bayes, en l'absence d'a priori sur $θ$ on a $P(\theta/X)\propto P(X/\theta)$ Si les observations sont décorrélées, la valeur la plus probable $\scriptstyle\hat\theta$ nous est donnée par le maximum de

∏	P(x_i / θ),
i

qui est aussi le maximum de

λ(θ) =	∑	logP(x_i / θ).
	i

Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :

$\sum_i \left[ \frac{\partial}{\partial \theta} \log P(x_i/\theta) \right]_{\theta=\hat\theta} =0.$

Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation permet de trouver un estimateur de $θ$ à partir du jeu de paramètre au sens du maximum de vraissemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de $θ$ autour de la valeur donnée par l'estimateur $\scriptstyle\hat\theta$ . À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :

$\lambda(\theta)=\lambda(\hat\theta)-\frac{\theta^2}{2}I(\hat\theta)+o(\theta^2)$

où $\scriptstyle I(\hat\theta)$ est l'information de Fisher relative à $θ$ au point de maximum de vraisemblance. Ceci signifie que la distribution est en première approximation une gaussienne de variance $\scriptstyle 1/I(\hat\theta)$ :

$P(\theta/X)\propto \exp\left(-\frac{\theta^2}{2}I(\hat\theta) \right)$

Cette variance est appelé la borne de Cramér-Rao et consitue la meilleure précision d'estimation atteignable en absence d'a priori.

[modifier] Formulation multi-paramétrique

Dans le cas où la distribution de probabilité dépend de plusieurs paramètres, $θ$ n'est plus un scalaire mais un vecteur $\vec\theta=(\theta_1,\theta_2,\cdots)$ . La recherche du maximum de vraisemblance ne se résume donc non pas à une seule équation mais à un système :

$E\left[\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right] =0, \qquad \forall i$

on dérive vis à vis des différentes composantes de $\vec\theta$ . Enfin, l'information de Fisher n'est plus définie comme une variance scalaire mais comme une matrice de covariance :

$I(\theta_i,\theta_j)=E\left[ \left(\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right) \left(\frac{\partial}{\partial \theta_j} \log f(X;\vec\theta) \right)\right].$

Cette matrice est couramment appelée la métrique d'information de Fisher. En effet, le passage de l'espace des observations à l'espace des paramètres est un changement de système de coordonnées. Dans la base des paramètres, avec comme produit scalaire la covariance, cette matrice est la métrique.

L'inverse de cette matrice permet quant à elle de déterminer les bornes de Cramér-Rao, i.e. les covariances relatives aux estimations conjointes des différents paramètres à partir des observations : en effet, le fait que tous les paramètres soient à estimer simultanéement rend l'estimation plus difficile. Ce phénomène est une manifestation de ce qui est parfois appelé la « malédiction de la dimension ». C'est pour cette raison que l'on utilise quand on le peut des a priori sur les paramètres (méthode d'estimation du maximum a posteriori). Ainsi, on restreint l'incertitude sur chacun des paramètres, ce qui limite l'impact sur l'estimation conjointe.

Récupérée de « http://fr.wikipedia.org../../../i/n/f/Information_de_Fisher_3e65.html »

Catégories : Wikipédia:ébauche probabilité et statistiques • Traitement du signal • Statistiques