Weight decay
Un article de Wikipédia, l'encyclopédie libre.
Vous avez de La méthode de dégradation des pondérations ou weight decay en anglais est une technique de régularisation utilisée pour limiter le surapprentissage dans un réseau de neurones. Elle consiste à ajouter une pénalité à la fonction d'erreur qui dépend de la magnitude des poids qui relient les neurones entre eux. On utilise en général la pénalité suivante :
où wi est le ie poids dans le réseau et λ est un coefficient positif qui donne plus ou moins d'importance à la pénalité. Le paramètre λ est en général très petit (0.0001 et moins), il tend vers zéro.
[modifier] Buts
Le but est d'éviter le surapprentissage. Il a été mathématiquement démontré (Geman, Bienenstock, Doursat, Krogh en 1992) qu'un réseau utilisant des connexions avec des pondérations de forte magnitude avait plus de peine pour généraliser. Techniquement parlant, de grands poids peuvent provoquer une plus grande variance à la sortie. En forçant la diminution des poids, on obtient un réseau moins flexible qui se spécialise moins dans les données utilisées pour l'apprentissage.
