Vikipedio:Projekto matematiko/Gibbsa neegalaĵo

El Vikipedio

Ĉi tiu artikolo montras stilajn aŭ/kaj gramatikajn aŭ/kaj strukturajn problemojn kaj bezonas poluradon por konformi al pli bona nivelo de kvalito. Post plibonigo movu la artikolon al
Gibbsa neegalaĵo
(eble la nomo mem bezonas korekton) Se la ligo estas ruĝa, vi povas movi la artikolon. Se la ligo estas blua, la alia artikolo pri la temo jam ekzistas kaj tiun kaj ĉi tiun artikolon necasas kunigi.

En informa teorio, Gibbsa neegalaĵo estas (propozicio, frazo, ordono) pri la matematika entropio de diskreta probablodistribuo. Kelkaj alia (baroj, baras) sur la entropio de probablodistribuoj estas derivita de Gibbsa' neegalaĵo, inkluzivanta Fana neegalaĵo.

Unua (surscenigis, enscenigita, prezentita) per J. _Willard_ Gibbsa en la dek-naŭa jarcento.

[redaktu] Gibbsa neegalaĵo

Supozi (tiu, ke, kiu)

$P = \{ p_1 , \ldots , p_n \}$

estas probablodistribuo. Tiam por (ĉiu, iu) alia probablodistribuo

$Q = \{ q_1 , \ldots , q_n \}$

jena neegalaĵo tenas

$- \sum_{i=1}^n p_i \log_2 p_i \leq - \sum_{i=1}^n p_i \log_2 q_i$

kun egaleco se kaj nur se

$p_i = q_i \,$

por ĉiuj mi.

La diferenco inter la du (kvantoj, kvantas) estas la negativa de la _Kullback_-_Leibler_ diverĝenco aŭ relativa entropio, (do, tiel) la neegalaĵo povas ankaŭ esti skribita:

$KL(p,q) \geq 0$

[redaktu] Pruvo

Ekde

$\log_2 a = \frac{ \ln a }{ \ln 2 }$

ĝi estas sufiĉa al pruvi la (propozicio, frazo, ordono) uzanta la natura logaritmo (_ln_). (Tononomo, Noto, Noti) (tiu, ke, kiu) la natura logaritmo (verigas, kontentigas)

$\ln x \leq x-1$

por ĉiuj x kun egaleco se kaj nur se x=1.

Estu $I$ signifi la aro de ĉiuj $i$ por kiu p_mi estas ne-nulo. Tiam

$\begin{matrix} - \sum_{i \in I} p_i \ln \frac{q_i}{p_i} & \geq & - \sum_{i \in I} p_i \left( \frac{q_i}{p_i} - 1 \right) \\ && \\ & = & - \sum_{i \in I} q_i + \sum_{i \in I} p_i \\ && \\ & = & - \sum_{i \in I} q_i + 1 \\ && \\ & \geq & 0 \end{matrix}$

(Do, Tiel)

$- \sum_{i \in I} p_i \ln q_i \geq - \sum_{i \in I} p_i \ln p_i$

kaj tiam bagatele

$- \sum_{i=1}^n p_i \ln q_i \geq - \sum_{i=1}^n p_i \ln p_i$

ekde la (ĝusta, dekstra, rajto) mana flanko ne kreski, sed la (maldekstre, restis) mana flanko (majo, povas) kreski aŭ (majo, povas) resti la sama.

Por egaleco al teni, ni postuli:

$\frac{q_i}{p_i} = 1$ por ĉiuj $i \in I$ tiel ke la proksimuma kalkulado $\ln \frac{q_i}{p_i} = 1 - \frac{q_i}{p_i}$ estas akurata.
$\sum_{i \in I} q_i = 1$ tiel ke egaleco daŭras al teni inter la antaŭlasta kaj la _ultimate_ linioj de la pruvo.