Ilość informacji
Z Wikipedii
Ilość informacji dostarczonej przez zmienną Y o zmiennej X - czyli I(X:Y) - nazywamy różnicę entropii zmiennej X i średnią warunkowych entropii zmiennej X w zbiorowościach wyróżnionych ze względu na zmienną Y. Wzór na ilość informacji: I(X:Y) = H(X) − E[H(X | Y)]