Entropia warunkowa
Z Wikipedii
Entropia warunkowa jest jednym z typów entropii używanych w teorii informacji. Mierzy ile wynosi entropia nieznanej zmiennej losowej Y jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako 
i tak jak inne entropie mierzy w bitach.
Intuicyjnie entropia ta mierzy o ile entropia pary zmiennych X i Y jest większa od entropii samej zmiennej X, czyli znając X ile dodatkowej informacji dostajemy poznając dodatkowo zmienną Y.
Formalnie, dla dyskretnych zmienny losowych X i Y entropia Y warunkowana przez X może być zdefiniowana jako:
W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:
gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a p(x) jest gęstością prawdopodobieństwa X.
Alternatywnie tę samą definicję można zapisać jako
gdzie H(X,Y) oznacza entropię produktową X i Y, a H(X) oznacza entropię X.
Jeśli X i Y są niezależne, poznanie X nie daje żadnych informacji o Y. Wtedy entropia warunkowa jest po prostu równa entropii Y: 
. Z drugiej strony, jeśli Y jest funkcją X, to poznanie X całkowicie determinuje wartość Y. Wtedy 
.
