条件熵
维基百科,自由的百科全书
条件熵'是信息论中信息熵的一种度量,它表示如果已经完全知道第二个随机变量 X 的前提下,随机变量 Y 的信息熵还有多少。也就是 基于 X 的 Y 的信息熵,用 H(Y | X) 表示。同其它的信息熵一样,条件熵也用数据位表示。
已知熵分别为 H(X) 与 H(Y) 的随机变量 X 与 Y,并且已知联合熵为 H(X,Y),那么基于 X 的 Y 的条件熵定义为:
-
- .
直观看来,联合系统包括 H(X,Y) 位信息,如果已知 X,那么就得到了 H(X) 位的信息,未知的信息为 H(Y | X) 位。当且仅当 X 完全确定 Y 的时候 H(Y | X) = 0。相反,当且仅当 X 与 Y 是独立的随机变量的时候 H(Y | X) = H(Y)。
在量子信息论中,条件熵都概括为量子条件熵。