情報源
出典: フリー百科事典『ウィキペディア（Wikipedia）』
情報源（じょうほうげん）には主に次の2つの意味がある。
- 情報の提供者、入手元、入手経路、発信源（ソース、英：information source）。参照：史料（英：historical source）、資料（英：source text）。
- 情報理論の概念。
ここでは後者の意味について解説する。
情報源（じょうほうげん）とはビット列(もしくはより一般になんらかのシンボル（アルファベット)の有限列)が、選ばれるもととなる空間の事。より厳密に言えば、シンボルの有限列全体の空間とその上の確率分布の組のこと。シンボルの有限列はその確率分布に従って選ばれる。
代表的な情報源として次のものがある：
無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率 P(s1),...,P(sn) が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、log2n シャノンであり、それは各シンボルの生起確率が等しいとき（ 
ずつのとき）である。
m 重マルコフ情報源とは、各シンボルの生起確率がその直前に生じた m 個のシンボルに依存する、m 重マルコフ過程とみなせる情報源のことである。特に、m = 1 のとき、単純マルコフ情報源という。
エルゴード情報源とは、エルゴード性を満たす情報源のことである。
