Теорія інформації

Матеріал з Вікіпедії — вільної енциклопедії.

Дана серія є чаcтиною серії з кібернетики

Теорія систем Теорія інформації Основи програмування Методи програмування Алгоритмічні мови Теорія автоматів
Кібернетичний портал · ред.

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації. Теорія інформації тісно пов’язана з такими розділами математики як теорія ймовірностей і математична статистика. Вона пов’язана з інформаційною ентропією, комунікаційними системами, криптографією, корекцією помилок і іншими важливими областями.

[ред.] Історія

Виникнення теорії інформації зазвичай пов’язують із появою у 1948 р. фундаментальної праці американського вченого Клода Шеннона „Математична теорія зв’язку”.

Теорія Шеннона (якого вважають „батьком” теорії інформації), з самого початку розглядалась як точно сформульована математична задача і дала можливість інженерам визначати ємність комунікаційного каналу.

[ред.] Основа

В основі теорії інформації лежить запропонований Шенноном обчислення кількості інформації у випадковій величині відносно іншої випадкової величини. Для дискретних випадкових величин X і Y, заданих законами розподілу $P (X = X i) = p i, P (Y = Y j) = q j$ и спільним законом розподілу $P (X = X i, Y = Y j) = p i, j$ , кількість інформації в X відносно Y, дорівнює

$I(X, Y) = \sum_{i,j} p_{i,j}*log_2 \frac{p_{i,j}}{p_i*q_j}$

[ред.] Бібліографія

Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0252725484
Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0471062596
R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 069108727X
Колмогоров А.Н. Три подхода к определению понятия "Количество информации"