Теория информации
Материал из Википедии — свободной энциклопедии
Теория информации - это ветвь математической теории вероятности и математической статистики, в которой определяется концепция информации.
Теория информации тесно связана с информационной энтропией, коммуникационными системами , передачей данных и теорией скорости искажения, криптографией, сжатием данных, коррекцией ошибок, и другими смежными областями.
Содержание |
[править] История
Клод Шэннон (1916—2001) называется «отцом теории информации». Его теория с самого начала рассматривалась как строго сформулированная математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.
[править] Отношение к термодинамической энтропии
Информационная энтропия как определено Шенноном и добавлено другими физиками близко соотносится с понятием термодинамической энтропии.
[править] Прогресс в изучении
В 1995, Тим Палмер сообщил, что два неописанных ранее предположения о Шенноновском определении информации делают их неприменимыми таким же образом к квантовой механике:
- Предположение что предмет существует в наблюдаемом состоянии (например верхняя грань игральной кости или монеты) перед тем, как наблюдение началось
- Факт, что знание этого состояния не зависит от порядка, в котором было совершено наблюдение (коммутативность)
Для учебного пособия по квантовой информации смотрите [1].
[править] Приложения
- Теория информации широко используется в
- Теории кодирования
- Криптографии и Криптоанализе
- Передаче данных
- Сжатии данных
- Теории обнаружения
- Теории оценки
[править] См. также
- Алгоритмическая теория информации
- Теория обнаружения
- Теория оценки
- Информация Фишера
- Информационная геометрия
- Синергетика
- Важные публикации в теории информации(англ.)
[править] Библиография
- Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0252725484
- Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0471062596
- R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
- Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 069108727X
- Колмогоров А.Н. Три подхода к определению понятия "Количество информации"
Четко сформулированы три способа определения количества информации: комбинаторный, вероятностный и алгоритмический. Новое в жизни, науке, технике. Сер. "Математика, кибернетика", N1, 1991, С.24-29. Перепечатка из "Проблемы передачи информации", N1, 1965, С.1-7.
- Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников
Хорошая методичка по кодированию источников. Уч. пособие / Новосибирский государственный университет. -- Новосибирск, 1999.
- Шульгин В.И. Основы теории передачи информации
Учебное пособие к курсу, читаемому в харьковском Национальном аэрокосмическом университете.. В первой части даются основные положения теории кодирования источников (с акцентом на обработку непрерывных сигналов). Кратко описаны методы сжатия произвольных данных, изображений, аудио и видео, в том числе: методы Хаффмана, Шеннона-Фано, Зива-Лемпела, арифметическое сжатие, DCT в JPEG, фрактальное сжатие, АДИКМ (ADPCM), некоторые вокодеры. Во второй части описаны некоторые схемы помехоустойчивого кодирования: линейные, циклические, сверточные, каскадные коды. Основы теории передачи информации. Ч. I. Экономное кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 102 с. Основы теории передачи информации. Ч. 2. Помехоустойчивое кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 87 с.
[править] Ссылки
- Лидовский В.В. Учебное пособие по курсу "Теория информации" Учебное пособие по теории информации. Даются базовые понятия теории информации, рассматриваются ряд схем экономного и помехоустойчивого кодирований, излагаются основы криптографии. Описываются форматы текстовой информации, широко используемые в Интернет. Имеется большое количество упражнений с ответами на них. Уч. пособие / Российский государственный технологический университет им. К.Э. Циолковского. 2002.
