Введение

Теория информации представляет собой математическую дисциплину, в которой методы различных разделов математики: теории вероятностей, теории алгоритмов, комбинаторики применяются для исследования возможностей поиска, предсказания, сжатия, передачи и защиты информации. Теория информации исследует феномен ин- формации с количественной стороны. Отвечая на вопросы о том сколько информации имеется или лучше сказать может содержаться в данном сообщении, как сообщение лучше передать или насколько его можно сжать, теория информации не выдвигает суждений о важности заключённой в сообщении информации. В настоящее время теория информации является динамично развивающейся областью математики, что обусловлено как математической красотой результатов, так и множеством приложений в информатике, физике и генетике. Понятие информации, в частности квантовой и генетической, стало в последние десятилетия одним из важнейших при изучении как неживой так и живой природы.

Работой, заложившей основу математической теории информации, является статья К.Шеннона Математическая теория связи , опубликованная в 1948 году. В этой статье впервые было введено понятие энтропии (количества информации) и были указаны основные задачи и направления развития теории. В настоящее время теория информации (в широком смысле) включает теорию распознавания статистических свойств источников сообщений, теорию кодирования источников сообщений (сжатия данных), теорию передачи сообщений по каналам связи, теорию помехоустойчивого кодирования, теорию поиска информации и криптографию. Теория информации рассматривает два типа сообщений дискретные (тексты) и непрерывные (сигналы). Методы обработки дискретной и непрерывной информации весьма существенно отличаются, точнее непрерывная информация как правило сначала специальными методами преобразуется в дискретную.

1. Теория информации

1. Структура дискретного канала

Рис. 1. 1. Схема системы передачи дискретных сообщений (СПДС)

Функции блоков источника и приемника

Блоки источника сообщений:

• АЦП - аналогово-цифровой преобразователь, непрерывные данные преобразуются в цифровые.

• Шифратор- защита данных от несанкционированного доступа.

• Кодер ОНК - (оптимальный-неравномерный код) сжатие данных, без потерь содержания информации.

• Кодер ПЗК - ( помехо – защищенный кодер), защита данных от помех.

• Модулятор – преобразует цифровые данные в электрические сигналы.

Линии связи: телефонные, кабельные, мобильные, спутниковые; на которые действуют шумы.

Блоки приемника сообщений:

• Демодулятор – электрические сигналы преобразуются в цифровые (двоичные).

• Декодер ПЗК: обнаруживает ошибку, вычисляет ее адрес, корректирует ошибку.

• Декодер ОНК – сжатые данные преобразуются к равномерному входу.

• Дешифратор – снимает криптозащиту.

• ЦАП – (цифро-аналоговый преобразователь): цифровые данные преобразуются в аналоговые.