13 Измерение количества информации

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом. Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:

1 байт = 8 битов = 2³ битов.

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение: N = 2ⁱ

14 Измерение количества энтропии

Из определений I и H следует их безразмерность, а из линейности их связи —одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

H(X) = -∑p_i⋅log(p_i) = 1

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. m=2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства

-p₁⋅log₂(p₂)-p₂⋅log₂(p₂) = 1

вытекает, что p₁=p₂=1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название «бит». Бросание монеты дает количество информации в один бит. Другая единица «нит» получается, если использовать натуральные логарифмы. Обычно она употребляется для непрерывных величин.

15 Радиотехническая модель системы передачи информации. В самом общем виде модель РТС ПИ можно представить следующим образом:

Источник информации или сообщения - это физический объект, система или явление, формирующие передаваемое сообщение. Само сообщение - это значение или изменение некоторой физической величины, отражающие состояние объекта (системы или явления). Кодер источника. Подавляющая часть исходных сообщений - речь, музыка, изображения и т.д. - предназначена для непосредственного восприятия органами чувств человека и в общем случае плохо приспособлена для их эффективной передачи по каналам связи. Поэтому сообщения (л(t) или Л), как правило, подвергаются кодированию. В процедуру кодирования обычно включают и дискретизацию непрерывного сообщения л(t), то есть его преобразование в последовательность элементарных дискретных сообщений { лi }. Кодер канала. При передаче информации по каналу связи с помехами в принятых данных могут возникать ошибки. Если такие ошибки имеют небольшую величину или возникают достаточно редко, информация может быть использована потребителем. При большом числе ошибок полученной информацией пользоваться нельзя. Модулятор. Функции модулятора в РТС ПИ - согласование сообщения источника или кодовых последовательностей, вырабатываемых кодером, со свойствами канала связи и обеспечение возможности одновременной передачи большого числа сообщений по общему каналу связи (каковым является радиоканал). Канал связи. Согласно определению, РТС ПИ - это система передачи информации, использующая в качестве ее переносчика от источника к потребителю электромагнитные волны или радиоволны, а в качестве среды распространения - окружающее пространство или радиоканал. В этом, собственно, и состоит главное отличие РТС ПИ от других систем передачи информации, использующих проводные, волоконно-оптические, акустические и т.п. каналы. В остальном, за исключением несущественных деталей, структура таких систем и функции основных элементов идентичны. Демодулятор. Для воспроизведения оценки сообщения *(t) или * приемник системы в первую очередь должен по принятому колебанию U(t) и с учетом сведений об использованных при передаче виде сигнала и способе модуляции получить оценку кодовой последовательности Y*((t)), называемую принятой последовательностью r. Эта процедура называется демодуляцией, детектированием или приемом сигнала. При этом демодуляция должна выполняться таким образом, чтобы принятая последовательность r в минимальной степени отличалась от переданной кодовой последовательности Y. Декодер канала. Принятые последовательности r в общем случае могут отличаться от переданных кодовых слов Y, то есть содержать ошибки. Количество таких ошибок зависит от уровня помех в канале связи, скорости передачи, выбранного для передачи сигнала и способа модуляции, а также от способа приема (демодуляции) колебания U(t). Задача декодера канала - обнаружить и, по возможности, исправить эти ошибки. Декодер источника. Поскольку информация источника (л(t), Л) в процессе передачи подвергалась кодированию с целью ее более компактного (или более удобного) представления (сжатие данных, экономное кодирование, кодирование источника), необходимо восстановить ее к исходному (или почти исходному виду) по принятой последовательности X*.