18. Представление сообщений. Структура сообщений

Сообщение это – актуальная форма существования информации, форма в которой информация обращается в обществе, в измерительной технике сообщение описывается математическими моделями.

Внутренняя сущность и свойства сообщения.

1. Сообщение – это не материальная система, а вторичный, идеальный продукт актуализации объективно существующей информации. Основная «техническая» процедура актуализации – кодирование состояний источника информации, которая заключается в обозначении состояний (событий, параметров), реальной материальной системы условными символами вторичного алфавита. В результате, кодирования функционирующего источника информации формируется дискретная последовательность, знаковая система, которая выглядит кодовым словом (фразой).

2. Структура сообщения (последовательности) определяется (диктуется) ограничениями, свойственными естественному коду и коду, который применён при кодировании источника. В связи с этим, сообщение (последовательность кодовых символов, кодовое слово) несёт в своей структуре не только информацию об источнике, но и не имеющие отношения к семантике последствия этих ограничений (например, вероятность появления очередного символа в составе последовательности будет определяться ещё и особенностями используемого кода).

3. Каждый очередной символ, который появляется в составе формирующегося сообщения, добавляет в него «порцию» информации, количественно равную вероятности состояния источника информации, обозначенного этим символом. Общее количество информации в сообщении оказывается пропорциональным его длине (общему количеству образовавших его кодовых символов).

4. Максимальное количество информации привносят в сообщение символы, обозначающие наиболее редкие состояния источника информации.

5. Сообщения определённой длинны, состоящие из равновероятных символов, несут в себе наибольшее количество информации.

19. Количественная мера информации.

20. Энтропия как мера неопределенности сообщений.

Энтропию (обозначение Нр), как меру неопределенности источника сообщений, осуществляющего выбор из m состояний , каждое из которых реализуется с вероятностью рi , предложил Клод Шеннон.

Энтропия вычисляется по формуле:

 

-logpi – количество информации, которое несет i- тое состояние сигнала есть величина случайная. Тогда , энтропия – это математическое ожидание информации, которое несет сигнал с m состояниями, каждое из которых имеет вероятность появления рi .

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Энтропия — это количество информации приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние.

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.