34 Мера количества информации в дискретном сообщении

Система связи служит для передачи сообщений от отправителя к по­лучателю. Однако не всякое сообщение содержит информацию. Инфор­мация - это совокупность сведений об объекте или явлении, которые уве­личивают знания потребителя об этом объекте или явлении.

В математической теории связи (теории информации) исходят из того, что в некотором сообщении x_i количество информации (x_i) зависит не от её кон­кретного содержания, степени важности и т.д., а от того, каким образом выбирается данное сообщение из общей совокупности возможных сооб­щений.

В реальных условиях выбор конкретного сообщения производится с некоторой априорной вероятностью p(x_i). Чем меньше эта вероятность, тем больше информации содержится в данном сообщении.

При определении количества информации исходят из следующих тре­бований:

1. Количественная мера информации должна обладать свойством ад­дитивности: количество информации в нескольких независимых сообщениях должно равняться сумме количества информации в каждом сообщении.

2. Количество информации о достоверном событии (p(x_i)=1) должно равняться нулю, так как такое сообщение не увеличивает наших знаний о данном объекте или явлении.

Указанным требованиям удовлетворяет логарифмическая мера, определяемая формулой

. (1)

Чаще всего логарифм берется с основанием 2, реже  с основанием e:

двоичных единиц информации (бит),

натуральных единиц информации (нит).

Одну двоичную единицу информации содержит сообщение, вероят­ность выбора которого равняется 1/2. В этом случае

дв. ед. инф. (бит).

При применении натуральных логарифмов одну натуральную единицу информации содержит сообщение, вероятность выбора которого равняется 1/e:

нат. ед. инф. (нит).

Учитывая, что в практике передачи и преобразования информации широко применяются двоичные символы, двоичная логика, двоичные источники сообщений и двоичные каналы передачи, наиболее часто используется двоичная единица информации(бит).

Хотя при определении количества информации под со­общениями можно понимать любые фразы или телеграфные сообщения, мы здесь элементарными сообщениями будем называть отдельные буквы или слова. При использовании двухуровневых дискретных сигналов, например, мы будем пользоваться элементарными двоичными сигналами “1” и “0”, называя их буквами. Таким образом, ал­фавит двоичного источника состоит всего из двух букв, из которых можно строить более длинные комбинации, называемые кодовыми словами.

Энтропия дискретного источника с независимым

выбором сообщений

В теории информации чаще всего необходимо знать не количество информации I(x_i), содержащееся в отдельном сообщении, а среднее количе­ство информации в одном сообщении, создаваемом источником со­обще­ний.

Если имеется ансамбль (полная группа) из k сообщений x₁, x₂ ... x_i, x_k с вероятностями p(x_i) ... p(x_k), то среднее количество информации, приходя­щееся на одно сообщение и называемое энтропией источника сообщений H(x), определяется формулой (2) или

(3)

Размерность энтропии  количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопре­делённости выбора того или другого сообщения.

Рассмотрим свойства энтропии.

1. Чем больше неопределённость выбора сообщений, тем больше энтропия. Неопре­делённость максимальна при равенстве вероятностей выбора каждого сообщения: p(x₁)=p(x₂)= . . .=p(x_i)=1/k.

В этом случае (4)

(т.е. максимальная энтропия равна логарифму от объёма алфавита).

Например, при k=2 (двоичный источник) бит.

2. Неопределённость минимальна, если одна из вероятностей равна единице, а остальные  нулю (выбирается всегда только одно заранее из­вестное сообщение, например,  одна буква): p(x₁)=1; p(x₂)= p(x₃)= ... = p(x_k)= 0. В этом случае H(x)=H_min(x)=0.

Эти свойства энтропии иллюстрируются следующим образом.

Пусть имеется двоичный источник сообщений, т.е. осуществляется выбор всего двух букв (k=2): x₁ и x₂ , p(x₁)+ p(x₂)= 1.

Тогда

(5)

Зависимость H(x) от вероятностей выбора для двоичного источника приведена на рис. 1.

Рис. 1

3. Укрупним алфавит. Пусть на выходе двоичного источника имеется устройство, которое группирует буквы в слова из n букв. Тогда k = 2ⁿ слов (объём алфавита). В этом случае

бит. (6)

Таким образом, укрупнение алфавита привело к увеличению энтропии в n раз, так как теперь уже слово включает в себя информацию n букв дво­ичного источника. Тем самым доказывается свойство аддитивности энтро­пии.

4. Энтропия дискретного источника не может быть отрицательной.

Термин “энтропия” заимствован из термодинамики и применительно к технике связи предложен американским учёным К.Шенноном, в трудах которого были заложены основы теории информации (математической теории связи).