1.2. Количество информации и неопределенность. Энтропия как мера неопределенности

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний.

Если опыт содержит один исход, то наблюдатель заранее будет знать результат этого исхода. В результате такого опыта наблюдатель не получит никакой информации.

Рассмотрим общий случай, когда есть n независимых сообщений x₁ ,x₂ ,…, x_n с вероятностями p(x₁ ), p(x₂ ),…, p(x_n ) соответственно. Естественно, что чем меньше априорная вероятность события, тем большее количество информации оно несет. Поэтому, естественно предположить, что количественной мерой неопределенности отдельного сообщения и передаваемой им информации, может быть величина, обратная его априорной вероятности^*)т.е. 1 / p(x_i). Однако, когда опыт будет иметь один исход, т.е. вероятность такого события будет равна единице, количество информации, согласно принятому выражению, будет равно единице. В действительности мы не получаем никакой информации т.е. информация равна нулю.

*) Вероятность – количественная характеристика возможности наступления события. Достоверное событие, т.е. событие, которое непременно должно произойти, имеет вероятность, равную единице. Вероятность неотрицательна и изменяется в пределах от нуля до единицы P(x)   0, 1  .

С этой точки зрения более удобной является логарифмическая мера количества информации

1

I(x_{i) =} log_a (1)

p(x_i)

где I(x_i) – количество информации в событии x_i,

Количество информации для всей совокупности случайных событий можно получить усреднением по всем событиям

n 1 n

I(x) =  p(x_i) log_a = -  p(x_i) log_a p(x_i) (2)

i=1 p(x_i) i=1

где I(x) – количество информации,

n – количество возможных событий,

p(x_i) - вероятность отдельных событий.

Получение информации - уменьшение неопределенности сведений о каком- либо событии. Поэтому, величину, характеризующую неопределенность, принято называть энтропией. В связи с этим, выражение (2) может быть использовано для количественной оценки неопределенности сообщения

n 1 n

H(x) =  p(x_i) log_a = -  p(x_i) log_a p(x_i) (3)

i=1 p(x_i) i=1

где H(x) -энтропия сообщения

Несмотря на совпадение выражений (2) и (3) энтропия и количество информации принципиально различны. Энтропия является объективной характеристикой источника сообщений. Она может быть вычислена априорно. Количество информации – апостериорная величина. С поступлением информации о состоянии объекта, энтропия последнего снижается.

Мера количества информации в виде (2) впервые была предложена К. Шенноном в 1948 году.

1

В случае равно вероятных событий ( n = - количество передаваемых

n p(x_i)

сообщений, а  p(x_i) ) информация определяется по формуле

i=1

I = log₂ n (4)

Такая мера количества информации была предложена в 1928 году Р. Хартли.

Показательное уравнение выражения (4) приводит к виду

n = 2^I (5)