2. Основы статистического подхода к определению количества информации

Интуитивно понятно, что количество информации, которое получает адресат, приняв сообщение, некоторым образом связано с априорной неопределенностью (доопытной, существовавшей до получения сообщения), которая, в свою очередь, зависит от числа возможных сообщений. Чем больше число возможных сообщений, тем больше априорная неопределенность получения одного из них и тем большее количество информации получает адресат, когда эта неопределенность снимается после получения сообщения.

Первая попытка ввести научно обоснованную меру количества информации была сделана в 1928 году Р. Хартли. Он предложил и обосновал количественную меру, позволяющую сравнивать способность различных систем передавать информацию. Эта мера подходит как для систем передачи, так и для систем хранения информации, поэтому она явилась отправной точкой для создания теории информации.

Естественным требованием, предъявляемым к информационной мере, является ее аддитивность: количество информации, которое можно сохранить в двух однотипных ячейках, должно быть в два раза больше, а в n одинаковых ячейках в n раз больше, чем в одной ячейке. Если ячейка для хранения информации имеет m возможных состояний, то две такие ячейки будут иметь m² возможных состояний, а n одинаковых ячеек – mⁿ возможных состояний. Следовательно, существует экспоненциальная зависимость между числом возможных состояний и числом ячеек. Учитывая эту зависимость, для количественной оценки способности системы хранить или передавать информацию Хартли ввел логарифмическую меру информационной емкости

I_h=log m, (2.1)

где m -число различных состояний системы. Такая мера удовлетворяет требованию аддитивности. Емкость устройства, состоящего из n ячеек и имеющего mⁿ состояний, равна емкости одной ячейки, умноженной на число ячеек

C= log mⁿ=n log m.

За единицу измерения информационной емкости принята двоичная единица – бит, равная емкости одной ячейки с двумя возможными состояниями.

Хартли ограничился рассмотрением информационной емкости как величины характеризующей физическую систему. Эта оценка дает представление о потенциальной максимально возможной информационной емкости информационной системы, в ней не учтены вероятности различных состояний. Таким образом, мера Хартли, строго говоря, является не статистической, а структурной мерой количества информации.

Дальнейшее развитие теория информации получила в трудах К.Шеннона, который ввел в нее понятия неопределенности и энтропии. Он ограничил применимость формулы Хартли (2.1) лишь тем случаем, когда все m исходов опыта X (т.е. состояний системы) равновероятны. В этом случае вероятность любого исхода и тогда формулу Хартли (2.1.) можно переписать в следующем виде

. (2.2.)

Принципиальное отличие этой формулы от (2.1.) состоит в том, что она показывает, что неопределенность исхода зависит от вероятности исхода.

Далее Шеннон применил эту формулу к разновероятным событиям, усреднив затем полученные неопределенности по всем исходам.

Для опыта X = {x₁,. . . x_m}, где x₁,. . . x_m - возможные исходы с вероятностями p₁,. . . p_m, неопределенность каждого исхода -logp₁,. . . -logp_m, а математическое ожидание по формуле

. (2.3.)

Получаемую по формуле (2.3) величину Шеннон назвал энтропией.

Таким образом, неопределенность каждой ситуации характеризуется величиной, называемой энтропией. Понятие энтропии существует в ряде областей знаний. Энтропия в термодинамике означает вероятность теплового состояния вещества, в математике – степень неопределенности ситуации или задачи, в теории информации – способность источника отдавать информацию. Все эти понятия родственны между собой. Так, например, согласно второму закону термодинамики энтропия замкнутого пространства выражается как , где N - общее количество молекул в данном пространстве, n_i - количество молекул, имеющих скорость v_i. Но есть частоты событий, следовательно, вероятности того, что молекулы имеют скорость v_i ,равна . Тогда , что аналогично (2.3). Выбор основания логарифма несуществен, поскольку определяет лишь единицы измерения энтропии.

Поясним далее соотношение понятий энтропии и количества информации.

В соответствии с определением понятия энтропия является мерой априорной неопределенности, существовавшей до получения сообщения. Под количеством информации, содержащимся в сообщении, понимается мера снятой неопределенности после получения сообщения.

Предположим, что до получения сообщения ситуация характеризовалась энтропией H₁, после получения сообщения энтропия уменьшилась и стала равной H₂. Тогда количество информации, содержащееся в этом сообщении, равно I = H₁ - H₂. Если неопределенность в результате получения сообщения снимается полностью, т.е. H₂ = 0, то I = H₁.

Энтропия обладает следующими свойствами:

1. Энтропия всегда неотрицательна, т.к. значения вероятностей выражаются числами, не превосходящими единицу, а их логарифмы, следовательно, отрицательными числами, так что члены суммы в формуле (2.3) всегда положительны.

2. Энтропия равна 0 в том и только в том случае, когда вероятность одного из исходов p_k = 1, следовательно, вероятность всех остальных исходов равна 0. Это соответствует тому случаю, когда исход опыта может быть предсказан с полной достоверностью и отсутствует всякая неопределенность, сообщение об исходе не несет никакой информации.

3. Энтропия имеет наибольшее значение, когда вероятности всех исходов равны между собой p₁ = p₂ . . . = p_m = 1/m, тогда

. (2.4.)

Если полученное выражение сравнить с (2.1), то это явится еще одним доказательством того, что мера Хартли дает представление о потенциальных возможностях информационной системы. В случае неравенства вероятностей количество информации по Шеннону меньше информационной емкости системы.

Рассмотрим простейший пример с элементарным двоичным событием:

1) пусть p₁ = p₂ = 0,5, тогда H = -(0,5log0,5 + 0,5log0,5) = 1 бит;

2) пусть p₁ = 0,9, p₂ = 0,1, тогда H = -(0,9log0,9 + 0,1log0,1) = 0,46 бит;

3) пусть p₁ = 1, p₂ = 0, тогда H = -(1log1 + 0log0) = 0 бит.

Если во всех полученных выражениях под опытом X понимать способность некоторого дискретного источника формировать то или иное сообщение из их совокупности X, то все сказанное о количестве информации и энтропии может быть отнесено к источнику информации.

Введение понятия энтропии источника позволяет дать точные определения упомянутых во введении характеристик, называемых избыточностью источника и производительностью источника.

Относительная избыточность источника определяется по формуле

, (2.5)

где m - объем алфавита источника, т.е. способность формировать m различных сообщений (символов). Относительная избыточность показывает, какая доля максимально возможной при данном объеме алфавита энтропии не используется источником.

Пусть, например, источник выдает символы x₁, x₂, x₃, x₄ с вероятностями p(x₁)=0,2, p(x₂)=0,3, p(x₃)=0,4, p(x₄)=0,1. Найти количество информации в каждом из символов источника при их независимом выборе (источник без памяти). Требуется найти энтропию и избыточность данного источника. Количество информации в каждом из символов x_i определяется по формуле (2.2)

Энтропия источника, выдающего эти символы, по формуле (2.3)

бит/символ.

Избыточность источника находится по формуле (2.5)

.

Избыточность источника зависит как от степени неравновероятности отдельных символов, так и от наличия и протяженности статистических связей между последовательно выбираемыми символами, т.е. от памяти источника.

Если источник без памяти, т.е. последовательно передаваемые символы независимы, и все символы равновероятны, то H(X) = H_max и _отн = 0.

Источник, как и случайный процесс, называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

Пусть, например, стационарный источник выдает за время Т=10⁶ секунд 10⁷ бит информации двоичными посылками длительностью =10 мс. За какое время и каким количеством двоичных посылок можно передать тот же объем информации, если соответствующей обработкой полностью устранить избыточность источника. Определить избыточность источника.

Заданное количество информации I = 10⁷ бит источник передает n посылками или символами, где n = Т/ = 10⁸. Тогда среднее количество информации, приходящееся на одну посылку или символ, H = I/n =0,1 бит/символ. Если в результате соответствующей обработки избыточность полностью устранена, то каждый символ двоичного источника несет в себе H_max = 1 бит информации. Тогда заданное количество информации может быть передано n₀= I/ H_max = 10⁷ посылками при той же их длительности =10 мс за время T₀ =  n₀ =10⁵ c.

Избыточность источника по формуле (2.5)

.

Если дискретный источник выдает сообщения, затрачивая в среднем время Т на каждое сообщение, то производительностью (в битах в секунду) такого источника называется суммарная энтропия сообщений, переданных в единицу времени

, (2.6)

где - скорость источника, под которой понимается количество сообщений (символов), выдаваемых источником в единицу времени.