5.8. Методы теории информации

Теорией информации, как уже отмечалось, называется наука, изучающая количественные закономерности, связанные с полу-чением, передачей, обработкой и хранением информации.

Информация, для того чтобы быть переданной, должна быть закодирована в виде сигналов, с помощью которых информация передается по различным каналам связи. Это привело к необхо-димости решения задачи повышения эффективности функциони-рования систем связи. Сложность при проектировании и эксплуа-тации средств, систем и каналов связи состоит в том, что недос-таточно решить задачу с физических и энергетических позиций. С этой точки зрения системы могут быть самыми совершенными и экономичными. Важно кроме этого оценить, какое количество информации может пройти через передающую систему. Резуль-татом явилась необходимость подсчитать, измерить информацию количественно.

В теории информации при вычислении количества инфор-мации абстрагируются от смысла информации. Такой подход в точности соответствует задаче канала связи, который должен передать информацию вне зависимости от ее ценности для ад-ресата.

Любое сообщение, с которым мы имеем дело в теории инфор-мации, представляет совокупность сведений о некоторой физиче-ской системе. Например, на вход системы правоохранительных органов поступает сообщение о количестве и видах совершенных преступлений.

Оценка количества информации основывается на законах тео-рии вероятностей и определяется через вероятность событий. Сообщение имеет ценность только тогда, когда мы узнаем из него об исходе события, имеющего случайный характер, т.е. ис-ход события заранее не известен. Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации содержит данное сообщение. Очевидно, если бы состояние системы было известно заранее, не было бы смысла передавать сообщение.

Поэтому в качестве объекта в теории информации рассматри-вается некоторая физическая система Х, которая случайным об-разом может оказаться в том или ином состоянии, т.е. система, которой заведомо присуща некоторая степень неопределенности. Очевидно, чем большая неопределенность присуща системе, тем ценнее полученные сведения.

Что значит «большая» или «меньшая» неопределенность?

Сравним две системы: игральную кость и монету. Неопреде-ленность первой системы больше, так как больше состояний, в которых она может оказаться.

Однако степень неопределенности определяется не только числом состояний системы.

Устройство работает в 99% случаев и не работает в 1%. Имеет два состояния, как и монета, но вероятность состояния предска-зать гораздо легче: с большой степенью уверенности мы можем сказать, что устройство работать будет.

Таким образом, степень неопределенности физической систе-мы определяется не только числом ее возможных состояний, но и вероятностями состояний.

В общем случае некоторая физическая система Х может при-нимать какое-то конечное число состояний:

х1, х2, х3, ... , хn

с вероятностями

p1, p2, p3, ... , pn

где

pi = P(Х ∼ хi),

вероятность того, что система Х примет состояние хi, т.е. Х ∼ хi.

Очевидно, что

Σ==n1ii1p.

В качестве меры априорной неопределенности системы в тео-рии информации применяется специальная характеристика, назы-ваемая энтропией.

Энтропией системы называется сумма произведений вероят-ностей различных состояний системы на логарифмы этих вероят-ностей, взятая с обратным знаком:

Σ=−=n1ii2iplogp)X(H.

Энтропия обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых, она превращается в ноль, когда одно из состояний достоверно, а другие — невозможны. Во-вторых, при заданном числе состоя-ний она превращается в максимум, когда данные состояния равновероятны, а при увеличении числа состояний — увеличива-ется. Наконец, и это самое главное, она обладает свойством адди-тивности, т.е. когда несколько независимых систем объединяются в одну, их энтропии складываются.

Таким образом, в правовой реальности энтропия рассматрива-ется в качестве меры неопределенности состояния всякой право-вой системы. Становится ясно, что в процессе получения сведе-ний неопределенность правовой системы может быть уменьшена; чем больше объем полученных сведений, чем они более содержа-тельны, тем больше будет информации о рассматриваемой систе-ме правового управления, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации изме-рять уменьшением энтропии той системы, для уточнения состоя-ний которой предназначены сведения.

Рассмотрим некоторую систему Х, над которой производятся наблюдения, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения сведений (априори) энтропия системы была Н(Х); после получения сведений состояние системы полностью опреде-лилось, т.е. энтропия стала равной нулю. Обозначим Iх информа-цию, полученную в результате выяснения состояний системы Х. Она равна уменьшению энтропии:

IX = Н(Х) – 0 или IX = Н(Х),

т.е. количество информации, приобретаемое при полном выясне-нии состояний некой физической системы, равно энтропии этой системы.

Используя формулу для энтропии, получим следующее пред-ставление для количества информации:

Σ=−=n1ii2iXplogpI.

Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» и «нет», с помощью которых можно приобрести ту же ин-формацию.

Использование современных информационных технологий и вычислительных средств позволяет рассчитать количество 5. Методы правовой информатики 127

информации в сложных сообщениях и тем самым оптимизиро-вать информационные процессы, протекающие в социально-пра-вовых системах.