Неопределенность I-го исхода

(49.7)

Среднее значение неопределенности всех m исходов, т.е. энтропия

(49.8)

Количество информации, содержащейся в сообщении согласно Шеннону есть разность энтропии до и после получения сообщения, т.е.

I = H_нач - H_кон

(49.9)

Если сообщение полностью раскрывает неопределенность, то

I = Н_нач

(49.10)

Если это сообщение состоит из n элементов, каждый из которых может иметь m_j качеств с вероятностями Р_1j,..., P_ij,..., P_nj, то количество информации будет

(49.11)

Статистическая мера информации даст представление лишь о среднестатистическом количестве информации, которая может быть получена от контролируемого объекта.

Кибернетическая мера информации. Для оценки количества информации, содержащейся в конкретном сообщении, существует так называемая кибернетическая мера, характеризующая увеличение уверенности в принятии диспетчером правильного решения при наличии поступившей информации.

Под степенью уверенности принятия решения - g понимается отношение вероятности принятия правильного решения при наличии поступившей информации Р_и к вероятности принятия правильного решения при наличии априорной (среднестатистической) информации Р_а о состоянии контролируемого объекта

Р_и/ Р_а (49.12)

За единицу кибернетической меры информации принимается такое количество информации, которое позволяет повысить степень уверенности в принятии правильного решения в 2 раза.

Количество информации определяется при этом как

(49.13)

Повышение достоверности передаваемой информации достигается путем использования помехозащищаемых кодов.

КОДЫ И КОДИРОВАНИЕ

Основные характеристики кодов:

Основание кода. Коды характеризуются числом m, используемых различных качеств элементов кода, т.е. числом символов, или букв, кодового языка.

При m = 2 имеет место двузначный бинарный код, при m = 3 — трехзначный код и т.д.

Разрядность кода – п - есть число символов в кодовой комбинации, длина кодового слова.

Если длина всех кодовых слов одинакова (n = const), код называется равномерным.

Мощность кода - есть число рабочих кодовых комбинаций N_p, используемых для передачи сообщений, из общего числа всех возможных кодовых комбинаций N = т^п.

Избыточность кода, коэффициент избыточности. Если N_p < N, то код обладает избыточностью, так как не все кодовые комбинации используются для передачи сообщений.

С избыточностью связана способность кода к обнаружению ошибок, так как для этой цели используются Ч = N - N_p неразрешенных кодовых комбинаций.

Избыточность кода характеризуется коэффициентом избыточности.

(49.14)

Диапазон возможных значений коэффициента избыточности для разных кодов 0 ≤ К_изб < 1.

При К_изб = 0 имеет место безызбыточный помехонезащищенный код.

Кодовое расстояние d между двумя кодовыми комбинациями есть число одноименных разрядов в этих кодовых комбинациях с различными символами.

Кодовое расстояние между различными кодовыми комбинациями (кодовыми векторами), различно.

Минимальное кодовое расстояние - d_min характеризует помехозащищенность кода.

Распределение рабочих кодовых комбинации по кодовым расстояниям характеризует потенциальную помехозащищенность кода, так как показывает, сколько рабочих кодовых векторов отстоит от данного рабочего кодового вектора на расстояние d.

Коды, для которых число рабочих кодовых комбинаций различно для разных кодовых векторов (d_min . d_i . d_max ), называются несимметричными.

Если для всех рабочих кодовых векторов одинаково, то код называется симметричным.

Коэффициент ложных переходов определяет вероятность ложного перехода одной рабочей кодовой комбинации в другую под влиянием помех кратности, равной d, и определяется выражением

(49.15)

где — общее число кодовых комбинаций (N), отстоящих от данного вектора на кодовое расстояние - d;

— число рабочих кодовых комбинаций (N_p), отстоящих от данного вектора на кодовое расстояние - d.

Для симметричных кодов одинаково для всех рабочих кодовых векторов и определяется согласно (49.15).

Для несимметричных кодов коэффициент ложных переходов при d - кратной ошибке определяется как среднее значение этого коэф­фициента для всех N_p рабочих кодовых векторов, т.е.

(49.16)

Общее число кодовых векторов , отстоящих один от другого на кодовое расстояние d, для двузначных кодов может быть определено как число сочетаний по d из числа разрядов кода п, т.е.

(49.17)

Чем больше d_min, тем выше помехозащищенность кода, так как при кратности ошибки меньше d_min , переход одной рабочей кодовой комбинации в другую невозможен. Следовательно, не будет и ложного приема информации.

Искаженная помехами кодовая комбинация легко обнаруживается, так как она не принадлежит к числу рабочих комбинаций. Таким образом, при d_min = r + 1 обнаруживаются все ошибки кратности - r. При d_min = 2s + 1 могут быть исправлены все ошибки кратности s, а при d_min = r + s + 1 (при r ≥ s) обнаруживаются ошибки кратности r и исправляются ошибки кратности s.