1.2.2. Статистическая мера информации.

Статистическая теория, в отличие от структурной, позволяет оценивать информационные системы в конкретных условиях их применения, например, при передаче сообщений по каналам связи с шумами.

Статистическая теория оперирует понятием энтропии, введенной американским ученым Шенноном и определяемой выражением:

(1.5)

где m– число возможных состояний объекта А; – вероятностьнахождения объекта А вi-ом состоянии,;– энтропия объектаА.

В (1.5) предполагается, что имеет место ансамбль событий, т.е. полная группа событий с известным распределением вероятностей.

Если в (1.5) основание логарифма , то единицей измерения энтропии является бит.

Энтропия характеризует неопределенность состояния объектаАи использована Шенноном в статистической теории для определения количества информации, получаемое об объектеАв результате информационного обмена:

(1.6)

где – априорная энтропия объектаА, т.е. неопределенность состояния объекта А, имеющаяся у получателя информации до информационного обмена;– апостериорная неопределенность объекта А, т.е. остающаяся у получателя после информационного обмена.

Единицы измерения те же, что и для энтропии. Энтропияопределяет среднее количество информации, приходящееся на 1 знак сообщения.

2. Кодирование информации

Кодирование – процесс описания смыслового содержания информации с помощью символов. Осуществляется кодирование с целью представления сообщений в форме, удобной для передачи по данному каналу связи. Рассматриваемые ниже принципы кодирования справедливы как для систем, основная функция которых – передача информации в пространстве (системы связи), так и для систем, основная функция которых – передача информации во времени (системы хранения информации). В последних линией связи считается среда, в которой хранится информация.

В настоящее время существует большое число методов кодирования сообщений. Выбор конкретного метода определяется целью, достижение которой планируется. Например, кодирование информации может осуществляться так, чтобы обеспечить наибольшую простоту и надежность аппаратной реализации информационных устройств. В других случаях стремятся обеспечить минимальное время при передаче или минимальный объем запоминающих устройств. Может быть поставлена цель достижения заданной достоверности при передаче и хранении информации в условиях сильных помех и т.д. В дальнейшем будет отмечаться назначение конкретных методов кодирования.

2.1. Контрольная работа – часть 1

В данную контрольную работу включены задачи по цифровому кодированию и преобразованию цифровых кодов. Краткие теоретические сведения приведены ниже.

Цифровое кодирование информации.

Цифровое кодирование обеспечивает наибольшую простоту информационных устройств и используется при кодировании информации без учета статистических свойств источника и помех в канале связи.

При таком кодировании любому дискретному сообщению ставится в соответствие определенное число, выраженное в какой-либо системе счисления.

Системой счисления называется способ наименования и записи чисел. В любой системе счисления для представления чисел выбираются некоторые символы, называемые базисными числами, а все остальные числа получаются в результате выполнения каких-либо операций с базисными. Символы, используемые для записи чисел, могут быть любыми, важно лишь, чтобы они были разными и значение каждого из них было известно.