- •1. Теория информации
- •1.1 Теорема Котельникова
- •1.2 Квантование сигнала по уровню
- •2. Мера информации
- •2.1 Мера информации по Шеннону
- •2.2 Энтропия дискретного ансамбля сообщений
- •2.3 Энтропия непрерывного ансамбля сообщений
- •2.4 Энтропия непрерывного ограниченного ансамбля
- •2.3 Количество взаимной информации
- •2.3.1 Дискретный канал передачи информации
- •2.3.2 Непрерывный канал передачи информации
- •2.3.3 Эпсилон-энтропия (ε-энтропия)
- •Кодирование источника информации
- •3.1 Метод кодирования равномерным кодом
- •3.2 Метод кодирования Шеннона-Фано
- •3.3 Метод кодирования Хафмана
- •3.4 Теорема оптимального кодирования источника независимых сообщений.
- •4 Канал связи
- •4.1 Скорость передачи информации и пропускная способность канала связи
- •4.2 Канал без шумов
- •4.3 Канал с шумами
- •4.4 Непрерывный канал связи
- •4.5 Теорема Шеннона о пропускной способности частотно ограниченного канала
- •5. Кодирование в канале
- •5.1 Систематические коды
- •5.1.1 Образование систематического кода
- •5.1.2 Систематический код Хемминга
- •5.2 Циклические коды
- •5.2.1 Обнаружение однократной ошибки
- •5.2.2 Исправление однократной ошибки
- •1. Теория информации 1
2. Мера информации
2.1 Мера информации по Шеннону
Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский алфавит имеет 33 символа, двоичный код – 2 символа, код Бодо – 5 символов и т.д.).
Совокупность различных символов, составляющих основание кода, назовем алфавитом.
Пусть - основание кода и передается последовательность, где- один из символов из алфавита. Число всевозможных сообщений, которые можно создать равно. Информация, содержащаяся в ансамбле изNсообщений, должна быть пропорциональна длине последовательности. Р. Хартли в 1928 г. предложил за меру количества информации в ансамбле изNсообщений принять величину
.
Но мера информации по Хартли не учитывает вероятностный характер появления элементов последовательности .
Мера – это одна из характеристик исследуемого объекта. Это может быть длина, ёмкость и т.д. В данном случае необходимо определить меру информации, содержащемся в каждом элементе ансамбля и среднюю меру информации в ансамбле в целом.
Мера должна обладать двумя свойствами:
мера исследуемого объекта не должна быть отрицательной,
2. если объект состоит из нескольких элементов, каждый обладающий определённой мерой, полная мера объекта равна суме мер отдельных составляющих, (условие аддитивности) .
Пусть ансамбль состоит из элементов. Выберем два элементаиз этого ансамбля, имеющих совместную вероятность реализации этих элементов
.
Обозначим через меру информации, содержащемся в элементе. Тогда, используя свойство аддитивности меры, запишем меру информации, содержащуюся в ансамбле из двух элементов,,
. (2.1)
Дифференцируя левую и правую части выражения (**.1) по , получим
.
.
В результате имеем
Умножив обе части полученного равенства на , получим уравнение
. (2.2)
Уравнение (***.2) имеет решение, если
, (2.3)
где С – постоянная величина.
Интегрируя уравнение (***.3), получим
,
(2.4)
Определим из условия: если событиепроисходит с вероятностью, то оно не несёт никакой информации для абонента. Поэтому функцияи.
Так как мера информации не должна быть отрицательной, а , то коэффициентдолжен быть отрицательным. Если, то мера информации имеет вид
и измеряется в неперах, [Неп]. Однако на практике, ввиду развития цифровой техники и использования двоичной системы счисления чаще применяется основание логарифма, равное 2. Тогда и мера информации, иликоличество информации,содержащаяся в элементе , будет равна
. (2.5)
В дальнейшем основание логарифма 2 будем опускать. Мера информацииизмеряется в битах, (Бит).
Каждый элемент ансамбля обладает своим количеством информации , реализующимся с вероятностью. Таким образом, мера информации – это характеристика элемента ансамбля, являющаяся случайной величиной с реализациями в виде количества информации, появляющихся с вероятностями, (Таблица 1).
Таблица 2.1 |
| |||
|
|
|
| |
P |
|
|
| |
|
|
|
|