Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

текст лекций / 9. Элементы теории связи, энтропия

.docx
Скачиваний:
143
Добавлен:
14.12.2015
Размер:
18.92 Кб
Скачать

Элементы теории связи.

Информацией принято называть сведения о материальных объектах, явлениях, процессах или абстрактных категориях, которые известны одному субъекту и неизвестны другому. Из понятия информации вытекает понятие связи, под которым понимают процесс взаимодействия субъектов, в ходе которого происходит обмен информацией. Используемая информация должна быть представлена в виде некоторого упорядоченного множества математических объектов, пригодных для запоминания, хранения, транспортировки и обработки.

Процесс представления информации отображающими ее объектами получил название кодирование.

Кодирование-это процесс тождественного отображения одних объектов другими. Для кодирования используются знаки и символы. Наиболее широкое распространение получили речевое, цифровое, и буквенное кодирование.

Ограниченный набор символов называется алфавитом.

Ограниченное множество кодов (чисел, слов), отображающих информацию требуемого объема, подлежащую передачи от одного корреспондента другому, называется сообщением.

Информация имеет количественную оценку. Она является мерой устранения неизвестности о состоянии объекта. Для двоичного кодирования (1,0) число возможных состояний объекта N есть комбинация m символов по n элементов в сообщении.

N=

При m=2 (символы «1» и «2») и m=3 можно передать 8 состояний и т.д.

В качестве меры количества информации принята логарифмическая величина

I=logN=n logm

В качестве единицы количества информации принят Бит, т.е. двоичная система то:

I=N=nm , р= вероятность

I=-n logm=-n logp

-это случай для равновероятных событий (1 или 0)

Для случая неравновероятных событий

I=-logi , где pi – вероятность получения i-го символа.

Мерой неопределенностей называют энтропией.

H= = -logpi

Если известно, что событие обязательно произойдет, то энтропия = 0. Однако энтропия = max.если событие может с равной вероятностью как произойдет, так и нет.

Для английского языка состоящего из 26 букв

=26=4.7 бит

Но т.к. использование в словах различных букв неодинакова, энтропия английского языка уменьшилась до H=2.35 бит

Д=1-=1-=0.5

Д- избыточность.

Содержание английских текстов восстанавливается при отсутствии 50% букв.

V= ,бит /с

V- скорость передачи информации

τ – длительность посылки.

Соседние файлы в папке текст лекций