![](/user_photo/2706_HbeT2.jpg)
- •Часть 1
- •Раздел 1. Элементы общей теории сигналов
- •1.1 Классификация сигналов
- •1.2. Некоторые элементы функционального анализа сигналов
- •1.3 Основы теории ортогональных сигналов
- •Раздел 2. Спектральные представления сигналов
- •2.1. Понятие о спектре периодических и непериодических сигналов
- •2.2 Спектральное представление периодических сигналов
- •2.3 Спектральное представление непериодических сигналов
- •2.4 Теоремы о спектрах
- •2.5 Спектральные представления сигналов с использованием негармонических функций
- •Раздел 3. Сигналы с ограниченным спектром
- •3.1. Некоторые математические модели сигналов с ограниченным спектром
- •3.2 Теорема Котельникова
- •3.3. Узкополосные сигналы
- •3.4. Аналитический сигнал и преобразования Гильберта
- •Раздел 4. Основы корреляционного анализа сигналов
- •4.1. Взаимная спектральная плотность сигналов. Энергетический спектр
- •4.2. Автокорреляционная функция сигналов
- •4.3. Акф дискретного сигнала
- •4.4. Взаимокорреляционная функция двух сигналов
- •Раздел 5. Модулированные сигналы
- •5.1. Сигналы с амплитудной модуляцией
- •5.2 Сигналы с угловой модуляцией
- •5.3. Дискретные формы угловой модуляции
- •5.4 Сигналы с импульсной модуляцией
- •Раздел 6. Основы теории случайных процессов
- •6.1. Случайные процессы. Основные понятия и определения
- •6.2. Характеристики случайных процессов
- •6.3. Моментные функции случайных процессов
- •6.4. Свойства случайных процессов
- •6.5. Функция корреляции двух случайных процессов
- •6.6. Измерение характеристик случайных процессов
- •6.7. Спектральное представление стационарных случайных процессов. Теорема Винера-Хинчина
- •6.8 Типовые модели случайных сигналов
- •6.9 Узкополосные случайные сигналы
- •Раздел 7. Основные элементы цифровой обработки сигналов
- •7.1. Дискретное преобразование Фурье
- •7.2. Быстрое преобразование Фурье
- •Раздел 1.Каналы электросвязи
- •Тема1.1 Общие сведения о каналах электросвязи и их классификация
- •1.2 Математические модели каналов электросвязи
- •1.2.1 Математические модели непрерывных каналов связи
- •1.2.2 Математические модели дискретных каналов связи
- •Раздел 2 Основные положения теории передачи информации
- •2.1 Информационные параметры сообщений и сигналов
- •2.2 Взаимная информация
- •Эффективное кодирование дискретных сообщений
- •Тема 2.4. Информация в непрерывных сигналах
- •Тема 2.5. Пропускная способность канала связи
- •Тема 2.6. Теорема к. Шеннона
- •Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
- •Раздел 3. Оптимальный приём дискретных сообщений
- •Тема 3.1. Постановка задачи оптимального приёма дискретных сообщений как статистической задачи. Понятие помехоустойчивости
- •3.2. Элементы теории решений
- •3.3. Критерии качества оптимального приёмника
- •3.4 Алгоритм оптимального приёма при полностью известных сигналах. Когерентный приём
- •3.5 Структурное построение оптимального приёмника
- •3.6 Реализация алгоритма оптимального приёма на основе согласованных фильтров. Свойства согласованного фильтра
- •3.8 Потенциальная помехоустойчивость систем с различными видами манипуляции
- •3.9 Приём сигналов с неопределённой фазой (некогерентный приём)
2.2 Взаимная информация
Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например, в принятом сигнале относительно переданного сообщения. Для этого рассмотрим сообщение двух дискретных ансамблей A и B, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передаётся, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть P(ak ,bl)совместная вероятность реализаций ak и bl . Cовместной энтропией ансамблей A и B будем называть:
(2.6)
Введём также понятие условной энтропии:
(2.7)
где P(ak / bl)- условная вероятность ak , если имеет место bl , здесь математические..
Из теоремы умножения вероятностей
следует,
что
.
(2.8)
Для условной энтропии справедливо двойное неравенство:
(2.9)
Рассмотрим два крайних случая:
Равенство
имеет место в том случае, когда, зная реализацию
, можно точно установить реализацию
. Другими словами, содержит полную информацию об .
Другой крайний случай , когда
имеет место, если события и независимые. В этом случае знание реализации не уменьшает неопределённости , т.е. не содержит ни какой информации об А.
В общем случае, что имеет место на
практике, условная энтропия
меньше безусловной
и
знание реализации
снимает в среднем первоначальную
неопределённость
.
Естественно, назвать разность
количеством информации, содержащейся
в
относительно
.
Её называют также взаимной информацией
между
и
и обозначают
:
(2.10)
Подставляя в эту формулу значения H(A) и H(A/B) выразим взаимную информацию через распределение вероятностей:
(2.11)
Если воспользоваться теоремой
умножения
,
то можно записать
в симметричной форме т.к.
:
(2.12)
Взаимная информация измеряется в тех же единицах, что и энтропия. Величина показывает, сколько мы в среднем получаем бит информации о реализации ансамбля , наблюдая реализацию ансамбля .
Сформулируем основные свойства взаимной информации:
, причём равенство имеет место тогда и только тогда, когда и независимы между собой
, то есть содержит столько же информации относительно , сколько содержит относительно . Это свойство вытекает из симметрии выражения. Поэтому можно также записать:
(2.13)
3.
,
причём равенство имеет место, когда по
реализации
можно точно установить реализацию
.
4.
,
причём равенство имеет место, когда по
реализации
можно точно установить реализацию
.
5. Полагая
и учитывая, что
получим:
(2.14)
Это позволяет интерпретировать энтропию источника как его собственную информацию, то есть информацию, содержащуюся в ансамбле о самом себе.
Пусть
- ансамбль дискретных сообщений, а
-
ансамбль дискретных сигналов, в которые
преобразуются сообщения
.
Тогда
в том и только в том случае, когда
преобразование
обратимо. При необратимом преобразовании
и разность
можно назвать потерей информации при
преобразовании
.
Её называют ненадёжностью. Таким образом,
информация не теряется только при
обратимых преобразованиях.
Если - среднее время передачи одного сообщения, то разделив на формулы H(A/B) и I(A,B) и обозначая:
,
, (2.15)
получим соответствующие равенства для
энтропии и количества информации,
рассчитанных не на одно сообщение, а на
единицу времени. Величина
называется скоростью передачи информации
от
к
(или
наоборот).
Рассмотрим пример: если
-
ансамбль сигналов на входе дискретного
канала, а
-
ансамбль сигналов на его выходе, то
скорость передачи информации по каналу.
(2.16)
-
производительность источника
передаваемого сигнала
.
“производительность канала”, то есть
полная собственная информация о принятом
сигнале за единицу времени.
Величина
представляет собой скорость “утечки”
информации при прохождении через канал,
а
-
скорость передачи посторонней информации,
не имеющий отношения к
и создаваемой присутствующими в канале
помехами. Соотношение между
и
зависит от свойств канала. Так, например,
при передаче телефонного сигнала по
каналу с узкой полосой пропускания,
недостаточной для удовлетворительного
воспроизведения сигнала, и с низким
уровнем помех теряется часть полезной
информации, но почти не получается
бесполезной. В этом случае
.
Если же расширяется полоса, сигнал
воспроизводится точно, но в паузах ясно
прослушиваются “наводки” от соседнего
телефонного канала, то, почти не теряя
полезной информации, можно получить
много дополнительной, как правило,
бесполезной информации и
.