![](/user_photo/2706_HbeT2.jpg)
- •Часть 1
- •Раздел 1. Элементы общей теории сигналов
- •1.1 Классификация сигналов
- •1.2. Некоторые элементы функционального анализа сигналов
- •1.3 Основы теории ортогональных сигналов
- •Раздел 2. Спектральные представления сигналов
- •2.1. Понятие о спектре периодических и непериодических сигналов
- •2.2 Спектральное представление периодических сигналов
- •2.3 Спектральное представление непериодических сигналов
- •2.4 Теоремы о спектрах
- •2.5 Спектральные представления сигналов с использованием негармонических функций
- •Раздел 3. Сигналы с ограниченным спектром
- •3.1. Некоторые математические модели сигналов с ограниченным спектром
- •3.2 Теорема Котельникова
- •3.3. Узкополосные сигналы
- •3.4. Аналитический сигнал и преобразования Гильберта
- •Раздел 4. Основы корреляционного анализа сигналов
- •4.1. Взаимная спектральная плотность сигналов. Энергетический спектр
- •4.2. Автокорреляционная функция сигналов
- •4.3. Акф дискретного сигнала
- •4.4. Взаимокорреляционная функция двух сигналов
- •Раздел 5. Модулированные сигналы
- •5.1. Сигналы с амплитудной модуляцией
- •5.2 Сигналы с угловой модуляцией
- •5.3. Дискретные формы угловой модуляции
- •5.4 Сигналы с импульсной модуляцией
- •Раздел 6. Основы теории случайных процессов
- •6.1. Случайные процессы. Основные понятия и определения
- •6.2. Характеристики случайных процессов
- •6.3. Моментные функции случайных процессов
- •6.4. Свойства случайных процессов
- •6.5. Функция корреляции двух случайных процессов
- •6.6. Измерение характеристик случайных процессов
- •6.7. Спектральное представление стационарных случайных процессов. Теорема Винера-Хинчина
- •6.8 Типовые модели случайных сигналов
- •6.9 Узкополосные случайные сигналы
- •Раздел 7. Основные элементы цифровой обработки сигналов
- •7.1. Дискретное преобразование Фурье
- •7.2. Быстрое преобразование Фурье
- •Раздел 1.Каналы электросвязи
- •Тема1.1 Общие сведения о каналах электросвязи и их классификация
- •1.2 Математические модели каналов электросвязи
- •1.2.1 Математические модели непрерывных каналов связи
- •1.2.2 Математические модели дискретных каналов связи
- •Раздел 2 Основные положения теории передачи информации
- •2.1 Информационные параметры сообщений и сигналов
- •2.2 Взаимная информация
- •Эффективное кодирование дискретных сообщений
- •Тема 2.4. Информация в непрерывных сигналах
- •Тема 2.5. Пропускная способность канала связи
- •Тема 2.6. Теорема к. Шеннона
- •Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
- •Раздел 3. Оптимальный приём дискретных сообщений
- •Тема 3.1. Постановка задачи оптимального приёма дискретных сообщений как статистической задачи. Понятие помехоустойчивости
- •3.2. Элементы теории решений
- •3.3. Критерии качества оптимального приёмника
- •3.4 Алгоритм оптимального приёма при полностью известных сигналах. Когерентный приём
- •3.5 Структурное построение оптимального приёмника
- •3.6 Реализация алгоритма оптимального приёма на основе согласованных фильтров. Свойства согласованного фильтра
- •3.8 Потенциальная помехоустойчивость систем с различными видами манипуляции
- •3.9 Приём сигналов с неопределённой фазой (некогерентный приём)
Тема 2.4. Информация в непрерывных сигналах
Обобщим теперь понятия энтропии и
взаимной информации на ансамбли
непрерывных сигналов. Пусть
-
случайная величина (сечение или отсчёт
случайного сигнала), определённая в
некоторой непрерывной области, и её
распределение вероятностей характеризуется
плотностью
.
Разобьём область значений
на небольшие интервалы протяжённостью
.
Вероятность того, что
лежит в интервале
,
+
,
то есть
,
приблизительно равна
, причём приближение тем точнее, чем
меньше интервал
.
Степень неожиданности такого события
равна
.
Если значения
в пределах конечного интервала
заменить значениями
в начале интервала, то непрерывный
ансамбль заменится дискретным, а его
энтропия определится как:
Будем теперь увеличивать точность
определения значения
,
уменьшая интервал
.
В пределе, при
должна получиться энтропия непрерывной
случайной величины:
(2.19)
Второй член в полученном выражении
стремится к
и совершенно не зависит от распределения
вероятностей
.
Это значение , что собственная информация
любой непрерывной случайной величины
бесконечно велика. Тем не менее, взаимная
информация между двумя непрерывными
ансамблями, как правило, остаётся
конечной. Такова будет, в частности,
взаимная информация между переданным
и принятым сигналами, так что по каналу
связи информация передаётся с конечной
скоростью.
Обратим внимание на первый член в
данной формуле. Он является конечным и
определяется плотностью распределения
вероятности
. Его называют дифференциальной энтропией
и обозначают
:
(2.20)
Попытаемся теперь определить взаимную
информацию между двумя непрерывными
случайными величинами
и
.
Разбив области определения
и
соответственно на небольшие интервалы
и
,
заменим эти непрерывные величины
дискретными так же, как это делалось
при выводе формулы
.
Исходя из этого выражения можно
определить взаимную информацию между
непрерывными величинами
и
:
(2.21)
При этом никаких явных бесконечностей
не появилось, и действительно, в обычных
случаях взаимная информация оказывается
конечной. С помощью простых преобразований
её можно представить и в таком виде:
(2.22)
Здесь
- определённая ранее дифференциальная
энтропия
,
а
-
условная дифференциальная энтропия.
Легко убедиться, что основные свойства
взаимной информации остаются справедливыми
и в данном случае.
В качестве примера найдём
дифференциальную энтропию случайной
величины
с нормальным распределением вероятности:
, (2.23)
где
математическое
ожидание, а
-
дисперсия
.
Подставив (2.23) в (2.20), найдём:
Первый интеграл по общему свойству
плотности вероятности равен 1, а второй
– по определению дисперсии равен
.
Окончательно
(2.24)
Таким образом, диффиринциал энтропия гауссовский случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.
В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин с одинаковой дисперсией наибольшую дифференциальную энтропию имеет величина с нормальным распределением.