Решение типовых примеров

Пример 3.3.1. Нормальный стационарный узкополосный случайный процесс, имеющий корреляционную функцию

,

пропускают через идеальный фильтр с полосой, заключённой в интервале частот от до . Найти отно-сительную энтропию в единицу времени для процесса на вы-ходе фильтра.

Решение. Односторонний спектр плотности мощности исходного процесса в соответствии с теоремой Винера-Хинчина равен преобразованию Фурье от корреляционной функции

Этот интеграл – табличный:

Поскольку процесс узкополосен, то справедливо соотноше-ние f >>a, поэтому в полученном выражении можно пренебречь вторым слагаемым и получим

Спектр плотности мощности процесса на выходе идеального полосового фильтра равен

Величину относительной энтропии на один отсчёт вычисляем по формуле (3.3.3)

Далее учитываем, что и, осуществив интегрирование, получим

В одну секунду берется отсчётов, поэтому относительная энтропия в единицу времени равна

Пример 3.3.2. Уровень воды в водоёме U(t) меняется со временем так, что он полностью определяется отсчётами, взятыми через полгода. Отдельные отсчёты независимы и имеют одностороннее экспоненциальное распределение с математическим ожиданием, равным 4 м. При учёте запаса воды допустимы только положительные ошибки v=u-z, причём среднее значение ошибки не должно превышать 0,25 м.

Найти ε-энтропию функции U(t).

Решение. Задача заключается в вычислении минимального среднего количества информации, которое необходимо пере-давать в год для воспроизведения функции U(t) при помощи другой функции с заданной точностью. За год уровень воды измеряется два раза, и эти отсчёты независимы, поэтому можно вычислить -энтропию одного отсчёта и, пользуясь свойством аддитивности -энтропии, удвоить полученный результат.

Средняя взаимная информация между U и Z равна

.

Относительная энтропия экспоненциально распределённой положительной случайной величины U равна (см. пример (3.2.1))

бит.

В условии задачи расстояние между X и Z задано в виде математического ожидания их разности, поэтому средняя условная энтропия H(U/Z) достигает максимального значения, когда V и Z независимы (см. неравенство (3.3.8)). Далее необходимо в классе распределений W(v) положительной случайной величины V, удовлетворяющих заданному в условии задачи ограничению

и условию нормировки

,

найти такое распределение, которое обладает наибольшей энтропией.

Как следует из примера 3.2.3, случайная величина V при этих ограничениях также должна иметь одностороннее экспоненциальное распределение

Тогда бит,

и -энтропия на один отсчёт равна

Для -энтропии случайной функции U(t) окончательно получим

ЗАДАЧИ

3.3.1. Радиосигнал подаётся на усилитель, имеющий коэффициент передачи K(f) = 1000. Насколько изменится энтропия на 1 отсчёт выходного сигнала по сравнению с входным.

3.3.2. Сигнал на выходе микрофона стационарен, имеет среднюю мощность Вт, а его энергетический спектр заключён в полосе частот 100 – 5000 Гц. Найти наибольшее возможное значение относительной энтропии такого сигнала:

а) на один отсчёт,

б) в 1 мин.

3.3.3. Вычислить «энтропийную мощность» сигнала U(t) из примера 3.3.2., полагая, что этот сигнал имеет ограниченный спектр.

3.3.4. Радиосигнал, спектр которого заключён в полосе частот 100 – 300 МГц, подаётся на усилитель промежуточной частоты, имеющий амплитудно-частотную характеристику колокольной формы

с центральной частотой МГц и полосой пропуска-ния МГц.

Вычислить, насколько изменится энтропия выходного сигнала по сравнению с входным.

3.3.5. Отсчёты сигнала U(t) из примера 3.3.2 подвергаются равномерному квантованию с шагом 2 м. Найти величину взаимной информации в единицу времени между исходным и квантованным сигналами.

3.3.6*. Вычислить - энтропию нормальной случайной вели-чины X, имеющей параметры и , если допустима среднеквадратическая ошибка представления этой величины равная 1. Найти условную плотность вероятности W(z/x) для воспроизводящей величины Z.

3.3.7. Вычислить - энтропию равномерно распределённой в интервале 0 – 2 случайной величины, если при воспроизведе-

нии допустима ошибка, не превышающая по модулю 0,01. Объяснить полученный результат и указать способ воспроиз-ведения с требуемой точностью.

3.3.8. Получить формулу относительной энтропии на один отсчёт для системы n нормальных случайных величин (отсчё-тов), имеющих корелляционную матрицу R.

3.3.9. Вероятности значений 0 и 1 двоичного символа X равны. Вычислить минимальное среднее количество инфор-мации, необходимое для того, чтобы полная вероятность ошибки при воспроизведении значений этого символа не пре-вышала 0,11.

3.3.10. При передаче значений символа X из задачи 3.3.9 на выходе линии связи имеется информация, равная в среднем 0,55 бит/символ. Укажите можно ли при наличии такого количества информации воспроизводить значения символа X так, чтобы полная вероятность ошибки не превышала 0,02?

3.3.11. Доказать неравенство 3.3.8.