4. Непрерывный канал с аддитивным белым гауссовским шумом

Говорят, что в канале действует аддитивный белый гауссовский шум, если шумовой процесс Z(t) является процессом белого гауссовского шума. Это означает, что для любой системы ортонормированных функций φ_i (t), i = 1, 2, ..., случай­ные величины

(4.1)

являются совместно гауссовскими и статистически независимыми. Математическое ожидание каждой из С.В. (2.3) равно нулю, а дисперсия равна N₀/2 — интенсивности белого шума. Такой процесс можно представить себе как сумму бесконечного числа составляющих вида Z_iφ_i(t) (гармонических составляющих, если φ_i (t), i — 1, 2, ..., — гармонические функции). Мощность каждой составляющей равна N₀/2 — отсюда название белый шум. Реально белый шум не может существовать, иначе процесс имел бы беско­нечную мощность. Однако он является удобной математической моделью для описания реальных каналов, шум в которых имеет достаточно широкий спектр.

Предположим теперь, что некоторая функция х(t), заданная на интервале [0, Т], представима в виде конечного ряда

(4.2)

где φ_i (t), i = 1, 2, ..., ST, — некоторая фиксированная система ортонормированных на интервале [О, Т] функций, a S — некото­рое фиксированное число. Ограничение на конечность ряда можно интерпретировать как ограничение на полосу, занимаемую сигналом x(t) (на полосу частот, если φ_i (t), i = 1, 2, ... — гармо­нические функции и Т достаточно велико).

Действительно, пусть { φ_i (t)} — ортонормальные (Две функции – φ₁(t) и φ₂(t) называется ортогональными, если . Функция φ(t) называется нормированной, если . Система ортогональных нормированных функций называется системой ортонормированных функций) гармониче­ские функции на интервале [-Т/2, Т/2], т. е.

(4.3)

Число ω = 2π (i/T) является круговой частотой колебания φ_i (t). Поскольку φ_i (t) является отрезком длины Т гармонического колебания, то в его спектре имеются компоненты, частоты которых отличаются от 2 (i/T). Так как спектр функции φ_i (t) равен

(4.4)

и так как функция (sin x )/x равна единице при х = 0 и убывает к нуля при увеличении х, то при больших значениях T спектр функции φ_i (t) сосредоточен вблизи частоты . Если некоторая функция х (t) имеет разложение вида (4.2) в ряд не более чем с 2WT + 1 членами, соответствующими значениям i таким, что то при больших Т почти весь спектр функции х(t) будет находиться внутри полосы частот.

Будем полагать S = 2W и говорить, что сигналы, представимые в виде, (4.2) удовлетворяют ограничению W на полосу частот.

Таким образом, мы приходим к модели непрерывного канала с аддитивным белым гауссовским шумом и ограничениями на сред­нюю мощность и на полосу частот входных сигналов. Код для такого канала определяется так же, как в определении 2.3, с тем только отличием, что каждое кодовое слово дополнительно удовле­творяет ограничению W на полосу частот, т. е. каждое кодовое слово представимо в виде конечного ряда с 2WT членами по некоторой фиксированной системе ортонормальных функций. Аналогичным образом определяется пропускная способность и информационная емкость. В определении информационной емкости дополнительно требуется, чтобы случайный процесс Х_т (t) имел представление в виде конечного ряда с 2WT членами относи­тельно той же фиксированной системы ортонормальных функций:

(4.5)

Теорема 2. Информационная емкость непрерывного канала с аддитивным белым гауссовским шумом при ограничении Р на среднюю мощность и ограничении W на полосу частот, не зависит от выбора системы из 2WT ортонормированных функций и опре­деляется соотношением:

(4.6)

где N₀/2 – интенсивность белого шума.

Доказательство:

Напомним вначале, что средняя взаимная информация между двумя случайными процессами Х_T (t) и Y_T (t), заданными на интервале [0, T], определяется как следующий предел, если он существует,

(4.7)

где

(4.8)

и — произвольная полная в пространстве функций, интегрируемых с квадратом, система ортонормированных функций.

Пусть случайный процесс Х_T (t) удовлетворяет условию (4.5). Так как случайные величины X_i при i > 2WT вырождены (тождественно равны нулю), то они статистически независимы от первых 2WT случайных величин и от всех С.В. Y_j, j = 1,2… . Поэтому при всех n ≥ 2WT:

(4.9)

и, следовательно,

(4.10)

Так как Z_T (t) — белый гауссовский шум с интенсивностью N_о/2, то

(4.11)

являются в совокупности гауссовскими и статистическими незави­симыми случайными величинами, причем математическое ожидание каждой из этих с.в. равно нулю, а дисперсия равна N₀/2. В канале с аддитивным белым гауссовским шумом случайный процесс Y_T (t), процесс на выходе канала, может быть представлен как

(4.12)

Тогда:

(4.13)

причем, случайные величины X_i, Z_i, i,j = 1, 2, …, статистически независимы в силу независимости процессов X_T (t) и Z_T (t).

Из равенства (4.10) следует, что для вычисления средней взаимной информации между процессами X_T (t) и Y_T (t) при условии, что X_T (t) удовлетворяет ограничению W на полосу частот достаточно рассматривать взаимную информацию между входом и выходом непрерывного канала «дискретного времени», в котором на вход подается последовательность Х₁, …, Х_n, на выходе появляется последовательность Y₁, …, Y_n и действует аддитивный гауссовский шум Z₁, …, Z_n, n = 2WT. Поскольку случайная величина Z₁, …, Z_n статистически независимы и имеют одинаковое распределение вероятностей с нулевым средним и дисперсией N₀/2, то рассматриваемый канал является непрерывным каналом без памяти с дискретным временем и с аддитивным гауссовским шумом.

Если процесс удовлетворяет, кроме того, ограничению Р на среднюю мощность, т.е.

то из (4.5) и из ортонормальности функций ,i = 1, 2, …, n = 2WT, следует, что:

(4.14)

т.е. последовательность случайных величин X₁, …, X_n удовлетворяет следующему ограничению на среднюю мощность:

(4.15)

Из определения информационной емкости следует, что

(4.16)

где в последнем выражении верхняя грань разыскивается по всем n = 1,2,… и по всем последовательностям случайных величин Х₁, …, X_n таким, что выполняется условие [2.15].

Согласно теореме об информационной емкости непрерывного канала без памяти с ограничением Р на среднюю мощность входных сигналов, получаем:

(4.17)

где множество определено соотношением:

Согласно теореме об информационной емкости непрерывного канала без памяти с дискретным временем, с аддитивным белым гауссовским шумом мощности и ограничением Р на среднюю мощность входных сигналов, получаем:

. (4.18)

Теперь из (4.16) – (4.18) следует выражение (4.6). Теорема доказана.

Для непрерывного канала с аддитивным белым гауссовским шумом при ограничении на среднюю полосу частот справедлива обратная теорема кодирования. Мы приведем только её формулировку, т.к. доказательство такой теоремы идентично теореме 1.

Теорема 3 (обратная теорема кодирования для непрерывных каналов с аддитивным белым гауссовским шумом при ограничениях на среднюю полосу частот сигналов на входе) Пусть - информационная емкость канала и ε – произвольное положительное число. Тогда найдется положительное число δ, зависящее отR, такое, что для всякого Т и всякого кода G (T; R), , удовлетворяющего ограничению Р на среднюю мощность и ограничениюW на полосу частот, средняя вероятность ошибки λ ≥ δ.

Она устанавливает, что для всякого кода, удовлетворяющего ограничениям на среднюю мощность и полосу частот и имеющего скорость R больше, чем информационная емкость C* указанного канала, средняя вероятность ошибки не может быть сделана произвольно малой, а остается не меньшей, чем некоторое положительное число. Доказательство этой теоремы в точности повторяет доказательство теоремы 1.