4.3. Отношение сигнал/шум и скорость передачи информации по каналу связи с помехами.
Будем
считать, что совокупность переданных
сообщений
и действующих помех
имеет спектр, ограниченный частотой
.
Рис 25
В
соответствии с предшествующими формулами,
количество информации в принятом
сообщении
относительно переданного
:
Будем
считать, что
и
не зависимы статистически, т.е. количество
информации содержащееся в
,
когда уже известно
,
обусловлено только шумами, т.е.
обусловлено
Тогда:
Эта информация измеряется в двоичных единицах приходящихся на сообщение.
Возьмем
предел от
:
- скорость передачи информации
Определим пропускную способность канала, когда помехи представлены в виде гауссовых шумов (такие помехи распределены нормально, наиболее эффективны, как разрушитель информации, поскольку нормальный закон имеет наибольшую энтропию)
Вспомним энтропию для неопределенной случайной величины.
Непрерывное
сообщение можно заменить дискретными
состояниями
,
отстоящие на интервал
.
Вероятность каждого из этих состояний:
При
и
:
Тогда Формула 1:
- энтропия непрерывного сообщения
–
приведенная
энтропия
Переходим к вычислениям нормального распределения. Для сообщения, состояния элементов которого соответствуют нормальному распределению, подставим в Формулу 1 нормальный закон распределения.
Экскурс в прошлое закончен.
Если
рассматривать каждую из энтропий
и
,
где
и
- состояния элементов сообщения и шума
в моменты времени.
будет максимальным, если все ее элементы распределены по нормальному закону и статически независимы.
Поскольку элементы независимы, то энтропия объединения равна:
-
энтропия одного элемента
Посчитаем как энтропию нормального распределения.
Формула 3
\
Если нужно передать наибольшее количество информации, то нужно, чтобы энтропия объединения принятых сообщений была максимальной.
Для этого нужно, чтобы были статистически независимы, а, во-вторых, чтобы отсчеты были распределены нормально. В этом случае энтропия принятых сообщений будет выглядеть так:
Формула 4
Из
теории вероятности известно, что если
две случайной величины распределены
нормально, то и их сумма распределена
нормально. Отсюда следует, что если
и
распределены нормально, то и
распределен нормально. Статистическая
независимость элементов сообщения
и
означает статистическую независимость
.
Из Формул 3,4 получим Формулу 5:
Если
Формула 6
Поскольку на выходе содержаться шумы, то
Формула 7
-
мощность сигнала
(значение
мощности передаваемых сообщений)
-
мощность сигнала
Это количество информации можно передать неким объемом в пространстве трех измерений.
Рис 26
Формула
8
Наибольшая
скорость передачи информации прямо
пропорциональна полосе частот и логарифму
суммы
.
Везде предполагалось, что - ширина спектра сигнала и помехи. Под целесообразно понимать ширину канала в любом случае, поскольку именно она ограничивает спектры сигнала и помехи.
Рис 27
Формула 9
В реальных условиях зависимость от не получается линейной, т.к. при расширении полосы канала увеличивается мощность шумов на входе. Допустим, что распределение шума по оси частот равномерно, тогда мощность шума:
– мощность шумов в полосе 1 Гц
- эквивалентная полоса частот (такая,
которая, будучи умноженной на
,
дает мощность сигнала)
Рис 28
Таким образом, с увеличением полосы пропускания пропускная способность не возрастает безгранично, а стремится к определенному пределу. На основе расположения для логарифма Формулы 9
Тогда:
Раскроем :
Следовательно, для повышения пропускной способности канала нужно брать большую среднюю мощность передаточного устройства и иметь приемник с шириной шумов на входе .