5. Пропускная способность гауссова канала связи

Перейдем теперь к знакомству с основными результатами для систем с непрерывными сигналами. Наиболее известным выводом теории является формула для пропускной способности гауссова канала связи, которую мы сейчас получим.

Гауссовым каналом называется канал связи, для которого выполняются следующие условия:

1°) сигналы и шумы в нем непрерывны;

2°) канал занимает ограниченную полосу частот шириной F;

3°) шум n(t) в канале распределен нормально ("гауссов шум");

4°) спектр мощности шума равномерен в полосе частот канала и равен N единиц мощности на единицу полосы частот;

5°) средняя мощность полезного сигнала x(t) фиксирована и равна Р₀;

6°) сигнал и шум статистически независимы;

7°) принимаемый сигнал y(t) есть сумма полезного сигнала и шума: y(t)=x(t)+n(t) ("шум аддитивен").

Эти предположения позволяют вычислить пропускную способность гауссова канала. Во-первых, ограниченность полосы частот позволяет применить теорему отсчетов и вести рассуждения для каждого отсчета в отдельности. Далее, аддитивность шума и его независимость от Х позволяют представить количество информации в Y об X в виде I(X,Y)=h(Y)-h(Y|X)=h(Y)-h(x+N|x)=h(Y)-h(N), где h(N) - дифференциальная энтропия шума. Следовательно, пропускная способность такова: C=таx|_{p(x)}(h(Y)-h(N).

Согласно условиям 3° и 4°, имеем h(N)=F log(2eNF).

В силу условий 4° - 7° мощность принимаемого сигнала есть M(Y²)=P₀+NF.

Максимум h(Y) при условии достигается в случае нормального распределения: таx|_{p(x)}h(N)=F log(2e(P₀+NF)).

Так как шум имеет равномерный спектр (см. условие 4°) и спектр смеси y(t) также равномерен (вследствие независимости отсчетов), то и полезный сигнал должен иметь равномерный спектр. Вводя спектральную плотность Р=P₀/F получаем известную формулу Шэннона - Таллера C=F log(1+P/N).

Таким образом, мы не только определили пропускную способность, но и заодно показали, что она реализуется, если полезный сигнал закодировать так, чтобы его спектр был равномерным в представленной полосе частот, а распределение мгновенных значений - нормальным.

Дальнейшие обобщения связаны с рассмотрением "небелых" сигналов и шумов (предполагается зависимость от частоты их спектральных мощностей Р(f) и N(f), а также с допущением случайности величины Р (например, в случае замираний радиосигналов). Решения возникающих при этом задач имеются в литературе по теории информации.

Подведем итог: Теоремы Шеннона о кодировании в каналах без шумов и при наличии шумов, приведенные в данном параграфе, относятся к числу основных результатов теории информации. Эти теоремы сильно расширили понимание природы информационных процессов, происходящих во всех системах.

9. Заключение

Отметим, что наиболее важные результаты теории информации -теоремы о кодировании - являются теоремами о существовании и носят асимптотический характер, т.е. не являются конструктивными. Однако уже само знание потенциальных возможностей имеет огромное значение: сравнение характеристик реальных систем с теоретическими пределами позволяет судить о достигнутом уровне и о целесообразности дальнейших затрат на его повышение. Прикладные же вопросы рассматриваются в специальном разделе теории информации - теории кодирования, которая изучает способы построения конкретных кодов и их свойства, в частности точные или граничные зависимости вероятностей ошибок от параметров кода.

Для напоминания об основных понятиях теории информации приведем вариант блок-схемы системы передачи информации. На этом рисунке приведено большинство введенных в данной главе понятий и обозначений.

Значение теории информации выходит далеко за рамки теории связи, так как именно ее появление привело к широкому обсуждению новых понятий, к более глубокому пониманию открытых ранее закономерностей природы (например, второго закона термодинамики) и в конечном счете к тому, что понятие информации вошло теперь в число философских категорий, расширив и углубив тем самым наше видение и понимание мира.

Вместе с тем некоторые специалисты различных отраслей науки некритически распространяли методы и конкретные результаты теории информации на любые информационные процессы в реальном мире. Уже сам Шеннон заметил эту тенденцию и настоятельно предостерегал от того, чтобы ей безоглядно следовать [8]. Дело в том, что шенноновское количество информации является характеристикой, лишь с одной стороны описывающей информационные отношения. Именно эта сторона-соответствие состояний - играет главную роль в технических устройствах. Однако в этом соответствии не проявляют себя (и, следовательно, могут не учитываться) такие свойства информации, как смысл, доброкачественность (степень истинности), ценность, полезность, временное старение, причинно-следственная направленность и т.д. -свойства, весьма существенные для информационных отношений с участием живых организмов, людей, коллективов.

Исследование проблем использования информации ведется в различных направлениях, достигнуты и успехи (семиотика, теория полезности, теория решений и выбора и т.д.). С некоторыми из них мы познакомимся в других разделах книги.

Необходимость расширения принципов и методов исследования информационных процессов вытекает не только из внутренней логики развития науки, стремящейся ко все большим обобщениям, снятию или ослаблению ограничений, предположений и т.п. К развитию новых подходов толкает сильное "внешнее" давление общественной практики: масштабы и значение информационных потоков в современном обществе так резко возросли в последние годы, что даже возникло образное выражение "информационный взрыв" [3] . Появилась новая отрасль - "индустрия обработки данных", затраты на которую в промышленно развитых странах превосходят затраты на энергетику. Этой общественной потребности отвечает возникновение новой отрасли науки - информатики. Для системного анализа теория информации имеет двоякое значение. Во-первых, ее конкретные методы и результаты позволяют провести ряд количественных исследований информационных потоков в изучаемой или проектируемой системе (если в этом возникнет необходимость). Однако более важным является эвристическое значение основных понятий теории информации - неопределенности, энтропии, количества информации, избыточности, пропускной способности и пр. Их использование столь же важно для понимания системных процессов, как и использование понятий, связанных с временными, энергетическими процессами. Системный анализ неизбежно выходит на исследование ресурсов (наличных и необходимых), которые потребуются для решения анализируемой проблемы. Информационные ресурсы играют далеко не последнюю роль наряду с остальными ресурсами - материальными, энергетическими, временными, кадровыми.