Основные теоремы, устанавливающие свойства дискретного стационарного канала. Симметричные стационарные каналы.
Теорема 1.
Для дискретного стационарного канала справедливо неравенство:
Равенство, когда на выходе события статистически независимы.
Доказательство.
Теорема 2.
Для дискретного стационарного канала без памяти С вычисляется по формуле:
Доказательство.
Взаимная энтропия зависит от усл. распределения вероятности, которая в свою очередь зависит от j.
Симметричные стационарные каналы.
Канал считается симметричным по входу, если любая строка матрицы является перестановками одного и того же множества чисел.
Канал симметричный по входу искажает все символы в равной степени.
Канал симметричен по выходу, если каждый столбец является перестановкой одного и того же множества чисел.
Канал
симметричный по выходу инвариантен
относительно равномерного распределения:
равномерное распределение на входе
обеспечивает равномерное распределение
на выходе.
Теорема.
Для дискретного стационарного канала симметричного по входу справедливо неравенство
Равенство, когда канал симметричный (по входу и по выходу).
Доказательство.
Равенство, когда на Y равномерное распределение.
- для симметричного канала
- для симметричного по входу
– для всех остальных