- •Тема 20 . Проверка статистических гипотез
- •1. Задачи статистической проверки гипотез
- •2. Статистическая гипотеза, статистический критерий
- •3. Проверка гипотезы об однородности двух или более
- •4. Проверка гипотез о законе распределения
- •5. Критерий согласия ( Критерия Пирсона)
- •6. Критерий Колмогорова
- •7. Критерий однородности Смирнова
- •8. Проверка гипотезы об однородности параметров распределений
- •8.1. Критерий Стьюдента (критерий)
- •8.2. Критерий Фишера (критерий)
- •Глава v1
- •Прикладные вероятностные теории
- •Тема 21. Основы теории информации
- •1. Энтропия как мера неопределённости
- •2. Характеристика (определение) количества информации
- •3. Основы теории измерений
- •4. Основы теории кодирования и передачи информации
- •4.1. Основные понятия, формирование экономичного кода алфавита
- •4.2. Определение характеристик канала передачи информации
- •5. Основы теории надежности
- •6. Определение количественных характеристик
4.2. Определение характеристик канала передачи информации
Из теоремы Шеннона следует, что если по линии связи (или каналу передачи информации) за единицу времени можно передать L элементарных сигналов, принимающих различных значений, то скорость передачи сообщений по такой линии не может быть большей, чем
(21)
Величина
(22) ,
не зависящая от самой линии связи, указывает наибольшее количество единиц информации, которое можно передать по данной линии за единицу времени, и называется пропускной способностью линии связи.
Выражения (21) и (22) характеризуют линию связи без помех, т.е. идеализированную линию. В отличие от нее линия связи с помехами может быть математически описана заданием не только и , нои неотрицательных чиселпредставляющих вероятность трансформации элементарного сигнала, в сигнал, вызванную влиянием помех.
Пропускная способность линии связи с помехами:
(23)
где
(24)
Для дискретного канала с основаниемвеличина, что показывает неопределенность некоторого опыта. При передаче информации об этом опыте в результате действия помех возникает дополнительная неопределенность, снижающая получаемую на выходе линии связи информацию об этом опыте. Для дискретного симметричного канала с основанием вероятность трансформации любого символа:
(25)
а вероятность трансформации символа , в символ( при):
(26) .
Тогда вероятность прохождения символа (при ):
(27)
а дополнительная неопределенность:
(28) .
В этом случае
(29)
В частном случае, когда (двоичный симметричный канал), пропускная способность линии связи
(30)
Основная теорема о кодировании при наличии помех формулируется следующим образом:
Для любой линии связи с помехами всегда можно подобрать специальный код, позволяющий передавать сообщения по этой линии с заданной скоростью, сколь угодно близкой к определённой формулой (21),так, чтобы вероятность ошибки в определении каждой переданной буквы оказалась меньше любого заранее заданного числа .
Из формул (21) и (30) следует, что скорость передачи информации при зависит от величиныи экономичности кода. В свою очередь, числозависит от величины и характера помех. Поэтому при наличии помех и заданногоможно достичь необходимой скорости передачи информации путем ее соответствующего кодирования.
Пример 8.
Определить влияние вероятности трансформации символа (влияние помех), характеристик кодирования () на пропускную способность линии связи и скорость передачи сообщения, в частности:
1)при ,;
2)при,;
3)при ,
и- равномерный код,- код Шеннона-Фано.
Решение. Первую задачу решим на основании выражения (21), и результат представим в виде графика (рис. 2.9), вторую задачу - на основании (30) и графика (рис. 2.10).
Зависимость при (рис. 2.9) по Равномерный казывает, что с увеличением основания кода пропускная способность растет, однако при этом усложняется схемная реализация. Зависимостьпри(рис. 2.10) показывает, что уже припропускная способность падает почти вдвое, а приона практически пропадает (при). Это вполне очевидно, поскольку при равновероятном появлении сигнала 0 или 1 возникает полная неопределенность. При дальнейшем увеличении наблюдается симметричное возрастание: здесь вступает в силу инверсия 0 и 1. Зависимости приведены на (рис. 2.11), а расчетные значения приведены в в таблице .
.
Скорость передачи сообщения
Вид кода |
Вероятность трансформации символа | ||||||
|
0, 01 |
0,1 |
0,25 |
0,5 |
0,75 |
0,9 |
1 |
Равномерный |
30,7 |
17,7 |
6,3 |
0 |
6,3 |
17,7 |
30,7 |
Шеннона-Фано |
40,0 |
23,0 |
8,3 |
0 |
8.3 |
23,0 |
40,0 |
Идеальный |
41,8 |
24,0 |
8,6 |
0 |
8,6 |
24, 0 |
41,8 |