Вопросы к разделу 11
1. По какой причине для количества информации принята логарифмическая мера?
2. Какая величина называется энтропией ансамбля (или источника) сообщений?
3. Перечислите основные свойства энтропии.
4. В каких единицах измеряется энтропия?
5. Как измеряется скорость передачи информации? Чем скорость передачи информации отличается от пропускной способности канала?
6. Полоса пропускания канала передачи информации уменьшилась в 2 раза, а соотношение сигнал/шум в канале возросло с 10 дБ до 13 дБ. Как при этом изменилась пропускная способность канала?
7. Один источник информации формирует
сообщения х, которые принимают
равновероятные значения на сегментех[-5 В;5 В], а другой
– нормально распределенные с нулевым
средним значением
и со среднеквадратическим значениемх=1 В. Какой
источник обладает большей энтропией?
8. Какова связь между количеством информации и энтропией?
9. Как охарактеризовать качество информации, формируемой измерительной системой?
10. Объясните, как можно измерить ценность информации?
12. Статистические модели сигналов и помех
Рассмотренные ранее модели сигналов как регулярных, детерминированных функций времени (или других аргументов, например, пространственных координат, как в системах извлечения информации) не могут удовлетворить современному подходу к описанию процессов в информационных системах. Действительно, если сигнал полностью определен и точно известен в любой точка области своего существования, он не может содержать и переносить полезного сообщения: такое сообщение всегда должно содержать элемент неожиданности, случайности. Поэтому случайным должен быть и сигнал, зависящий от информативного сообщения.
Кроме того, существуют и используются колебания, не допускающие даже приближенного описания детерминированными функциями. Это помехи.
В отличие от детерминированных моделей сигналов, представляемых однозначно определенными функциями, предсказывающими значения описываемой величины в любой заданный момент времени, ход и даже самый вид случайной функции предсказать невозможно. Максимум, что можно знать заранее о поведении случайной функции, это – вероятность, с которой она в будущем примет тот или иной вид из множества возможных.
Вероятностное описание случайного процесса – его вероятностная или статистическая модель – предусматривает использование некоторого набора неслучайных величин функций и числовых характеристик. Наиболее широко используются такие функции, как законы распределения вероятностей случайного процесса и плотности распределения этих вероятностей. С законом распределения связаны такие характеристики, как среднее значение случайной функции (сигнала и/или помехи), среднее значение ее квадрата (средняя мощность). Не менее важна дисперсия – среднее значение квадрата отклонений функции от ее средней величины, т.е. мощность переменной, флуктуационной составляющей случайного процесса. Очень важной характеристикой случайного процесса является функция корреляции, выражающая статистическую связь между мгновенными значениями колебания, взятыми в два произвольных момента времени. По аналогии с характеристиками случайных величин, используемых в теории вероятностей и называемых моментами, в теории случайных процессов вообще, а сигналов и помех – в частности, числовые характеристики называют моментными функциями.