- •Введение
- •1. Основные понятия. Количественная мера информации
- •Понятие информации
- •1.2. Количественная мера информации для равновозможных событий
- •1.3. Количественная мера информации для разновозможных событий (сообщений). Энтропия источника дискретных (цифровых) сообщений
- •1.4. Свойства энтропии источника дискретных сообщений
- •1.5. Энтропия источника совместных сообщений
- •1.6. Определение количества информации источника дискретных сообщений при неполной достоверности результатов опыта
- •1.7. Некоторые свойства количественной меры информации источника дискретных сообщений при неполной достоверности результатов опыта
- •1.9. Избыточность источника сообщений
- •1.10 Энтропия источника при наличии коррелятивных связей между двумя соседними символами
- •Контрольные вопросы
- •2. Информационные характеристики непрерывных (аналоговых) источников информации
- •2.1. Понятие о непрерывных (аналоговых) источниках информации
- •2.2. Энтропия непрерывного источника информации. Количество информации в одном замере непрерывной случайной величины
- •2.3. Примеры вычисления энтропии непрерывных источников информации
- •2.4. Количество информации, содержащееся в одном замере непрерывной случайной величины при неполной достоверности результатов измерения
- •Контрольные вопросы
- •3. Понятие о пропускной способности каналов и скорости передачи информации
- •3.1. Пропускная способность дискретного (цифрового) канала
- •3.2. Пропускная способность непрерывных (аналоговых) каналов
- •3.3. Определение пропускной способности непрерывного канала
- •3.4 Основные теоремы Шеннона
- •3.5 Энтропия источника при наличии коррелятивных связей между двумя соседними символами
- •4 Помехоустойчивое кодирование
- •Коды с обнаружением и исправлением ошибок. Код хемминга
- •Исправляющая способность кода хемминга
- •Контрольные вопросы
- •Библиографический список
- •Лабораторная работа №4 код хемминга
- •1.1. Понятие информации ...................................................................... 1
- •Контрольная работа № 1
- •Контрольная работа № 2
1.6. Определение количества информации источника дискретных сообщений при неполной достоверности результатов опыта
Как уже отмечалось, информация о том или ином событии или факте добывается всегда в результате целенаправленного опыта, причем после опыта ситуация оказывается не всегда полностью определенной, и мы не можем с полной достоверностью утверждать, какое именно событие имело место. Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.
Пусть интересующие нас события или факты составляют ансамбль (1.4) (переданные сообщения)
,
а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль (1.11) (принятые сообщения)
.
Обозначим через вероятность того, что при известном исходе опыта имело место событие . Если, например,
(1.18)
то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение) имело место. Так как неопределенность исхода событий до опыта равна , а после опыта неопределенность отсутствует, то в этом случае
(1.19)
где – количество информации, содержащееся в среднем в опытах относительно интересующих нас событий .
В более общем случае, когда для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации (1.19).
Количество информации, содержащееся в опыте относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить по формуле (1.2) как
. (1.20)
Здесь условная вероятность определяет послеопытную вероятность .
Количественная мера информации (1.19) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (1.20) при неполной достоверности результатов опыта:
. (1.21)
С учетом соотношений (1.13), соответствующих подстановок и преобразований, используемых в (1.14), из выражения (1.21) получим
откуда находим (с учетом условия ) количество информации, в среднем приходящееся на один опыт при его неполной достоверности,
, (1.22)
где – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.
Учитывая две формы записи (1.13) вероятности совместных событий для введенной меры количества информации, наряду с (1.22) нетрудно получить дополнительные формы:
, (1.23)
которые могут использоваться при вычислении количества информации.
1.7. Некоторые свойства количественной меры информации источника дискретных сообщений при неполной достоверности результатов опыта
1.7.1. Количество информации, содержащееся в опытах относительно интересующих нас событий , не превосходит энтропии событий , т.е.
.
Этот максимум достигается лишь при выполнении условия (1.18), т.е. если результат опыта достоверно определяет событие.
1.7.2. , т.е. энтропия может быть истолкована как информация, содержащаяся в событиях (опытах) относительно самих себя. Из этого непосредственно вытекает, что энтропия событий есть наибольшее количество информации об этих событиях, которое можно получить из опытов.
1.7.3. , если при всех значениях и , что имеет место для статистически независимых событий. Это означает, что количество получаемой информации равно нулю, когда исход опытов не зависит от исхода событий. Данный вывод полностью согласуется с нашими интуитивными представлениями.
1.8. Пример вычисления количественной меры информации при неполной достоверности результатов опыта (рассмотреть самостоятельно)
Применительно к этому примеру рассмотрим двоичный канал передачи данных, который был упомянут ранее в примере (раздел 1.3). В отличие от него будем считать, что на выходе этого канала из-за искажений, обусловленных помехами и сбоями в аппаратуре, принятые символы двоичного канала оказываются недостоверными, т.е. вероятность правильного приема символов оказывается меньше 1 и в соответствии с формулой (1.18). Пусть будем иметь . Вероятность ошибочного приема символов двоичного кода . Для рассматриваемого примера примем .
Для вычисления воспользуемся (1.22), (1.16) и (1.6). Из (1.6) получаем
.
В данном случае
,
.
Условные вероятности найдем из равенства
и, следовательно,
.
Для нашей задачи имеем
и, следовательно,
или
По аналогии с (1.16) получаем
или
,
.
В итоге согласно (1.22) имеем
.
Если бы в рассматриваемом случае двух событий опыт был достоверным, т.е. выполнялись условия
,
то очевидно, что
.
Таким образом, недостоверность опыта, когда вероятность ошибочного исхода составляет 0,1, приводит к уменьшению количества информации, получаемой из опыта, почти в 2 раза.