10. Литература

1. Бриллюэн Л. Наука и теория информации. - М.: Физматгиз, 1960.

2. БриллюэнЛ. Научная неопределенность и информация. - М.: Сов. радио, 1970.

3. Ефимов А.Н. Информационный взрыв: проблемы реальные и мнимые. - М.: Наука, 1985.

4. Минер А.Г, Леоптпнич Е.А. Об одном неравенстве, связанном с интегралом Фурье/ДАН СССР, 1934. Т. IV. № 7. С. 353 - 360.

5. Тирисснко Ф.П. Введение в курс теории информации. - Томск: ТГУ, 1963.

6 Финк Л.М. Сигналы. Помели. Ошибки... - М.: Радио и связь, 1984.

7 Френкс Л. Теория сигналов. - М.: Сов. радио, 1974.

8. Шэннон К. Бандвагон. - В сб.: Работы по теории информации и кибернетике. М.: ИЛ, 1963.

9. Шэннон К., Уинср В. Математическая теория связи. - В сб.: Работы по теории информации и кибернетике. - М.: ИЛ, 1963.

11. Упражнения

5.1

• Обсудите роль информации в парадоксе "демона Максвелла" [I. гл. 13].

• Некоторые философы считают, что информация в мозгу человека настолько сильно качественно отличается от процессов в остальной природе, что ид нельзя даже ставить в один ряд с процессами мышления. Обсудите аргументы за и против такого мнения. Обсудите истоки антропоцентризма.

5.2

• При каких условиях можно отнести либо к статическим, либо к динамическим дымовые сигналы, запах, голографическое изображение? Придумайте еще примеры трудно классифицируемых сигналов.

5.3

• Обсудите подробнее сходство и различия между случайным процессом как моделью сигналов и реальными сигналами, приведите примеры.

5.4

• Если вам интересно, попробуйте сами получить формулу для плотности распределения фазы смеси сигнала к шуму.

5.5

• Вычислите спектр прямоугольного импульса и убедитесь в его неограниченности по полосе частот.

• Проделайте подробно все выкладки, приводящие к ряду Котельникова.

5.6

• Воспроизведите доказательства свойств энтропии, следуя указаниям, данным в конце описания каждого свойства.

• Задача нахождения функции р(x), реализующей максимум функционала ₀[р(х)] при условии постоянства функционалов _i[р(х)], i=1, ... , k, называется изопериметрической задачей вариационного исчисления и сводится к решению уравнения Эйлера ₀/p+_j_j_j/p_j=0,

С помощью этого метода найдите распределения, обладающие максимальной дифференциальной энтропией при заданных условиях:

а) ₀=- _a^bp(x) ln p(x) dx, ₁= _a^bp(x) dx=1. Ответ: р(x)=(a-b)^-1.

б) ₀=- _{- } p(x) ln p(x) dx, ₁= _{- } p(x) dx=1; ₂= _{- } xp(x) dx=a; ₃= _{- } x²p(x) dx=²; Ответ: р(х)= (2)^-0.5^-2exp{-0.5(x-a)²^-2}.

в) ₀=- _{- } p(x) ln p(x) dx, ₁= _{- } p(x)dx=1; ₂= _{- } xp(x)dx=a; Ответ: р(х)=a^-1exp{-xa^-1}.

Вычислите дифференциальные энтропии экстремальных распределений, полученных в предыдущем упражнении.

5.7

• Докажите справедливость свойств количества информации.

• Определите оптимальный алгоритм обработки выборки наблюдений x₁, ... , x_n для проверки гипотезы H₀: p(x|H₀)=(2)^-0.5^-2exp{-0.5x²^-2} против альтернативы H₁: p(x|H₁)=(2)^-0.5^-2exp{-0.5(x-a)²^-2}

Ответ: i=N^-1_iX_i.

5.8

• Пропускная способность человеческого зрения - около 50 бит/с, а пропускная способность телевизионного канала - около 50 млн. бит/с. О бсудите этот факт.