1. Теория информации 1

1.1 Теорема Котельникова 1

1.2 Квантование сигнала по уровню 3

2. Мера информации 6

2.1 Мера информации по Шеннону 6

2.2 Энтропия дискретного ансамбля сообщений 8

2.4 Энтропия непрерывного ограниченного ансамбля 12

2.3 Количество взаимной информации 14

2.3.1 Дискретный канал передачи информации 14

2.3.2 Непрерывный канал передачи информации 17

2.3.3 Эпсилон-энтропия (ε-энтропия) 20

3.Кодирование источника информации 22

3.1 Метод кодирования равномерным кодом 24

3.2 Метод кодирования Шеннона-Фано 27

3.3 Метод кодирования Хафмана 30

3.4 Теорема оптимального кодирования источника 33

независимых сообщений. 33

4 Канал связи 35

4.1 Скорость передачи информации и 37

пропускная способность канала связи 37

4.2 Канал без шумов 40

4.3 Канал с шумами 41

4.4 Непрерывный канал связи 43

4.5 Теорема Шеннона о пропускной способности частотно ограниченного канала 48

77