Теория информации

1)Энтропия:

-бросок монеты

-бросок игральной кости

-вытаскивание игральной карты 54 штуки

-две игральные кости

2) Какое кол-во информации связано с предыдущим примером

3)Сравнить неопределённость, подходов на букву источника информации (русс. Яз.), характеризуемым ансамблем, представленным в таблице, с неопределённостью, которая была бы у того же источника при равновероятном использовании букв и средним статистическим.

4) С какой буквой алфавита, «а» или «б» связано больше информации? Найдите эту информацию.

5) Заданы 2 ансамбля Х и У двух дискретных величин:

Величина Х	0,5	0,7	0,9	0,3
Вероятность	0,25	0,25	0,25	0,25

Величина У	5		10		15		8
Вероятность	0,25	0,25		0,25		0,25

Сравнить их энтропию.

6)Известны энтропии 2 зависимых источников Н(х)=5 бит и Н(у)=10 бит. Определить в каких пределах будет заменяться условная энтропия Н_х(у) в максимально возможных пределах.

7) В ящике имеется 2 белых, и 4 чёрных шара. Извлекая последовательностью 2 шара. Найдите энтропию связанную с 1 и 2 извлечением , а так же энтропию извлечения сразу 2 шара.