4.3 Задачі для самостійної роботи

4.3.1 Два дискретні джерела інформації задані матрицями

и.

Визначити, яке джерело має більшу невизначеність у випадку, якщо: а) , ; б) , .

4.3.2 На виході двійкового джерела інформації елементи «0» і «1» з'являються з ймовірностями відповідно й . При якому значенні ентропія джерела є максимальною? Побудувати графік для двійкового джерела.

4.3.3 Довести властивість екстремальності ентропії. Для дискретного джерела

ентропія є максимальною і дорівнює у випадку, якщо елементи рівноймовірні: .

4.3.4 Дискретне джерело інформації задано матрицею . Обчислити його середню невизначеність і порівняти отримане значення з ентропією наступного джерела .

4.3.5 Обчислити ентропії трьох систем ; і . Пояснити на цьому прикладі властивість безперервності ентропії.

4.3.6 Визначити невизначеності двох систем і (рис.4.1).

Рис.4.1 Імовірності станів двох дискретних систем

4.3.7 Перевірити властивість адитивності ентропії на прикладі джерела .

4.3.8 Нехай і - два алфавіти; . Чому дорівнює умовна ентропія , якщо: а) і незалежні; б) і залежні; в) .

4.3.9 Елементи алфавітів і статистично пов'язані. Відомо, що  біт,  біт. У яких межах змінюється умовна ентропія при зміні в максимально можливих межах?

4.3.10 Ракети двох пускових установок використовуються для поразки двох цілей. Ракета першої установки вражає ціль номер 1 з імовірністю 0,5; ціль номер 2 - з імовірністю 0,3 і дає промах з імовірністю 0,2. Ракета другої установки вражає першу ціль з імовірністю 0,3, другу - з імовірністю 0,5 і ймовірність промаху дорівнює 0,2. Імовірність вибору першої установки дорівнює 0,4. Чому дорівнює невизначеність вибору установки, якщо відомо, що уражено другу ціль; якщо відбувся промах; яка невизначеність результату, якщо пущено будь-яку ракету?

4.3.11 За заданим значенням і знайти , якщо  біт.

4.3.12 Матриця спільних ймовірностей двох джерел дорівнює:

.

Визначити ентропії , , , , , , .

4.3.13 Визначити максимальну ентропію телевізійного зображення, яке містить 500 рядків по 650 елементів у рядку, за умови, що яскравість кожного елемента передається за допомогою 8 квантованих некорельованих рівнів.

4.3.14 У якому співвідношенні знаходяться відомі одиниці кількості інформації: двійкова (біт), натуральна (ніт), десяткова (діт)?

4.3.15 Маємо значення й . У яких межах може змінюватися при зміні від мінімального до максимального можливого значень?

4.3.16 Визначити середню кількість інформації , якщо матриця системи передачі інформації має вигляд

.

4.3.17 Визначити середню кількість інформації у системі, яку задано матрицею

.

4.3.18 Обчислити середню кількість інформації про передані повідомлення , що доставляється прийнятим повідомленням ансамблю , якщо система передачі описується матрицею

.

4.3.19 Радіостанція може працювати на хвилі (подія ) або на хвилі (подія ); в імпульсному (подія ) або в неперервному (подія ) режимах. Імовірності спільних подій мають наступні значення: ; ; ; . Обчислити кількість інформації, яку отримано щодо режиму роботи станції, якщо стане відомою довжина хвилі.

4.3.20 На рис.4.2, а показано приклади діаграм Вінера, що характеризують співвідношення між ентропійними оцінками. Виділені ділянки плоских фігур відповідають різним умовним та безумовним середнім ентропіям. Об'єднання фігур виражає об'єднану ентропію , перетинання – взаємну інформацію та т.і. За аналогією із двовимірним випадком позначити елементи тривимірної системи (рис.4.2, б), тобто ентропії , , , та т.і.

а)	б)
Рис.4.2 Діаграми Вінера

4.3.21 Є три дискретних джерела інформації , і , .

Визначити, яке джерело має найбільшу невизначеність.

4.3.22 Число символів алфавіту джерела ( або ). Імовірності появи символів джерела ; ; та . Між сусідніми символами є кореляційні зв'язки, які описуються матрицею умовних ймовірностей наступного виду

, наприклад, .

Визначити ентропію джерела.

4.3.23 Ансамблі подій і об'єднані, причому ймовірності спільних подій визначаються матрицею спільних ймовірностей

, наприклад, .

Визначити ентропії ансамблів і ; ентропію об'єднаного ансамблю; умовні ентропії ансамблів.

4.3.24 До лінії зв'язку надходять рівноймовірні й статистично незалежні дискретні сигнали й . Через дію перешкод на виході каналу зв'язку формуються сигнали , і з матрицею умовних ймовірностей

.

Визначити повну взаємну інформацію .

4.3.25 По каналу зв'язку з однаковими ймовірностями передаються статистично незалежних сигналів ( ). При відсутності перешкод переданому сигналу відповідає на виході каналу сигнал ( ). При наявності перешкод кожний переданий сигнал може бути лише з імовірністю прийнятий правильно, а й з імовірністю як один з інших вихідних сигналів.

Визначити середню кількість інформації на один сигнал, яку передано по каналу за наявності та відсутності перешкод.

4.3.26 Система передачі інформації характеризується при , матрицею спільних ймовірностей

.

Визначити середню кількість взаємної інформації .

4.3.27 Радіолокаційна станція РЛС може працювати в метровому діапазоні або в дециметровому діапазоні , а також у режимі огляду або в режимі наведення . Спільні ймовірності цих подій описуються матрицею

.

Обчислити кількість часткової інформації , яку одержано щодо режиму роботи РЛС, якщо система виявлення повідомляє діапазон роботи станції.

4.3.28 Система передачі інформації характеризується матрицею спільних ймовірностей

.

Визначити середню кількість взаємної інформації та кількість часткової інформації , яка міститься в повідомленні приймача про джерело в цілому.

4.3.29 Ентропії трьох дискретних випадкових величин є рівними: . Визначити, чому дорівнює , якщо: а) , б) . Довести, що в загальному випадку .