Вопрос 6

 Кодирование по методу Шеннона-Фано так же как и другими методами может применятся не только к последовательностям из К элементных сообщений, но и непосредственно к источникам не равновероятных элементарных сообщений. При этом уменьшается выигрыш в эффективности. В том случае, когда левая часть системы неравенств (2.11) обращается в равенство, имеем h_min=H(U) (2.12). Код, обладающий h_min называется оптимальным для того, чтобы сообщение источника можно было закодировать двоичным оптимальным кодом необходимо и достаточно, чтобы все вероятности источника сообщения представляли собой числа равные целой отрицательной степени числа 2, т.е. P_i=  , где а_i - целое. Действительно как видно из неравенства (2.8) в таком случае вероятности P_s при выбранном нами способе определении длины кодового слова m^s определятся, как  . При этом среднее число символов кода приходящихся на одно сообщение в соответствии с (2.9) равно . В свою очередь энтропия источника сообщений Н_a равна  . Таким образом получили, что h_с = h _{с min}=Н_a откуда после деления обеих частей последнего равенства на К можно придти к выражению (2.12). Рассуждая аналогичным образом можно показать, что и в случае кодирования сообщений источника неравномерным кодом с произвольным основанием М оптимальный код может быть получен при условии равенства вероятности всех сообщений целым отрицательным степеням числа М, т.е. при  , где а_i - целое и при этом  . Если распределение вероятностей кодированного источника не обладает указанным свойством, эффективный код не будет оптимальным и соответствующая ему h > h _min. Величина Y = h_min/ h (2.12а), характеризующая степень близости неравномерного статистического кода к оптимальному называется эффективностью кода. Таким образом нижний предел в условии теоремы, может быть, достигнут лишь при определенном распределении вероятности источника сообщений. Однако приближение к нему может быть сколь угодно близким при увеличении длинны К последовательности кодируемых сообщений. При этом рост эффективности системы передачи информации сопровождается увеличением задержки сообщений. И так из рассмотренной теоремы вытекает, что для любого источника дискретных сообщений (т.е. характеризуется любым многомерным распределением вероятностей) скорость передачи информации по идеальному каналу может быть сделана сколь угодно близкой к пропускной способности канала при отсутствии потерь информации. При этом приближение тем больше, чем больше длина сообщения К, что указывает на возможность обмена задержки на скорость передачи информации.

Вопрос 8

Решение задач с помощью компьютера включает в себя следующие основные этапы, часть из которых осуществляется без участия компьютера.

1. Постановка задачи:

1. сбор информации о задаче;

2. фоpмулиpовка условия задачи;

3. определение конечных целей решения задачи;

4. определение формы выдачи результатов;

5. описание данных (их типов, диапазонов величин, структуры и т.п.).

2. Анализ и исследование задачи, модели:

1. анализ существующих аналогов;

2. анализ технических и программных средств;

3. pазpаботка математической модели;

4. разработка структур данных.

3. Разработка алгоритма:

1. выбор метода проектирования алгоритма;

2. выбор формы записи алгоритма (блок-схемы, псевдокод и др.);

3. выбор тестов и метода тестирования;

4. проектирование алгоритма.

4. Пpогpаммиpование:

1. выбор языка программирования;

2. уточнение способов организации данных;

3. запись алгоритма на выбранном языке пpогpаммиpования.

5. Тестирование и отладка:

1. синтаксическая отладка;

2. отладка семантики и логической стpуктуpы;

3. тестовые расчеты и анализ результатов тестирования;

4. совершенствование пpогpаммы.

6. Анализ результатов решения задачи и уточнение в случае необходимости математической модели с повторным выполнением этапов 2 - 5.

7. Сопровождение программы:

1. доработка программы для решения конкретных задач;

2. составление документации к решенной задаче, к математической модели, к алгоритму, к пpогpамме, к набору тестов, к использованию.