12. Средняя длина кодовой цепочки. Первая теорема Шеннона.

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором средняя длина кодовой цепочки (среднее количество знаков кода, приходящее на один знак первичного алфавита) будет сколь угодно мало отличаться от отношения средних информаций на знак в первичном и вторичном алфавите

или

Чтобы приблизить K(A,B) к минимальному значению Kmin(A,B) можно:

1. уменьшать числитель, выбирая в ряду минимально доступный;

2. увеличивать знаменатель, выбирая для вторичного алфавита

Обычно выбирают (источники без памяти) и , тогда:

где pi - частота i символа алфавита, ki - длина его кода

Относительной избыточностью кода Q(A,B) называется отношение

Первая терема Шеннона: при отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором относительная избыточность кода будет сколь угодно близкой к нулю

Если в качестве вторичного используется двоичный алфавит, то:

Первая терема Шеннона: при отсутствии помех средняя длина двоичного кода может быть сколь угодно близкой к средней информации, приходящейся на знак первичного алфавита.

13. Характеристики способов построения двоичных кодов. Примеры кодов.

Определяющие характеристики способов кодирования:

1. длительность (одинаковая или разная) элементарных сигналов, которые соответствуют знакам 0 и 1;

2. длина кода (одинаковая или разная) для разных знаков первичного алфавита (равномерный и неравномерный коды).

3. выделение отдельного кода для каждого знака первичного алфавита (алфавитное кодирование) или возможны коды для сочетаний знаков (блочное кодирование).

14. Кодирование текстовой информации. Текстовые форматы.

Алфавит для представления текстов на естественном языке содержит: 52 латинских буквы, десятичные цифры, знаки препинания, математические знаки, специальные знаки и т.д., всего примерно 150 символов.

- 8 двоичных цифр

Группа из 8 бит, используемая как единое целое, например, для кодирования одного символа текста, называется байтом (byte - BinarY TErm).

Группа байт, совместно используемая для представления каких-либо данных, называется полем. Количество байтов в поле называется длиной поля.

Объемный способ измерения количества информации Iоб: один байт соответствует количеству информации в одном знаке первичного алфавита при равномерном кодировании, 1байт = 8 бит.

Понятие формата

В общем случае формат понимается как строго определенный, исчерпывающе полный набор правил.

Конкретный способ кодирования (исчерпывающе полный набор правил) той или иной разновидности информации в компьютере принято называть форматом данных.

Текстовый формат определяет одну или несколько кодовых таблиц, которые используются для кодирования символов текста, а также полную совокупность возможностей и правил его оформления.

Некоторые текстовые форматы:

1. TXT (TeXT - текст) основывается на одной из кодовых таблиц для представления символов и практически не содержит никаких элементов его оформления;

2. RTF (Rich Text Format - богатый текстовый формат), содержит совокупность стандартных возможностей по оформлению текстов;

3. DOC (DOCument - документ) содержит подавляющее большинство используемых в современной практике возможностей по оформлению текстов;

4. PDF (Portable Data Format - переместимый формат данных) универсальный формат, воспринимаемый на компьютерах любого типа