3. Кодирование информации.

Кодирование информации – набор символов – алфавит (определенный набор символов) – двоичный набор – двоичное кодирование.

«+»	«-»
Удобно реализовать технически Просто для понимания Двоичная система счисления Булева алгебра	Длинные последовательности Необходимость хранить большие объемы информации.

Алфавит	Набор символов
Языковой алфавит	Знаки препинания
Цифры	Знаки действий
Язык жестов	Мимика, жесты
Ноты, паузы	Знаки повышения и понижения тона
Спектр	Примитивы
Светофор	Дорожные знаки, разметка
Карты. Повышение зн. масти	Масть

4. Измерение информации – сравнение с эталоном.

Т.к. эталона не существует, значит, по правилам измерить нельзя.

Измерение:

1. Качественно – сравнение свойств.

2. Количественно – алфавитный – определенное количество информации с помощью определенного количество символов с учетом веса каждого символа.

1. Мощность алфавита

N – Мощность алфавита (кол-во информации)

i – Вес символа

N=2ⁱ Формула Хартли

Один двоичный разряд, используемый для кодирования = 1 бит

I=k*i

k – Количество символов

i – Вес символа

I – количество информации

Задача: ИНФОРМАТИКА 11*6=66 бит

2ⁱ=9, i=4, 4*11=44 бита

Русские буквы – 66; знаки – 15; латинский алфавит – 52; цифры – 10; специальные символы – 10; пробел; знаки действий – 11. Итого: 165.

165=2ⁱ; i=8; 8*11=88 бит.

2. Вероятностный подход.

Определяет количество информации через неопределенность знаний с учетом вероятности событий.

Метод двоичного поиска: сообщение, уменьшающее неопределенность в 2 раза = 1 бит информации.

N – Количество равновероятных событий

i – Количество информации, что произошло событие

N=2ⁱ

Не равновероятные события:

А – положительные события

М – отрицательные события

Р – вероятность событий

Р=А/М

Формула Шеннона:

i – Количество информации о том, что произошло событие.

2ⁱ = 1/Р

Задача: ученик получил 100 оценок: «5»-60, «4»-25, «3»-10, «2»-5. Получить количество информации о получении каждой оценки.

Р₅=0,6; Р₄=0,25; Р₃=0,1; Р₂=0,05

2ⁱ =0,6 = 1/0,6=10/6=1 2/3; i=1;

2ⁱ =100/25=4; i=2:

2ⁱ =10; i=4

2ⁱ =20; i=5

Чем меньше вероятность, тем больше информации содержится в нем.

5. Информация и Энтропия.

Энтропия – понятие для определения меры необратимого рассеяния энергии (термодинамика)

Энтропия – мера вероятности макроскопически. (статическая физика).

• Чем больше энтропия, тем больше вероятность события.

• Все процессы ведут к повышению энтропии.

Термодинамическая Энтропия – функция состояния термодинамических систем.

Математическая энтропия – измерения размеров наборов.

В теории информации мера неопределенности количества опыта, имеющая разные подходы

Min = 0, т.е. определенна.

Информационная энтропия – мера хаотичности.

I=log₂ (1/p(i)) – средняя энтропия сообщения.

Это количественно обосновал Л.Н. Бриллюен: Особое внимание уделяет теории информации. Изучал вопросы общности и взаимосвязи понятия энтропии в термодинамике и теории информации. Показал, что получение информации о состоянии физической системы эквивалентно соответствующему уменьшению её энтропии и, в согласии со вторым началом термодинамики, неизбежно сопровождается компенсирующим возрастанием энтропии какой-либо иной системы. 

Н+I=1, Н – энтропия, I – информация.

I = Н(до) – Н(после) «уменьшение энтропии»