2. Информация и неопределенность. Измерение неопределенности

Количественно выраженная неопределенность получила название энтропии. Если после получения некоторого сообщения наблюдатель приобрел дополнительную информацию, то неопределенность уменьшилась.(смотри предыдущий параграф)

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв встречаются очень редко, то неопределённость уменьшается еще сильнее.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Измерение неопределенности смотри предыдущий билет

3. Кодирование информации и формы ее представления в памяти компьютера

Современный компьютер может обрабатывать

числовую,

текстовую,

графическую,

звуковую

и видеоинформацию.

Все эти виды информации в компьютере представляются в двоичном коде (с помощью двух символов 0 и 1:

Целые числа в компьютере кодируются двоичным кодом (путем деления числа на два).

Существуют два формата представления чисел в памяти компьютера: с фиксированной точкой и с плавающей точкой.

Первый способ применяется к целым числам, а второй - к вещественным числам (целым и дробным).

Под точкой подразумевается знак-разделитель целой и дробной части числа. Для представления целых используются форматы, кратные байту: 1, 2 и 4 байта.

Представление целых чисел в формате с фиксированной точкой. Однобайтовое представление (8 битов) применяется только для положительных целых чисел. Например, число в двоичной системе счисления А₂ = 11110001₂ будет храниться в ячейке памяти следующим образом:

Наибольшее положительное целое число, которое может быть записано в 1 байтовом формате равно 255₁₀ или 11111111₂.

В 16-разрядном представлении число 2002₁₀ = 11111010010₂ имеет вид:

0

0

0

0

0

1

1

1

1

1

0

1

0

0

1

0

Для положительных и отрицательных целых чисел обычно используется 2 и 4 байта, при этом старший бит выделяется под знак числа: 0 – плюс, 1 – минус.

Для представления отрицательных чисел используется дополнительный код, который существенно упрощает работу процессора и увеличивает его быстродействие.

Дополнительный код для отрицательного числа равен дополнению его величины до числа, возникающего при переполнении его разрядной сетки.

Использование такого кода удобно тем, что процессору достаточно уметь лишь складывать числа, так как операция вычитания двух чисел сводится к сложению с дополнительным кодом вычитаемого, что можно записать следующим образом:

,

где А – положительное число;

В – отрицательное число;

- дополнительный код числа В.

Пример. Необходимо найти дополнительный код для отрицательного числа -2012 в 16-разрядном компьютерном представлении. В соответствии с приведенным правилом получим:

- прямой код числа |-2012| по модулю равен 2012, в двоичной системе счисления оно равно: 0000011111011100₂;

- инвертирование разрядов числа: 1111100000100011₂;

- прибавление единицы: 1111100000100100₂;

Прямой код	00000111110111002
Инверсия	11111000001000112
Дополнительный код	11111000001001002

Представление чисел в формате с плавающей точкой. Вещественные числа хранятся и обрабатываются в компьютере в формате с плавающей точкой. Формат чисел с плавающей точкой базируется на экспоненциальной форме записи, в которой может быть представлено любое число. Так, число А можно записать в виде:

^,

где m - мантисса числа;

 - основание системы счисления;

n - порядок числа.

Числа с плавающей точкой должны записываются в нормализованной форме, требующей представление мантиссы в виде правильной дроби и имеющей после запятой цифру, отличную от нуля.