- •Ответы к зачету по информатике.
- •2. Количество информации и неопределенность. Энтропия как свойство неопределенности.
- •3.Формула Хартли-Шеннона.
- •4. Единицы измерения информации.
- •5. Числовое кодирование информации.
- •6. Системы счисления: алфавит, основание. Позиционные и непозиционные системы счисления.
- •7. Перевод целых чисел из любой системы счисления в десятичную.
- •8. Перевод двоичных чисел в шестнадцатеричную систему счисления. Обратный перевод.
- •9. Кодирование текстовых данных. Виды кодировок.
- •10. Кодирование графических данных. Понятие пикселя, растра.
- •11. Базовая схема эвм. Машина фон Неймана. Базовые логические функции
- •12. Конструктивный состав аппаратных средств персонального компьютера.
Ответы к зачету по информатике.
-
Понятие информации и данных. Свойства информации. Виды информации.
Информация (от лат. informatio – разъяснение, осведомление) – любые сведения и данные, отражающие свойства объектов в природных (физических, биологических и др.), социальных, технических системах, передаваемые тем или иным способом, без применения или с применением технических средств.
Свойства информации: запоминаемость, передаваемость, преобразуемость, воспроизводимость, стираемость.
Виды информации: графическая или изобразительная, звуковая, текстовая, числовая, видеоинформация.
2. Количество информации и неопределенность. Энтропия как свойство неопределенности.
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Информационная двоичная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n, p — функция вероятности) рассчитывается по формуле:
Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только i-e состояние.
Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы[1]. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.
3.Формула Хартли-Шеннона.
Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.
Формула Хартли: I = log2N |
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. |
Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.