3. Условно-энтропийный, алгоритмический, семантический и прагматический (ценностный) подходы к определению количества информации
.docxМИНОБРНАУКИ РОССИИ
Санкт-Петербургский государственный
электротехнический университет
«ЛЭТИ» им. В.И. Ульянова (Ленина)
Кафедра информационных систем
отчЁт
по практической работе №3
по дисциплине «Теория информации, данные, знания»
Тема: Условно-энтропийный, алгоритмический, семантический и прагматический (ценностный) подходы к определению количества информации.
Студент гр. 9300 |
|
ФИО |
Преподаватель |
|
Писарев И. А. |
Санкт-Петербург
2020
Цель работы
Сформулировать ответы на вопросы с указанием источников информации.
Вопросы по теме:
Понятие условной энтропии.
Сущность алгоритмического подхода к измерению количества информации.
Формула А. А. Харкевича для оценки ценности информации.
Решить задачи:
Составьте информационный тезаурус по теме «информатика».
Приведите примеры двух последовательностей символов некоторого алфавита и предложите сравнительную оценку количества информации на основе алгоритмического подхода А. Н. Колмогорова.
Выполнение работы
Вопрос 1.
Условной энтропией случайной величины X при условии B называется величина:
Отличие от формулы Шеннона заключается в том, что вместо вероятностей используются условные вероятности . (2, С. 39)
Обозначим через событие, состоящее в том, что случайная величина примет значение . Условной энтропией случайной величины при заданном значении случайной величины называется величина :
После преобразований формула принимает вид: (2, С. 39–40)
Вопрос 2.
Идея алгоритмического измерения количества информации была выдвинута в 1965 г. А.Н. Колмогоровым. Суть её заключается в том, что количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой. Чем больше различаются два объекта между собой, тем сложнее программа перехода от одного объекта к другому. (2, С. 53)
Вопрос 3.
В основе определения ценности информации лежат такие её свойства, как операциональность и эмерджентность, а также предложенный А. А. Харкевичем способ исчисления ценности через приращение вероятности достижения той цели, для чего данная информация используется. (2, С. 58–59)
А. А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации:
где и — вероятность достижения цели соответственно до и после получения информации. (1, С. 5)
Задача 1.
Информатика — наука, изучающая структуру и общие свойства информации, а также вопросы, связанные с её сбором, хранением, поиском, преобразованием, распространением и использованием в различных сферах человеческой деятельности.
Информация — это передаваемые сведения, пополняющие чьи-либо знания, увеличивая их определённость.
Информационная энтропия — это мера неопределённости состояния некоторой случайной величины с конечным числом состояний.
Информационные технологии — машинизированные способы обработки, хранения, передачи и использования информации.
Задача 2.
Алгоритм для последовательности символов «АБАБАБАБАБАБ»:
Написать символ А.
Написать символ Б.
Повторить шаги 1–2 шесть раз.
Алгоритм для последовательности символов «АББВВВГДДЕЕЕ»:
Написать символ А.
Написать символ Б.
Повторить шаг 2 один раз.
Написать символ В.
Повторить шаг 4 два раза.
Написать символ Г.
Написать символ Д.
Повторить шаг 7 один раз.
Написать символ Е.
Повторить шаг 9 два раза.
Для первой последовательности символов потрачено меньше шагов. Значит, количество информации в первой последовательности меньше.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
Чанышев О. Г. Лекция 4. Информация, данные, знания. 8 с.
Луковкин С. Б. Теоретические основы информатики: учебное пособие. Мурманск: Изд-во МГТУ. 2008. 125 с.