Основы теории информации
Содержание
Введение
Основные термины теории информации
Количественная мера информации
Информационная и физическая энтропия
Семантическая информация
Введение
Теория информации – наука о статистических (случайных) процессах передачи информации в технических, природных и социальных системах. Принято считать, что она берет свое начало с работ К. Шеннона «Математическая теория связи», который в 40-е годы XX в. ввел основные понятия этой науки: меру количества информации, пропускную способность канала связи, эффективность кодирования сообщения.
Основные термины теории информации
Термин «информация»
происходит от латинского «infomatio», что означает «разъяснение, осведомление, изложение». В широком смысле информация – это общенаучное понятие, включающее в себя обмен сведениями между людьми, обмен сигналами между живой и неживой природой, людьми и устройствами.
Информация — это: данные, определенным образом организованные, имеющие смысл, значение и ценность для своего потребителя и необходимая для принятия им решений, а также для реализации других функций и действий; - совокупность знаний о фактических данных и зависимостях между ними, являющихся одним из видов ресурсов, используемых человеком в трудовой деятельности и быту;
◦- сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы представления; ◦- сведения, неизвестные до их получения; ◦- значение, приписанное данным;
◦- средство и форма передачи знаний и опыта, сокращающая неопределенность и случайность, и неосведомленность; ◦- обобщенный термин, относящийся к любым сигналам, звукам, знакам и т.д., которые могут передаваться, приниматься, записываться и/или храниться.
Знания – это:
◦- вид информации, отражающей знания, опыт и восприятие человека - специалиста (эксперта) в определенной предметной области; ◦- множество всех текущих ситуаций в объектах данного
типа и способы перехода от одного описания объекта к другому; ◦- осознание и толкование определенной информации, с
учетом путей наилучшего ее использования для достижения конкретных целей, характеристиками знаний являются: внутренняя интерпретируемость, структурируемость, связанность и активность. «Знания есть факты плюс убеждения плюс правила».
Сведения — это знания, выраженные в сигналах, сообщениях, известиях, уведомлениях и т.д.
Количественная мера информации
Для хранения информации в компьютере используются специальные устройства памяти.
Дискретную информацию хранить гораздо проще непрерывной, т. к. она описывается последовательностью чисел. Для записи дискретной информации можно использовать ряд переключателей, различные виды магнитных и лазерных дисков, электронные триггеры и т.п. Одна позиция для двоичной цифры в описании дискретной информации тоже называется битом (bit, binary digit – «двоичная цифра»).
Бит – это очень маленькая единица, поэтому часто используется величина в 8 раз большая – байт (byte, В). Как и для прочих стандартных единиц измерения для бита и байта существуют производные от них единицы, образуемые при помощи приставок кило (K), мега (M), гига (G или Г), тера (T), пета (P или П) и других. Но для битов и байтов они означают не степени 10,
астепени двойки:
◦Кило – 210 = 1024
◦Мега – 220
◦Гига – 230
◦Тера – 240
◦Пета – 250
Информационная и физическая энтропия
Энтропия - понятие, пришедшее из физики и распространившееся на все сферы жизнедеятельности. Означает усреднение, распыление, оскудение, хаотичность, беспорядочность. Например: сегодня у меня в голове - полная энтропия. В теории информации: величина, характеризующая степень неопределенности системы.
Информация может пониматься и интерпретироваться по-разному. Вследствие этого имеются различные подходы к определению методов измерения информации, меры количества информации. Раздел информатики (теории информации) изучающий методы измерения информации называется информметрией.
Количество информации – числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности, определённости, выбору (вероятности) состояний отображаемой системы.
Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определённой длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это возможно или мера разнообразия множества состояний системы задаётся
формулой Р. Хартли:
H = k × logаN,
где k – коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры.
Если измерение ведётся:
- в экспоненциальной системе, то k=1, H=lnN (нат);- в двоичной системе, то k=1/ln2, H=log2N (бит);
- в десятичной системе, то k=1/ln10, H=lgN (дит).
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность означает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении,
– х бит и число N связаны формулой:
2х =N.
Данная формула является показательным уравнением относительно неизвестной х. Из математики известно, что решение такого уравнения имеет вид:
х = log2N (логарифм от N по основанию 2)