Сигналы. Объем информации. Количество информации и энтропия.
Сигнал (в теории информации и связи) — материальный носитель информации, используемый для передачи сообщений в системе связи. Сигнал может генерироваться, но его приём не обязателен, в отличие от сообщения, которое должно быть принято принимающей стороной, иначе оно не является сообщением. Сигналом может быть любой физический процесс, параметры которого изменяются в соответствии с передаваемым сообщением.
По физической природе носителя информации:
электрические,
электромагнитные,
оптические,
акустические
и др.;
По способу задания сигнала:
регулярные (детерминированные), заданные аналитической функцией;
нерегулярные (случайные), принимающие произвольные значения в любой момент времени. Для описания таких сигналов используется аппарат теории вероятностей;
В зависимости от функции, описывающей параметры сигнала, выделяют аналоговые, дискретные, квантованные и цифровые сигналы.:
непрерывные (аналоговые), описываемые непрерывной функцией;
дискретные, описываемые функцией отсчетов, взятых в определенные моменты времени;
квантованные по уровню;
дискретные сигналы, квантованные по уровню (цифровые).
Информация – сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.
Данные могут рассматриваться как признаки или записанные наблюдения, которые по каким-то причинам не используются, а только хранятся.
В том случае, если появляется возможность использовать эти данные для уменьшения неопределенности о чем-либо, данные превращаются в информацию.
Синтаксическая мера информации.
Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.
Объём данных (V) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.
Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.
В компьютерной практике слово “бит” используется также как единица измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях и в неё может быть записана одна двоичная цифра (0 или 1). Основной единицей измерения информации является байт. Для измерения ещё бóльших объёмов информации используются такие величины:
1 Килобайт = 210 байт = 1024 байт
1 Мегабайт = 210 Килобайт = 1024 Килобайт
1 Гигабайт = 210 Мегабайт = 1024 Мегабайт
1 Терабайт = 210 Гигабайт = 1024 Гигабайт
Количество информации на синтаксическом уровне определяется через понятие энтропии системы.
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы или энтропией
После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию, уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала Hβ(α).
Т
огда
количество
информации системе, полученной в
сообщении β, определится как
т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Iβ(α)=H(α). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации.
Коэффициент (степень) информативности
(лаконичность) сообщения определяется
отношением количества информации к
объему данных, т.е.
С
увеличением Y уменьшаются объемы работы
по преобразованию информации (данных)
в системе. Поэтому стремятся к повышению
информативности, для чего разрабатываются
специальные методы оптимального
кодирования информации.