2. Информационные характеристики непрерывных (аналоговых) источников информации
2.1. Понятие о непрерывных (аналоговых) источниках информации
Для непрерывных источников характерным является непрерывное изменение во времени или пространстве физического параметра, значение которого измеряется, обрабатывается (например, вычисляется плотность распределения вероятности) или передается на расстояние для получения информации (сведений) о том или ином явлении, факте, процессе и т.п.
При исследовании различных процессов или явлений производят измерение большого количества разнообразных физических величин: температуры, давления, освещенности, перемещений, скорости движения, механического напряжения, электрического напряжения, силы тока и т.п.
Обычно все разнородные физические величины в современных измерительных системах с помощью специальных первичных преобразователей (часто называемых датчиками) переводят из неэлектрической формы в стандартные электрические сигналы, например, в электрическое напряжение, изменяющееся в строго определенном диапазоне: от –1 В до +1 В, от –5 В до +5 В и др. В качестве примера датчика, преобразующего изменение температуры в технологическом процессе в электрическое напряжение, можно привести хорошо известную термопару. Структурная схема такого преобразования показана на рисунке.
Смысл
этого преобразования состоит в установке
некоторого соответствия между величинами
и
.
Подобно источникам дискретных сообщений, для источников непрерывных сообщений можно ввести количественные меры информации.
2.2. Энтропия непрерывного источника информации. Количество информации в одном замере непрерывной случайной величины
Для того чтобы перейти от изучения источников дискретной информации к исследованию источников непрерывной информации, мы можем, как это обычно делается в математике, непрерывную величину, являющуюся переносчиком информации, приближенно представить как дискретную.
Почему это можно сделать. Значения параметров непрерывной величины получают в результате измерения. Все измерительные приборы имеют погрешность измерения и конечную разрешающую способность. Поэтому случайный непрерывный параметр Х может быть определен только с погрешностью ∆х. Вследствие этого можно перейти от непрерывного представления случайной величины к дискретному представлению.
Для
этого диапазон
изменения непрерывной случайной величины
делим на конечное число
малых интервалов
и, перенумеровав их, можно совокупность
всех значений
внутри
-го
интервала представить одним средним
значением
.
Априорная вероятность значения
выражается через функцию плотности
распределения вероятностей
:
.
Пример.
Пусть на
выходе датчика (см. рисунок) формируется
напряжение в диапазоне от –5 В до +5 В (
= 10 В).
Если
это напряжение измеряется стрелочным
вольтметром с ценой деления
.=.0,1.В,
то в результате измерений мы, по сути,
заменяем непрерывную шкалу значений
выходного напряжения датчика дискретной
шкалой с числом интервалов измерений
.=.10.В./.0,1.В.=.100.
В результате
одного измерения (замера) мы получаем
некоторое количество информации, для
оценки которого мы можем воспользоваться
формулой энтропии дискретного источника
информации (1.6), которая в общем случае
с учетом выше изложенных обозначений
примет вид
. (2.1)
Устремляя
,
проделаем широко используемое в
математике преобразование формулы
(2.1) к виду
, (2.2)
где
будем называть полной энтропией источника
информации,
– плотностью распределения вероятностей
непрерывной случайной величины
или, для краткости, плотностью
распределения.
В
формуле (2.2) введен дифференциал
с учетом того, что
.
Однако в технике измерения и преобразования
непрерывных величин значение
(цена деления), каким бы малым ни было,
остается конечным, что учтено в (2.2), где
наряду с дифференциалом
сохранено и обозначение
.
Выражение (2.2) можно преобразовать следующим образом:
Учитывая,
что
[3], получим
, (2.3)
где
первое слагаемое по структуре сходно
с (1.6), что позволило его назвать приведенной
энтропией источника непрерывной
информации
:
. (2.4)
В
технике измерений и преобразований
непрерывных величин цена деления часто
обозначается
.
Поэтому в дальнейшем введем замену
и тогда формулу (2.3) представим как
. (2.5)