2.2. Значимость независимого параметра

Оценочная функция

(2.2)

определяется значениями векторов независимых и зависимых переменных. При и получается известный случай одной независи­мой и одной зависимой переменных. В этом случае все резуль­таты выводятся из соотношения

, ; . (2.3)

Интересно выяснить, как в только что описанном общем слу­чае независимый параметр с его возможными значениями , , влияет на результат; при этом ограничимся сначала случаем одного варианта решения.

Реализации пара­метра должны лежать в области

.

Будем считать, что все остальные независимые параметры при­нимают фиксированные средние значения , , . В целях большей наглядности будем рассматривать случай единственного независимого параметра.

Влияние указанной области неопределенности параметра при выбранном варианте решения измеряется так назы­ваемой абсолютной релевантностью :

. (2.4)

Здесь обозначает среднее значение параметра . Без поте­ри общности знаменатель может считаться отличным от нуля. Если функция , определяемая равенством

монотонно возрастает, то

. (2.5)

Теперь для переменной решения и параметра определим относительную релевантность, которую будем называть коэф­фициентом влияния:

. (2.6)

Придавая переменной всевозможные значения, найдем мак­симум коэффициента влияния параметра :

. (2.7)

Случай большего числа переменных без труда рассматривается аналогично. Тогда вместо единственной переменной решения появляются все компоненты , по которым затем в формуле (2.7) берется максимум. Понятие значимости параметра , определяемое равенством

(2.8)

опирается на энтропию (ее определение содержится в разд. 2.3) независимого параметра , характеризующую его информативность.

Для значимости каждого параметра в соответствии с харак­тером задачи можно установить некоторую границу , ниже которой неопределенностью параметра можно пренебречь.

Так, при имеет смысл рассматривать как параметр с единственным (средним) значением . Можно также установить другую гра­ницу , выше которой предположения о функции распределе­ния рассматриваемого параметра принимаются без проверки гипотезы. В отсутствие таких границ ответ на вопрос, какие из этих параметров с наименьшими последствиями в случае ошиб­ки можно считать однозначными, дает последовательность значимостей независимых параметров.

2.3. Энтропия независимого параметра

Гензель предложил применять шенноновскую энтропию (2.13), рассматриваемую как мера неопределенности сигнала, передаваемого случайным источником, и для измерения неоп­ределенности.

Если параметр может принимать в общей сложности различных значений, каждое из которых имеет соответствую­щую вероятность появления , , то тогда мерой его неопределенности будет энтропия

. (2.9)

В связи с тем, что для всех справедливо неравенство всегда является неотрицательной величиной. В особом случае, когда одно из значений имеет вероятность появления величина , так как из вытекает, что для всех то есть принимает только одно значе­ние , и тем самым неопределенности не существует. С другой стороны, будет иметь максимальную величину, когда все значений параметра равновероятны: , где . В этом случае ни одно из возможных значений параметра не имеет приоритета по отношению к другим, и, таким образом, речь идет о полной неопределенности.

Рис. 2.2 отражает график изменения величины энтропии двух возможных значений независимого параметра в зависимо­сти от вероятностей появления обоих этих значений. Непосред­ственный перенос формулы (2.9) на случай бесконечно боль­шого числа возможных значений параметра невозможен, так как при этом величина стремится к бесконечности, посколь­ку неопределенность в этом случае и в самом деле неограни­ченно возрастает.

Рис. 2.2. Энтропия двух состояний одного параметра

Это же явление наблюдается при дискрети­зации какой-либо непрерывной функции плотности распределе­ния вероятностей, когда непрерывное распределение приближенно заменяется дискретным, а для последнего по формуле (2.9) вычисляется энтропия, которая затем, путем последовательного измельчения интервалов дискретности, по­стоянно уточняется. При использовании непрерывного закона распределения с бесконечной областью значений случайной величины, например, нормального распределения в области или распределения по экспоненциальному закону в области , перед дискретизацией данная область огра­ничивается путем отсечения на ее краях бесконечных интерва­лов значений с очень малыми вероятностями реализации.

Таким образом, даже и в таких случаях можно иметь дело с конечной областью значений случайной величины.

Если, например, для параметра с конечной областью изменения значений эта область разбивается на интервалов длиною и каждому -му интервалу, в соответствии с изменением на нем плотности вероятностей приписывается своя вероятность реализации значений параметра, так что , то справедливо выражение

. (2.10)

Согласно (2.9) после такой дискретизации можно определить, соответствующую величину энтропии:

.

На рис. 2.3 показаны графики изменения энтропии нормально распределенного дискретизированного параметра в зависимости от величины интервала дискретизации при различных значениях среднеквадратического отклонения . Выбор ширины интервала связан с требованиями к процеду­ре дискретизации непрерывно распределенного независимого параметра и будет обсужден в гл. 5.

Рис. 2.3. Зависимость энтропии нормально распределенного параметра от вели­чины интервала и среднеквадратического отклонения

Для приближенного вычисления энтропии непрерывно рас­пределенного параметра по заданной функции плотности вероятностей определим сначала, используя значения параметра на каждом соответствующем -м интервале, веро­ятность реализации каждого из этих значений:

, . (2.11)

Тогда, подставляя это выражение в формулу (2.9), получим

,

а с учетом того, что , выражение для энтропии примет вид

. (2.12)

При , что, согласно (2.10), равнозначно , первый член предыдущего выражения стремится к интегралу

.

Полагая, наконец,

, (2.13)

получим

, при .

Таким образом, для достаточно малых значений функцию можно считать аппроксимацией выражения для и тем самым рассматривать ее в качестве выражения для энтропии дискретизированного распределения с непрерывной функцией плотности вероятностей .

Первый член правой части выражения (2.13) отражает влияние на величину энтропии со стороны вероятностного рас­пределения, заданного функцией его плотности мы будем называть его главной составляющей энтропии;

в инженерной практике, и прежде всего в электротехнике, ее часто называют дифференциальной энтропией. Второй член – , не завися­щий от типа вероятностного распределения, обусловливает неограниченное возрастание энтропии при неограниченном из­мельчении интервала дискретности.

В табл. 2.2 приведены приближенные выражения для неко­торых часто используемых функций распределения, а также ошибки приближения в зависимости от числа интервалов.

Если имеющаяся информация о рассматриваемом вероят­ностном распределении недостаточна для его оценки, то, сле­дуя принципу гарантированности результата, содержащемуся в минимаксном критерии, с учетом, установленных на основе этой информации дополнительных условий , можно опре­делить максимально возможное значение энтропии. Таким об­разом, при непрерывном законе распределения из системы

(2.14)

и

определяется вид закона распределения и соответствующая ему главная составляющая энтропии.

В табл. 2.3 для трех случаев, для которых в качестве допол­нительных условий заданы области распределения параметров (а в третьем случае также среднее значение и среднеквадратическое отклонение), представлены соответствующие этим законам распределения выражения для главной составляющей максимальной энтропии.

Энтропию параметров в технических задачах, а также зна­чимость этих параметров можно определять описанным мето­дом в случаях, когда параметры представлены только в виде дискретного либо только непрерывного распределения. Так как в общем случае величина интервалов дискретизации задается произвольно (как правило, исходя из ограничений на вычисли­тельные затраты), величины энтропии, рассчитанные таким методом, нельзя без дополнительных оценок считать равными энтропии, соответствующей непрерывному распределению. Если для какого-либо непрерывного распределения задано, по край­ней мере, одно эквидистантное дискретное распределение, то величину интервала дискретности дискретного параметра мож­но принять за опорную при дальнейшем расчете энтропии дру­гих непрерывных параметров.

Если в условиях задачи даны различные дискретные пара­метры наряду с непрерывными, то общего подхода для всех конкретных случаев просто не существует. Если же удается перевести дискретное распределение в непрерывное, то в этом случае можно применить знакомый нам метод разбиения обла­сти распределения параметра на интервалов величиной .

По величине значимости определяется число интервалов дискретизации непрерывного параметра, что подробнее будет описано в разд. 5. Однако точность необходимых приближений не следует задавать слишком высокой, так как обычно число интервалов разбиения не оказывает сильного влияния на результат, а наша цель состоит в рассмотрении распределения одного значимого параметра из ограниченного вычислительны­ми затратами числа оцениваемых параметров внешних усло­вий среди неизвестных параметров.