Загребаев Методы обработки статистической информации в задачах контроля 2008

няется под названием «закон больших чисел», а вторая под названием «центральная предельная теорема».

Предельные теоремы описывают свойство устойчивости массовых случайных явлений. Суть устойчивости в том, что конкретные особенности каждого отдельного случайного явления почти не сказываются на среднем результате массы таких явлений. В узком смысле под законом больших чисел понимается ряд теорем, в каждой из которых для тех или иных условий установлен факт приближения средних характеристик большого числа опытов к некоторым определенным постоянным. Например, теорема Бернулли утверждает, что при большом числе опытов, если вероятность события не изменяется от опыта к опыту, частота события сходится по вероятности к вероятности появления этого события. Тогда тео-

рема Бернулли утверждает, что lim P( Xn − A < ε) =1.

n→∞

Центральные предельные теоремы касаются уже не средних величин массовых случайных явлений, а предельных законов распределения. Приведем смысл наиболее важных из них.

Неравенство Чебышева. Пусть имеется случайная величина X с числовыми характеристиками mx и Dx . Тогда для любого ε > 0 вероятность того, что случайная величина X отклонится от своего математического ожидания больше, чем на ε, ограничена сверху

величиной Dε2x , т.е. P ( X − mx ≥ ε)≤ Dε2x .

Теорема Чебышева. При достаточно большом числе независимых опытов среднее арифметическое значение случайной величины X сходится по вероятности к ее математическому ожиданию mx .

Если x1, ..., xn – значения случайной величины X в n опытах, то

	n
	∑xi
Y =	i=1	, M[X ] = m	x	, D[X ] = D	x	. Тогда теорема Чебышева гово-
n	n

рит о том, что при любом сколь угодно малом ε > 0 и при числе опытов n → ∞ вероятность того, что Yn − mx < ε стремится к 1.

51

Обобщенная теорема Чебышева. Если X1, ..., Xn – независи-

мые случайные величины с mx1 , ..., mxn и Dx1 , ..., Dxn и, возможно,

разными законами распределения и если все Dxi < α , i =1, n , то

при n → ∞ среднее арифметическое наблюдаемых значений величин X1, ..., Xn сходится по вероятности к среднему арифметическому их математических ожиданий, т.е.

ε > 0 N : n > N			x	∑mx			>1− δ.
	P	∑ i −		i		< ε
δ>0			n	n
Если случайные величины X1, ..., Xn			зависимы, то по теореме Мар-

кова можно найти условие, при котором среднее арифметическое наблюдаемых значений сходится по вероятности к среднему арифметическому их математических ожиданий.

		Теорема Маркова. Если имеются зависимые случайные величи-
	ны	X1, ..., Xn и при n → ∞	D[∑xi ]	→ 0	, то среднее арифметиче-
			n2

ское наблюдаемых значений случайных величин X1, ..., X n сходит-

ся по вероятности к среднему арифметическому их математических ожиданий.

Теорема Ляпунова (Центральная предельная теорема). Закон распределения суммы независимых случайных приближается к нормальному закону, если все величины имеют конечные mx и

Dx , и ни одна из величин по своему значению резко не отличается от остальных.

Элементы теории информации

В качестве меры априорной неопределенности системы в теории информации применяется характеристика, называемая энтропией. Если, например, система может находиться в состояниях x1, ..., xn с

вероятностями, соответственно, p1, ..., pn , то энтропией системы называют величину:

52

n
H (X ) = −∑ pi log pi .	(1.1.101)

i=1

Понятно, что самой простой системой с точки зрения неопределенности является система, которая может находиться лишь в двух состояниях. При равновероятности состояний значение энтропии будет равно 1, если логарифм взять по основанию 2. Эта величина принимается обычно за единицу измерения информации и обозначается «бит». Если система может находиться в n равновозможных состояниях, то

H ( X ) = −n 1n log n = log n .

Если известно, что система находится в состоянии j, то понятно, что p j =1, а pi = 0 при i ≠ j . В этом случае из формулы (1) полу-

чим, что H ( X ) = 0 . То есть если состояние системы известно, то

энтропия системы равна нулю. Таким образом, энтропия обращается в нуль, когда одно из состояний системы достоверно, а остальные невозможны. Энтропия растет с ростом числа возможных состояний и максимальна, если все состояния равновероятны.

Пусть рассматривается сложная система, являющаяся объединением, например, двух систем – системы X, которая может находиться в состояниях x1, ..., xn и имеет энтропию H ( X ) и системы

Y, которая может находиться в состояниях y1, ..., ym и имеет энтропию H (Y ) . Число возможных состояний объединенной системы равно n m и вероятность находиться системе в состоянии (xi , y j ) есть pij . Тогда энтропия сложной системы будет равна:

n m
H (X , Y ) = −∑∑ pij log pij .	(1.1.102)

i=1 j=1

Если системы независимы, т.е. pij = pi p j , то из выражения

(1.1.102) следует, что

H ( X , Y ) = H ( X ) + H (Y ) .

53

Для произвольного числа независимых систем имеем:

s

H (X1, ..., X s ) = ∑ H (Xk ) .

k =1

Если системы зависимы, то вводится понятие условной энтропии

n

H (Y / xi ) = −∑ p( yi / xi )log p( yi / xi ) ,

i=1

где H (Y / xi ) – энтропия системы Y при условии, что система X находится в состоянии xi . Средняя энтропия системы Y, опреде-

ленная с учетом того, что система X может находиться в любом из своих состояний, есть

n	n m
H (Y / X ) = ∑ pi H (Y / xi ) = −∑∑ pij log p( y i / xi ) .
i=1	i=1 j=1

Можно показать, что если две системы объединяются в одну, то энтропия объединенной системы есть

H ( X , Y ) = H ( X ) + H (Y / X ) .

Для любого числа объединяемых систем:

H (X1, ..., Xs ) = H (X1) + H (X2 / X1, X2 ) +... + H (Xs / X1, ..., Xs−1) .

Энтропия каждой следующей системы вычисляется при условии, что состояние всех предыдущих известно.

Если над системой X производится наблюдение и состояние системы становится известным, тогда энтропия системы становится равной нулю. Таким образом, информация, получаемая при полном выяснении состояния системы, есть:

n
I X = H (X ) = −∑ pi log pi .	(1.1.103)

i=1

Если в формуле (1.1.103) выражение −log pi рассматривать как частную информацию о системе, получаемую от отдельного сообщения о том, что система находится в состоянии xi с вероятностью pi и обозначить Ixi = −log pi , то IX имеет смысл средней (пол-

54

ной) информации о системе, получаемой от всех возможных сообщений с учетом их вероятностей. Наибольшую информацию несут сообщения о тех событиях, которые наименее вероятны.

Рассмотрим случай, когда состояние системы X непосредственно не наблюдается, а может наблюдаться состояние системы Y, связанной с ней. Предположим, что измеряется плотность потока нейтронов некоторым датчиком. Тогда результатом измерения является сигнал на выходе датчика, представляющий собой преобразованное истинное значение плотности потока нейтронов f ( X ) в

сочетании с ошибкой измерения Z.

Y = f ( X ) + Z .

Возникает вопрос: какое количество информации о системе X дает наблюдение над системой Y?

Это количество информации может быть оценено как уменьшение энтропии системы X в результате получения сведений о системе Y.

IY →X = H (X ) − H (X / Y ) .

Можно показать, что IY →X = I X →Y = IX ↔Y . Величина I X ↔Y называется полной взаимной информацией. Если системы X и Y независимы, то I X ↔Y = 0 . Если состояние одной системы полностью

определяет состояние другой	и наоборот, то IY ↔X = I X = IY =
= H (X ) = H (Y ) . Пусть теперь	состояние одной из систем полно-

стью определяется состояние другой. Тогда первая система называется подчиненной. Если из двух систем X и Y подчиненной является система X, то условная энтропия системы X, если система Y находится в известном состоянии, есть H ( X / Y ) = 0 . Следовательно,

IY →X = H (X ) . Полная взаимная информация, содержащаяся в двух системах, равна сумме энтропий составляющих систем минус эн-

тропия объединенной системы IY ↔X = H (X ) + H (Y ) − H (X , Y ) . Можно показать, что для непрерывных систем полная взаимная

	информация может быть вычислена по формуле:
	+∞ +∞	f (x, y)	dxdy , (1.1.104)
	I Y ↔X = ∫ ∫ f (x, y)log
		f1(x) f2 ( y)
	−∞ −∞

55

где f (x, y) – плотность распределения объединенной системы ( X , Y ) ; f1(x), f2 ( y) – плотности распределения систем X и Y, соот-

ветственно.

Полная взаимная информация есть неотрицательная величина и для независимых систем I X ↔Y = 0 .

1.2. Статистические оценки параметров распределения

Оценка параметров распределения [3] является одной из целей математической статистики – науки создания методов сбора и обработки статистических данных для получения научных и практических выводов. Первая задача математической статистики – указать методы сбора статистических сведений. Вторая задача – разработать методы анализа статистического материала в зависимости от поставленных целей. Помимо указанной ранее, в качестве целей обычно рассматриваются следующие: оценка неизвестной вероятности события, оценка неизвестной функции распределения, оценка степени зависимости одной случайной величины от другой и многие другие.

Основные понятия математической статистики

Генеральная и выборочная совокупности

Генеральная совокупность – совокупность объектов, из которой производится выборка. Каждый объект характеризуется некоторым количеством признаков, значение которых может меняться от объекта к объекту.

Выборочная совокупность (выборка) – совокупность случайно отобранных объектов.

Объем совокупности – число объектов данной совокупности. Повторная выборка – совокупность, при которой отобранный объект возвращается в генеральную совокупность перед выбором

следующего объекта.

Бесповторная выборка – совокупность, при которой отобранный объект не возвращается в генеральную совокупность перед выбором следующего объекта.

56

Если выборка правильно отражает пропорцию генеральной со-

вокупности, то она называется представительной или репрезента-

тивной. Выборка будет представительной, если ее осуществить случайно и если при этом все объекты имеют одинаковую вероятность попасть в эту выборку.

Две интерпретации выборки

1.Практический вариант. Под x1, ..., xn понимаются фактиче-

ски наблюдаемые в конкретном эксперименте значения исследуемой случайной величины X, т.е. x1, ..., xn – конкретные числа.

2.Гипотетический вариант. Под X1, ..., X n понимается лишь обозначение тех n значений, которые мы могли бы получить. В такой интерпретации X1, ..., X n – случайный вектор. Причем закон

распределения каждой его компоненты один и тот же и совпадает с законом распределения случайной величины X, т.е. f (x1) = f (x2 ) =... = f ( xn ) = f (x) .

Статистическое распределение выборки

Для вычисления теоретических значений характеристик генеральной совокупности необходимо знать закон распределения случайной величины в генеральной совокупности, однако на практике его заменяют эмпирическим законом (выборочным), вычисленным только на основе имеющихся в нашем распоряжении выборочных данных. В уменьшенной модели исследуемой генеральной совокупности наблюдаемые, т.е. практически реализованные, значения x1, ..., xn интерпретируются как возможные, а вероятности появле-

ния этих возможных значений приписываются равными зарегистрированным относительным частотам их появления, т.е. если

x1, ..., xn различны, то эта вероятность равна 1n . Если среди них есть совпадения, т.е. xi наблюдается ni раз, то вероятность их по-

явления приравнивается к относительной частоте wi = nni . Наблю-

даемые значения xi называются вариантами, а последовательность вариантов, записанная по возрастанию, – вариационным рядом.

57

Наиболее простой задачей математической статистики является определение числовых характеристик рассматриваемой совокупности, характеризующих среднее значение и разброс.

Генеральная и выборочная средние

Генеральная средняя – среднее арифметическое значение признака объекта в генеральной совокупности.

	N
	∑xi
x =	i=1	.	(1.2.1)
г	N

Пусть генеральная совокупность объема N содержит объекты с различными значениями признака X и из этой совокупности наудачу извлечен объект xi . Вероятность извлечения объекта с призна-

ком xi равна N1 . С этой же вероятностью может быть извлечен и

любой другой объект. Будем рассматривать величину признака X как случайную величину, возможные значения которой имеют, со-

ответственно, величины	x , ..., x	N		и одинаковые вероятности						1	.
	1									N
Тогда математическое ожидание этой величины X есть
							N
N		1			1		∑xi
M[X ] = ∑xi pi = x1				+... + xN		=	i=1	.	(1.2.2)
			N		N
i=1							N

Из сравнения выражений (1.2.1) и (1.2.2) видно, что генеральная средняя совпадает с математическим ожиданием M[X ] = xг . Это

справедливо и в том случае, если в генеральной выборке есть объекты с совпадающими значениями признака.

Выборочная средняя. Выборочной средней называется величина

	n
	∑xi
x =	i=1	.	(1.2.3)
в	n

58

Заметим, что выборочные значения x1, ..., xn признака X, полученные в итоге независимых наблюдений, можно рассматривать как реализацию случайных величин X1, ..., X n , имеющих то же распре-

деление и те же числовые характеристики, что и сама случайная величина X. Выборочная средняя является случайной величиной, обладающей соответствующим законом распределения и его числовыми характеристиками. Действительно, поскольку выбор объектов случаен, то при следующем эксперименте можем получить другие значения x1, ..., xn , а следовательно, и другое среднее.

Генеральная и выборочная дисперсии

Под генеральной дисперсией понимается величина

	1			N
Dг =				∑(xi − xг)2 .	(1.2.4)
	N i=1
Соответственно, среднее квадратическое отклонение σг = Dг .
Аналогично для выборочной дисперсии:
	1			n
Dв =			∑(xi − xв)2 .		(1.2.5)
		n i=1
И среднее квадратическое отклонение есть σв =					Dв .

Приведем полезную формулу для определения дисперсии, свя-

зывающую квадрат средней величины (x)2

и средний квадрат слу-

чайной величины

x2

.

Формула для вычисления дисперсии

n

n

∑(xi − x )2

∑(xi2 − 2xi x + x 2 )

D =

i=1

=

i=1

=

n

n

n

n

∑xi2

∑xi

=

i=1

− 2x

i=1

+ (x)2 =

x2

− (x)2 .

(1.2.6)

n

n

59

Статистические оценки параметров распределения

Пусть требуется определить числовые характеристики случайной величины из некоторой генеральной совокупности по данным конкретной выборки. При этом, конечно, полученное значение может отличаться от истинного. Иными словами, мы нашли некоторую оценку случайной величины. Отметим сразу, что под термином «оценка» понимается не только само полученное численное значение, но и формула, которая использовалась для ее получения. Например, среднее значение можно получить как по формуле

		n
		∑xi		xmax + xmin
	x =	i=1	, так и из выражения		, где x	, x	– макси-
	в	n		2	max	min

мальное и минимальное значение в выбранной совокупности соответственно. Возникает вопрос о наилучшем выборе формулы для получения оценки интересующего нас параметра по выборке. В общем плане задача ставится следующим образом. Пусть X – случай-

ная величина, имеющая плотность распределения f (x, θ) , где θ – вектор параметров, значения и статистические свойства которых не-

известны. Исследовать все элементы генеральной совокупности для

G

определенияGθ не представляется возможным, поэтому о векторе

параметров θ судят о выборке из генеральной совокупности. Функцию результатов наблюдений, с помощью которой судят о значении

вектора параметров θ, называют статистической оценкой вектора

параметров θG . Для простоты в дальнейшем будем говорить об оценке одного параметра θ. Рассмотрим некоторое множество выборок объемом n каждая. Выборочную оценку параметра θ по i-й выборке

будем обозначать θ*i . Так как состав каждой выборки заранее неиз-

вестен, то θ*i является случайной величиной. Таким образом, оценка параметра является случайной величиной.

60