2. Составим логарифмическую функцию правдоподобия:

n

LnL nLn xi .

i1

3.Для определения максимума логарифмической функции правдоподо-

бия составляем и решаем следующее уравнение:

		d Ln(L)			n			n
							xi 0.
Откуда оценка ˆ		d						i 1		Р
	параметра определяется так:
		ˆ			n
					n
				xi					У
				i 1
При сравнение это выражение с оценкой , полученной по методу мо-
									Г

ментов (см. раздел 8.1), мы понимаем, что они одинаковы. МетодыИ, рассмот-

ренные нами, как видим, абсолютно разные. Это свидетельствует о их достоверности.

				8.3. Свойства оценокБ
Пусть x1,x2,...,xn – выборка из генеральной совокупности. Обозначим
							а
оценку параметра				. Ран	мы				, что эта оценка определяется с
			через
						показали				x1,x2	,...,xn , т. е. являляет-
помощью различных методов по получ нной выборке
ся функцией от x1,x2,...,xn .					е
				(x1,x2,...,xn).
				т
Так как			выборка типа x1,x2,...,xn – случайна, то и выборочные
				тоже являются случайными.							Следовательно, она
функции (x1,x2,...,xn) –
			и
тоже имеет свои характеристики.
		любая
1. Оценка			называется несмещенной, если ее математическое ожида-
ние совпадает с самим оцениваемым параметром:
	б
и
				M[ ] .
В противном случае оценка называется смещенной:
Б
				M[ ] .
Полную погрешность
					, возникшую от замены на , можно пред-
ставить так:
					( M[ ])			(M[ ] ).
			полная
					систематическая			случайная
			погрешность
					погрешность			погрешность
108

Таким образом, если оценка несмещенная, то систематическая погрешность равна нулю, т. е. M[ ] .

Наиболее опасна систематическая ошибка, если она заранее неизвестна или среднее квадратичное отклонение не очень большое. Среднее значение случайной ошибки M[M[ ] ] 0.

Мы уже отмечали, что x1,x2,...,xn – независимые случайные величины, имеющие тот же закон распределения, что и Х, генеральная случайная величина, в частности, выборочное математическое ожидание и дисперсия имеет те же числовые характеристики, т. е. справедливы тождества:

M[xi] M[X],

Р

(*)

D[xi ] D[X].

У

Проверим смещенность оценки математического ожидания выборочной

Г

средней

x

. Используя обычные свойства математического Иожидания, найдем

M

x

:

Б

1

n

1

n

на основании тождества (*)

M[x] M[

xi]

M[xi

]

имеем M

i

M

X

n

n

i 1

i 1

x

n

а

1

nM[X] M[X].

к

Обозначим M X ,

оценки

x

; видим, что M[ ] , значит, выборочное

т

среднее x является несмещенной оц нкой математического ожидания.

Проверим смещеннос ь

дисперсии выборочной дисперсией S2 .

о

Найдем математическ е

жидание от выборочной дисперсии:

и

л

б

и

Б

109

2

1

n

2

1

n

2

M[S

] M[

(xi x)

] M[

{(xi M[X]) (x

M[X])}

]

n i 1

n i 1

1

n

n

M[

{ (xi

M[X])2 2(

M[X]) (xi M[X]) n(

M[X])2}]

x

x

n

i 1

i 1

n

n

n

(xi M[X]) xi

M[X] nx

nM[X]

i 1

i 1

i 1

1

n

M[

{i 1 (xi

M[X])2 2n(

x

M[X])2 n(

x

M[X])2}]

Р

n

1

n

M[

{i 1 (xi

M[X])2 n(

M[X])2}]

x

n

n

1

M[(xi

M[X])2] M[(

x

M[X])2]

И

n i 1

1

n

1

D

x

D

x

применим тождества (*)

nD[X] D[x],

i

У

n i 1

n

1 n

1

n

1

n

Г

1

но D[x] D[

xi]

D[ xi

]

D[xi]

используем (*)

D[X].

2

2

n i 1

n

n

n

i 1

i 1

Б

То есть дисперсия выборочной средней в n раз меньше дисперсии гене-

ральной случайной величины. Тогда

а

2

к1

1

M[S

] D[X

]

D[X] (1

)D[X].

n

n

е

Обозначим D X

2

S

2

, S

. M[ ] , значит, выборочная дисперсия

является

смещенной

ценк й дисперсии.

Можно

отметить,

что

выборочная

дисперсия

S2

т

несмещенной

оценкой,

т. к. при

n,

ас мптотически

о

стремящемся к бесконечности, смещение стремится к нулю.

При решенииипрактических задач часто используется несмещенная оцен-

ка дисперсии – это модифицированная выборочная дисперсия:

является

б

2

1

n

(x

)2 .

S

x

и

i

n 1 i 1

2 :

Найдем математическое ожидание от

S

Б

2

1

n

n

1

n

n

M[S ] M[

(xi

x)2] M[

(xi

x)2] M[

S2]

n 1 i 1

n 1n i 1

n 1

n

2

n

1

M[S

]

1

D X

D[X].

n 1

n

n 1

110

Обозначим D X , S2 ; как видим, M[ ] , значит, оценка S2 уже

несмещенная. При малых n этой формулой пользоваться лучше (при n > 30 оценки совпадают). На практике используют еще одну несмещенную оценку дисперсии – когда известно математическое ожидание:

1

n

S2

(xi mx)2 .

n i 1

Найдем M S2

:

Р

1

n

1

n

1

n

M[S2] M[

(xi mx)2]

M[(xi mx)2]

D[xi ]

n i 1

n i 1

n i 1

используем тождества

1

nD X D[X].

созвездочкой(*): D xi D X

n

У

Г

И

Обозначим D X ,

2

S

.

M[ ] , значит, оценка S

2

несмещенная.

Б

2. Оценка

параметра называется состоятельной,

если она сходит-

ся по вероятности к параметру ,

а

выполняется:

т. е. если

0

( )

limP(| | ) 1.

е

n

Условие ( )

на практике провкрить трудно. Поэтому для проверки со-

т

простые условия:

стоятельности оценок применяют бол

о

lim(M[ ] ) 0,

а)

n

б)

lim(D[ ]) 0.

n

л

будет

состоятельной,

если при n смещение

Как видим, оценка

устраняется и д

сперс я оценки стремится к нулю.

Пример.

и

Проверим состоятельность оценки математического ожидания выбороч-

и

x

x

ной средней

. Ранее мы показали, что

является несмещенной оценкой ма-

темат ческогобожидания,

т. е. условие а) выполняется и без вычисления преде-

ла. Провер м условие б), найдем D

x

:

применяя

1

n

1

n

1

n

D

x

D

xi

D

xi

D xi

n

2

n

2

тождества (*)

Б

n i 1

i 1

i 1

1

n

D X

i 1 D X

.

( )

n2

n

111

Видим, что при n предел D X будет стремиться к нулю, значит n

условие б) выполняется. Следовательно, x является состоятельной оценкой математического ожидания.

3. Несмещенная оценка параметра называется эффективной, если она имеет наименьшую дисперсию среди всех оценок при одном и том же объеме выборки n.

Для определения наименьшей дисперсии эффективной оценки * пара-

постоянную величину c, то ее дисперсия будет равна нулю, а ошибка может

метра применяется формула Рао-Крамера:
*				1
					2		,				(8.15)
D
		ln f (x, )								Р
		nM
где f (x, ) – плотность распределения генеральной случайной величиныИ											Х.
	смещенная, то малость ее дисперсии еще не го-
Отметим, если оценка
								У
										взять любую
ворит о ее эффективности. Например, если в качестве оценки
							Г
					Б

быть какой угодно большой.					к
Пример.
Задана нормальная случайная величина Х с плотностью распределения
				оценки					2
					1		а(x m)
								2 2
		*	f (x,m, )			e			.
			т
					2
Проверим эффективнос ь						математического ожидания выборочной
средней	x	.

Найдем дисперсию эффек ивной оценки параметра m. Обозначим эффек-

тивную оценку m . Чт бы в сп льзоваться формулой Рао-Крамера (8.15), вы-

числим

о

иln f (x,m, ) ln

(x m)2

.

2

л

2 2

Найдем производную:

б

ln f (x,m, )

x m

m

2 .

и

Подставим полученное выражение в (8.15):

D X

*

1

4

2

.

(8.16)

БD

m

x m 2

nM x m 2

n

n

nM

2

Ранее мы показали, что такую же дисперсию имеет x (см. формулу ( )). Видим, что правые части формул (8.16) и ( ) совпадают, следовательно, выборочное среднее x является эффективной оценкой параметра m.

112

Отметим, что оценки, полученные методом наибольшего правдоподобия, являются состоятельными. Если существуют эффективная оценка, то метод наибольшего правдоподобия позволяет найти ее, но не всегда оценки, полученные этим методом, являются несмещенными.

Р

И

У

Г

Б

а

к

е

т

о

и

л

б

и

Б

113

ГЛАВА 9. ОСНОВНЫЕ ЗАКОНЫ РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН В МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ

										Р
В математической статистике наиболее часто применяются такие распре-
деления:									И
1. Нормальное (Гауссовское) распределение.
2.	Распределение Пирсона, распределение 2 (хи-квадрат).
3.	Распределение Стьюдента (t							Г
							– распределение).
4.	Распределение Фишера (F – распределение).
								Б		при изуче-
Нормальный закон распределения мы подробно рассмотрелиУ
нии раздела 6.5 теории вероятностей и здесь рассматриваться не будет.
Отметим, что в законы распределений математической статистики входит
								а
гамма-функция, поэтому необходимо позн комиться с этой функцией и рас-
смотреть ее свойства.
					е
				т
		9.1. Гамма-функцияки ее свойства
			о
Гамма-функцией или ин егралом Эйлера второго рода называется функ-
ция следующего вида:
		л					x 1e xdx ,
										(9.1)
	б					0
где – параметр, отикоторого зависит значение интеграла.
Свойства гамма-функции:
и
1. 1 2 1.
Б
Доказательство:
Подставим =1 в (9.1): 1 x1 1e xdx e x |0 1.
2. 1				0
				при >0.
Доказательство:
Вычислим интеграл в (9.1), используя интегрирование по частям:

1 x e xdx x e x |0 x 1e xdx ( ).

0

0

114

							1
3.																	.
								2
Доказательство:																					сделаем замену
1												1				x					переменных:																				1		u2															u2
							x 2e											dx								u2												2 u			e		2 udu									2 e						2 du				.
		2						0														x																0													0
																										2
																							dx udu
Значит,										если значение кратно																										1	, то					легко вычисляется с исполь-
																																		2																			И
зованием свойства 2:																																																										Р
																																								Г( Г)( )							У
	3										1										1		1						1
																	1																,									6
																					2								2
	2										2												2																			5
																																								Б2
																																										4
	5										3						1				3		3							3		1					.					Г
																					2								2 2													3
	2										2												2
Для целых – гамма-функция это фа тори л:
								( 1)!.																													а					1
Например,																						т										к
																																																	1		2						3 4				5
(3) 2! 2, (4) 3! 6,
																													(5) 4! 24.
																			о								е																										Рис. 9.1
Отметим, что смысл гамма-функции – распространение понятия фактори-
ал на нецелые										значения																																					2
																				. На рис. 9.1 приведен график гамма-функции.
								л											9.2. Распределение 2 (хи-квадрат )
Случайная ве ичина имеет закон распределения , если она определяет-
ся так:		б																																			n
																															2 Xk2 ,																														(9.2)
где Xи, ,X																																					k 1
									– независимые нормированные нормальные случайные величины,
1								n
тБ. е. X					xk			mx																																f x								1		e			x2
														с плотностью распределения																																							2		.
k								x																																								2

Распределение случайной величины, определенной по формуле (9.2), на-

зывается распределением Пирсона.

Покажем, что плотность распределения случайной величины 2 , формула (9.2), определяется следующим равенством:

115

1

n

1

x

f (x)

x2 e 2.

(9.3)

n

n

22

Г

2

Здесь для краткости записи X 2 ;

0 X ;

Г U 1e UdU – гамма-функция.

0

Р

Для доказательства используем

аппарат

характеристических

функций.

Найдем характеристическую функцию случайной величины Xk2 , которая вхо-

дит в формулу (9.2), учитывая, что Xk2 имеет нормированное нормальное рас-

пределение:

У

itX2

itx2

1

x2

1

x2

1 2it

k

2

2

Иdx.

g0 t M e

e

e dx

Г

2

e

2

Используем подстановку

z x

, тогда

1 2it

а

это интеграл

z

2

z

2

1

g0 t

1

e 2

dz

1

e

2

dz

Б

1 2it

2

.

1 2it

2

2

к

Пуассона

2

1 2it

2

е

n

Согласно 5-му свойству характеристической функции (для суммы неза-

висимых случайных величин) найд м хара теристическую функцию g1 t

слу-

чайной величины 2 :

т

n

о

2

it Xk

n

2

n

t g0 t

n

g1 t M

eit

M

e k 1

M eitXk

g0k

1 2it 2 .

k 1

k 1

функцию g2 t

Найдем характер ст ческую

случайной величины

2 ,

плотность распреде ен я которой определяется по формуле (9.3):

б

и

itx

1

itx

n

1

x

1

n

1

x

1 2it

g2

t

e лf x dx

e

x2 e 2dx

x2 e 2

dx

n

n

и

22 Г

0

22 Г

2

0

2

U

x

1 2it

БdU

2

n

n

1

1

2u

1

U 2dU

2

2

dx

1 2it

2

e

n

n

2

n

1 2it

1 2it

n

n

1 2it 2

2u

22

Г

0

22

Г

x

2

2

1 2it

n

1

n

1

n

1 2it

n

U 2

т. к. U 2

e UdU

e UdU Г(

)

2

.

0

0

2

116

При сравнении правых частей характеристических функций g1 t и g2 t мы увидим, что они совпадают. Значит случайная величина, определяемая

по формуле (9.2), действительно имеет плотность распределения вероятностей, определяемую формулой (9.3).

Найдем математическое

ожидание и дисперсию случайной величины 2 .

Продифференцируем 2 раза g2 t :

n

n

1

2

g

t 1 2it

2i ,

2

2

Р

n

n

n

1

g

t

2i

1 1 2it

2

2i .

2

2

2

И

Значения производных при t 0:

У

g

0

in,

2

2 n n

2

2

g

0

4i

1 i n 2n ,

2

Б

2 2

1 n,

2 n n 2 ,

а

Г

M

2

n,

D

2

2

n

2

2n

n

2

2n.

1 1

ое

2

Таким образом,

математич с

ожидание

равно числу степеней сво-

т

боды n, а дисперсия – удво нномукчислу степеней свободы. Числом степе-

ней свободы называется парам

р , равный числу независимых случайных ве-

о

личин в (9.2) и который записывают n.

С

ростом

n распределение становится симметричным относительно

n 2,

и

n по центральной теореме закон распределения

т. к. с увеличением

должен стремиться к н рмальному закону (рис. 9.2).

л

б

и

Б

Рис. 9.2

117