Методичка по регрессионному анализу. Ибрагимов Н.М., Карпенко В.В., Коломак Е.А., Суслов В.И. / 6

			1	k
x i - среднее и s2i - дисперсия по i-й группе;	s2e	=		∑	nis2i
			N i =		1

дисперсия по группам. Сокращенная модель имеет следующий вид:

ni x i = ni (β 0++ ββ i ), i== 1, k .

При естественном требовании b0 = x , которое эквивалентно

- суммарная

∑k	ni bi = 0,
i =	1

					−		n2	−−		n3	. . −−	nk
							n			n		n
матрица C						1			1			1		и bi =	x i−− x .
	имеет вид					1			0 . .			0
						0			1 . .			0
				.					.		.	.
				.					.		.	.
						0			0 . .			1
	1		k
sq2 =			∑	ni b2i		-		объясненная				дисперсия,			равная полной дисперсии в
		N i =		1

сокращенной модели.

Полная дисперсия в исходной модели распадается на две части:

s2x = s2q++ s2e

- объясненную и остаточную, или в терминах дисперсионного анализа - межгрупповую и внутригрупповую дисперсии, которые имеют, соответственно, k и

N− k− 1 степеней свободы. Применяя F-критерий, можно оценить статистическую значимость использования данной группировки в целом или выделения отдельных групп.

Теперь рассматривается общий случай L-факторной модели.

В этом случае N больше NF на общее число повторений по всем сочетаниям значений факторов. Пусть

nI	-		число	наблюдений при I-м сочетании значений факторов;
nI ≥ 1, ∑ nI== N ;
I
xI - среднее значение и s2I - дисперсия наблюдений при I-м сочетании;
s2e =	1		∑ nIs2I	- суммарная внутригрупповая или остаточная дисперсия для
		N
			I

исходной модели с N− NF− 1 степенями свободы. Сокращенная модель имеет вид:

n0.5X = n0.5Zββ ,

где n - диагональная NF-матрица {nI}; X - NF-вектор-столбец {xI};

Z, β - аналогичны L-факторной модели без повторений. Пусть далее

~ = 1 M N n,

N

× NJ -матрица M~

Z~

/ MZ~ ~ J ,

NM~ JJ - диагональная

J

JJ

=

J

в частности

NJ- матрица {nJIJ } , где nJIJ

- количество наблюдений при IJ-м сочетании значений

~

FF

=

~

факторов J ( M

M );

/ ~

J

J

J

-матрица M

JJ

=

C

J

JJ

C

,

N −

× N −

M

J

J

=

C

J / ~

JJ

X

J

,

N −

-вектор-столбец m

M

где

X

J

=

~

JJ − 1~ J / ~

J

средневзвешенных x по

M

Z

MX

- N

-вектор-столбец

сочетаниям значений факторов J.

Матрица M и вектор m системы нормальных уравнений для b составляются

естественным образом из блоков M JJ и mJ.

Формулы для MJ (в данном случае MJJ), mJ и XJ, приведенные для модели

без повторений, являются частным случаем этих формул при n =

IN F .

2

/

− 1

m−− x

2

==

X

/ ~ ~ −− 1

−− 1

N F

~

дисперсия в

sq =

m M

M(M

)MX - полная

сокращенной модели или объясненная дисперсия в исходной модели.

Разные эффекты могут оставаться ортогональными ( M

JJ = 0 при

≠

J ) в

J

одном специальном случае,

когда каждый

более младший

фактор

делит

все

выделенные до него подгруппы в одинаковых пропорциях, т.е.

~

∏

~

jj

(в

M =

M

j F

частности, когда количество повторений nI для всех сочетаний I одинаково). В этом

случае для ортогональности эффектов достаточно матрицы Сj выбрать так, чтобы
/	~ j	j	= 0 . Эти требования удовлетворяются, если данные матрицы обладают
1k j	M C

описанной выше (для однофакторной модели с повторениями) структурой:

		−	c	j		1	(nj	,..., nj ) .
Сj =					, где cj =
						nj
		Ik j − 1					2	k j
						1

Такие матрицы обобщают структуру матриц Сj модели без повтрений.

Для этого специального случая можно построить формулы решения задачи дисперсионного анализа, обобщающие приведенные выше формулы для модели без повторений.

	В общем случае указанный выбор матриц Сj обеспечивает равенство нулю
только	M 0j. Особым выбором CJ (p(J)>1) можно добиться равенства нулю еще
некоторых блоков общей матрицы M.
	Матрица CJ не обязательно должна равняться прямому произведению Сj по
j J .	Она должна быть размерности				NJ × NJ−	и иметь ранг NJ− , т.е., например,
		−	cJ		- (NJ −	NJ− ) × NJ− -матрица. Поэтому для
обладать структурой		I		, где cJ
			N	J

определения этой матрицы необходимо иметь

(NJ − NJ− ) × NJ− условий.

Поскольку

NJ −

NJ ==

∑

N

J

,

−

J

−−

J

J ≠ J

нужное количество условий содержат требования

1

/

~

J

JJ

J

JJ

== 0

M

=

C

M

C

J,

N

0 (C0 = 1).

для всех

J

J≠

≠ J , включая пустое множество

J

=

Таким образом, матрицы CJ всегда можно определить так, чтобы эффекты нулевого и высшего порядков были ортогональны друг с другом и с остальными эффектами, и, в частности, b0 = x .

Дисперсия s2q в общем случае не делится на факторные дисперсии, как это было в модели без повторений; точно в ней выделяется только дисперсия эффектов

высшего порядка (при указанном выборе CJ):

s2F = X/ MC~ F (CF / MC~ F )− 1 CF / MX~ ,

и для нее непосредственно можно проверить нулевую гипотезу с помощью F- критерия

s2 N −F

F .

s2e (N − N F−− 1)

Нулевые гипотезы для остальных факторных дисперсий имеют вид β J = 0, и в

числителе F-статистики помещается величина

bJ / (MJJ − 1 )− 1 bJ N J− ,

где M JJ − 1 - соответствующий блок матрицы M− 1, а в знаменателе -

s2e (N − N F−− 1) или (s2e + s2F )(N++ N −F−− N F−− 1) - если

нулевая гипотеза для s2F не отвергается.

Теоретические вопросы и задания

1(*). Доказать смещенность МНК-оценок в случае наличия ошибок в независимых переменных.

2.Почему, если известна оценка W ковариационной матрицы ошибок независимых переменных, то приведенная формула расчета оценок параметров простой регрессии обеспечивает их несмещенность?

3.Вывести формулу оценки Вальда углового коэффициента регрессии.

4(*). Почему при наличии ошибок во всех переменных применима

ортогональая регрессия? Каким образом в этом случае регрессия в метрике Ω -1 играет роль взвешенной регрессии?

5. Для модели с фиктивными переменными вывести формулы, связывающие параметры ~β ,ββ и β в общем случае.

6(*). Показать эквивалентность обоих приведенных способов устранения линейной зависимости между фиктивными переменными в исходной форме уравнения регрессии.