Многомерный статистический анализ (128

стью от меньшего числа других, непосредственно не измеряемых

общих факторов zG = (z1,..., zq ), q < p. При этом обычно предпола-

гается, что общие факторы независимы, центрированы и нормированы. Кроме того, каждая компонента ξi зависит также и от сво-

его «собственного» фактора ui , который включает в себя ту часть изменчивости ξi , которая не может быть объяснена общими фак-

торами.

Линейная модель факторного анализа записывается в виде

ξ=B zG +uG.	(7.1)
Здесь B = (bij ) – матрица размеров p ×q,	состоящая из коэффици-

ентов, называемых нагрузками общих факторов на причины ξi ;
собственный		фактор uG				имеет	нормальное	распределение:
uG ~ N(0,	), где		– диагональная матрица с элементами по глав-
ной диагонали δii ,i =					.
				1, p
Применительно к каждому конкретному наблюдению ξGν со-
отношение (7.1) дает
					ξν = BzGν +uGν.			(7.2)
В зависимости от интерпретации результатов эксперимента
вектор	общих		факторов			может	быть либо случайным:
zG ~ N(0, Iq ),		где Iq − единичная матрица размеров q ×q , либо рас-

сматриваться как вектор неслучайных параметров, значения которых меняются от наблюдения к наблюдению. В последнемслучае условие центрированностиинормированности z приобретаетвид

	1 n		zG	= 0;	1 n		zG	zG′ = I	q	.	(7.3)
	n ν=1				n ν=1
			ν				ν	ν
Сам вектор ξG независимо от интерпретации z											имеет нормаль-

ное распределение с вектором средних и матрицей ковариации D,

41

равными соответственно		Eξ = 0;				D = BB′+ . В			координатной
форме это можно записать так
	σ	ii	=	q	b2	+δ	ii	;
				ν=1	iν
									(7.4)
	= q
σij				biνbjν,			i ≠ j.
			ν=1
Перед тем как перейти к описанию методов оценивания неиз-
вестных параметров, подчеркнем, что переменные									z1,..., zq , в от-

личие от моделей регрессионного или дисперсионного анализов, в факторном анализе являются ненаблюдаемыми и сами подлежат оценке по результатам эксперимента. В этом состоит принципиальное отличие моделей факторного анализа от рассмотренных ранее моделей.

Таким образом, по многомерной выборке ξ = (ξ1,...,ξp ) необ-

ходимо оценить: нагрузки bi j ;

остаточные дисперсии δi i ; сами общие факторы zi .

Вначале оцениваются параметры bi j и δi i . Уточним, что в (7.4) известными считаются величины σij , σii или их оценки по

выборке.

Применение метода максимального правдоподобия приводит к необходимости решения трансцендентных уравнений, однако основная трудность здесь заключается в том, что без дополнительных ограничений на матрицу B решение уравнений правдоподобия вместе с (7.4) определяется с точностью до ортогонального преобразования, т. е. оно неоднозначно (так называемая проблема вращения факторов). Существует несколько способов выделения однозначной оценки B [3]. В пособии рассмотрен один из них,

заключающийся в том, что оценка B должна удовлетворять тако-

му условию: матрица B′B является диагональной, причем диагональные элементы различны и расположены в порядке убывания.

42

Можно показать, что при выполнении этого условия метод максимального правдоподобия приводит к необходимости итерацион-

ной процедуры для определения матриц B и			, которая заключа-
ется в следующем.			(0).
1.	Задают нулевое приближение матрицы
2.	Вычисляют V (0) = D − (0) ,	V (0) = B(0) B(0)′.
3.	Определяют матрицу B(0) ,	столбцы которой есть собствен-

ные векторы V (0) , соответствующие q наибольшим собственным значениям V (0).

4.	Вычисляют V (1) = B(0) B(0)′ и (1) = D −V (1) .
5.	Повторяют пункты 2–4.

При слабых ограничениях можно доказать, что получаемые оценки асимптотически имеют нормальное распределение.

После вычисления B и выполняют основную задачу – оценивают факторы как линейные комбинации признаков (наблюдений). Наиболее распространенным является метод Бартлетта. В этом методе факторы интерпретируются как неизвестные коэффи-

циенты регрессии компонент ξi по оценкам bij .

Запишем (7.2) в координатной форме для фиксированного на-

блюдения ξ ν = (ξ1 ν, ξ2 ν,..., ξp ν)′. Пусть z ν = (z1ν, z2ν,..., zqν)′–

значения факторов для ν -го наблюдения. Тогда справедливо равенство

q
ξiν = ∑ bij z jν +uiν.		(7.5)
j=1

Учитывая, что дисперсии собственных факторов uiν не равны, оценки для z jν можно получить взвешенным методом наименьших квадратов:

					−1ξν.
zGν = (B′			−1B)−1 B′			(7.6)

Формула (7.6) получена в пособии [1].

43

ПРИЛОЖЕНИЕ

1. Преобразование плотностей случайных векторов

	Пусть f (x1,..., xp )					– совместная плотность вероятностей векто-
ра	ξG = (ξ1,...,ξp ) .			Рассмотрим взаимно однозначное преобразова-
ние, задаваемое				p		функциями yi = yi (x1,..., xp ), i =			. Пусть
								1, p
xi	= xi ( y1,..., yp ),			i =			– обратное преобразование. Рассмотрим
					1, p
	G					где ηi = yi (ξ). Тогда совместная плотность
вектор η= (η1,...,ηp ),
G
η= (η1,..., ηp ) равна
	g( y1,..., yp ) = f (x1( y1,..., yp ),..., xp ( y1,..., yp )) mod | J | ,
		∂x
где J =		i	– матрица Якоби.
		∂y j

2. Сведения из матричной алгебры

Обозначим Ψm×n

(m ×n); Ψn = Ψn×n.

Следом матрицы

n

элементов trA = ∑aii .

i=1

– множество прямоугольных матриц размера

A Ψn называется сумма ее диагональных

Симметричная матрица Α Ψn называется положительноопределенной (неотрицательно-определенной), если для любого вектора a Rn , a ≠ 0 выполнено условие a/ Aa > 0, (a/ Aa ≥ 0 ). Пусть Ψ>n ( Ψ≥n ) – множество положительно-определенных (неотрица-

тельно-определенных) матриц. Неравенство А > В (А, В Ψ≥n ) озна-

чает, чтоматрицаАВявляетсяположительно-определенной. Теорема. (О спектральном разложении.) Если А – симметрич-

ная матрица, то справедливо соотношение C/ AC = Λ, A = CΛC/ ,

44

где С – ортогональная матрица; Λ – диагональная матрица, у которой по главной диагонали стоят собственные числа А.

3.Свойства следа матрицы

1.tr( A + B) = tr(B + A).

2.Если А, В – согласованные матрицы (т. е. АВ и ВА), то tr( AB) = tr(BA).

3.Если С – ортогональная матрица, то tr(CAC/ ) = trA.

4.Неравенство Минковского. Если А, В Ψ>n, то

[det( A + B)]1/ n ≥ (det A)1/ n + (det B)1/ n .

4. Правила дифференцирования функционалов по векторным или матричным параметрам

Если a,b Rn , A, B, X Ψn , то справедливы следующие равенства.

1. ∂(a/b) = b.

∂a

3. ∂(a/ Ab) = ab/ .

∂A

5. ∂det∂X X = (det X )(X / )−1

2.	∂(a/ Aa)			= 2Aa.
		∂a
4.	∂(trXAX / )				= X ( A + A/ ).
	∂		∂X
6.			ln (det		X / X ) = 2 X ( X / X )−1.
	∂X

5. Свойства оценок максимального правдоподобия

Пусть	θ = (θ ,...,θ	m	)	– вектор параметров некоторого распре-
деления.	1			G			максимального
	Тогда, если			θ = (θ1		,...,θm ) – оценки
правдоподобия этих параметров и функции ϕ							(θ),...,ϕ		G	осу-
								m	(θ)
						1	G
										G

ществляют взаимно однозначное соответствие, то ϕ1(θ),...,ϕm (θ)

есть оценки максимального правдоподобия этих параметрических функций.

45

СПИСОК ЛИТЕРАТУРЫ

1.Карташов Г.Д., Тимонин В.И., Канчавели А.Д. Дополнительные главы математическойстатистики. М.: МГТУим. Н.Э. Баумана, 2002. 52 с.

2.Андерсон Т. Введение в многомерный статистический анализ / Пер. с англ. М.: Физматлит, 1963. 500 с.

3.Айвазян С.А., Бухштабер В.М., Енюков И.С. Классификация и сни-

жение размерности. М.: Финансы и статистика, 1989. 608 с.

4.Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987. 320 с.

5.Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статисти-

ческие методы. М.: Финансы и статистика, 2000. 352 с.

46

	ОГЛАВЛЕНИЕ
Введение .......................................................................................................		3
1.	Многомерное нормальное распределение ......................................	4
2.	Статистические выводы о векторе средних ....................................	17
3.	Дискриминантный анализ .................................................................	23
4.	Метод главных компонент ...............................................................	27
5.	Канонические корреляции ................................................................	30
6.	Многомерный регрессионный анализ .............................................	35
7.	Факторный анализ .............................................................................	40
Приложение ..................................................................................................		44
Список литературы ......................................................................................		46

47

Методическое издание

Геннадий Дмитриевич Карташов Владимир Иванович Тимонин Лилия Михайловна Будовская

МНОГОМЕРНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ

Редактор О.М. Королева Корректор Л.И. Малютина

Компьютерная верстка А.Ю. Ураловой

Подписано в печать 18.06.07. Формат 60×84/16. Бумага офсетная.

Печ. л. 3,0. Усл. печ. л. 2,79. Уч.-изд. л. 2,02.

Тираж 300 экз. Изд. № 36. Заказ

Издательство МГТУ им. Н.Э. Баумана. 105005, Москва, 2-я Бауманская, 5.