ФАКТОРНЫЙ АНАЛИЗ

Модель факторного анализа

Рассмотрим корреляционную матрицу R, полученную из матрицы данных X, и рассмотрим несколько признаков. Наличие корреляции между ними можно понимать двояко: либо один из них определяет остальные, либо существует некоторый скрытый признак, не включенный в матрицу данных, оказывающий влияние на коррелированные признаки. Такие скрытые признаки называют общими факторами.

Основное предположение факторного анализа состоит в следующем: признаки из матрицы данных можно описать посредством небольшого числа общих факторов. Другими словами, сложные взаимосвязи между признаками определяются относительно более простой, скрытой за внешними проявлениями, структурой, отражающей наиболее характерные и часто повторяющиеся взаимосвязи

Следовательно, предполагается, что каждый признак	X j является функцией небольшого числа общих факторов
F1,... Fm и характерного фактора Z j ,то есть	X j	F1,... Fm , Z j , где каждый из общих факторов
Fi, i 1, ...m оказывает влияние на все признаки		X j , j 1,... n а характерный фактор Z j
влияет только на признак X j

Характерный фактор выражает специфичность признака, которая не зависит от общих факторов и не выражается через них.

В различных факторных моделях по-разному объясняется специфичность и накладываются различные ограничения на общие факторы.

Часто задача факторного анализа понимается как задача аппроксимации большой матрицы корреляций признаков меньшей матрицей факторных нагрузок или как задача аппроксимации матрицы исходных данных матрицей значений факторов на объектах. При таком подходе появляется возможность оценить как точность получаемого описания исходных данных, так и выигрыш, полученный при сжатии описания.

Предполагается, что факторная модель является линейной, т.е.
	m
X j	ajk Fk djZ j ,где
	k 1
X j	x1 j ,... xN j T	- исходный j-й признак, измеренный на N объектах;
Fk	f1k ,... fNk T	- скрытый k-й фактор, принимающий значения на N объектах;
Z j	z1 j ,...zNj T	.
		- характерный фактор;
ajk , j 1,... n, k 1,... m		- факторные нагрузки, характеризующие влияние k-го фактора на j-й признак,
		где n- число исходных признаков m- число общих	m n
составляющие матрицу A n m факторов,

Такую систему линейных уравнений называют факторным отображением, а факторные нагрузки - его элементами.

Рассмотрим содержательный смысл такой модели. Пусть признак X j измерен на i-ом объекте, т.е.
m
xi j ajk fik	djzi j

k 1

Рассмотрим психологический эксперимент, состоящий в выполнении испытуемыми ряда тестов. Тогда совокупность тестов образует совокупность исходных признаков. Значениями таких признаков на объектах являются оценки, получаемые испытуемыми за выполнение тестов. Рабочая гипотеза состоит в том, что индивидуальная оценка теста определяется:

а) способностями, необходимыми для его выполнения;

б) степенью выраженности этих способностей у данных испытуемых.

Если предположить, что способности - это общие некоррелированные факторы, то линейная модель интерпретируется
следующим образом. Согласно формуле,
xi j - оценка человека i при выполнении теста j;
fik	- степень выраженности у человека i способности k (значение k-го фактора на i объекте);
aj k	- степень проявления k способности в j-ом тесте (нагрузка k-го фактора в j тесте).
Если предположить, что k способность является решающей при выполнении j теста, то нагрузка aj k
будет положительной и высокой. Если одновременно человек			i в достаточной степени наделен этой способностью,
то значение		fik будет также положительным и большим, а произведение ajk fik внесет существенный вклад
в хорошую оценку выполнения теста.

Если предположить, что k способность совершенно не нужна при выполнении теста, то нагрузка aj k будет нулевой. Если даже человек i щедро одарен этой способностью (значение fik положительно и велико), произведение ajk fik будет нулевым. Это означает, что для данного человека и данного теста эта способность не влияет на оценку теста.

Предположение о линейности факторной модели является сильным упрощением реальных взаимодействий. Тем не менее, такая модель экономична и часто является хорошим первым приближением реальных процессов.

m

Рассмотрим снова факторное отображение X j ajk Fk

d jZ j

и вычислим корреляции признака

X j с факторами

F , k 1, m

и

Z j

k 1

k

Получим:

r X j , Fk

1

1

m

T

m

1

1

m

T

a

FT F

d

Z T F a

r F ,F

d r

Z

,F

ajsFs djZ j

X j

Fk

Fk

js

j

N

N

s

k

N

j

j k

js s k

j

k

N s 1

s 1

s 1

m

T

m

1

1

m

r X j , Z j

1

1

ajs

FsT

Z j dj

Z Tj

Z j ajsr Fs, Z j dj

X Tj Z j

ajsFs djZ j

Z j

N

N

N

N

s 1

s 1

s 1

Такая система равенств называется факторной структурой, а ее левые части

r X j , Fk , r X j , Z j , j 1,... n, k 1,... m - ее элементами. Если общие факторы не коррелируют между собой

и с характерными факторами , то элементы факторной структуры совпадают с элементами факторного отображения
r X j , FK a jk	r X j , Z j dj		X j через элементы факторного отображения в предположении, что все
Выразим структуру дисперсии признака
факторы и признаки F , k 1,... m, Z		j	, X	j	, j 1,... n	стандартизированы:
	k

rj j r X j

,X j

1

1

m

T

m

2j 1

X Tj

X j

ajk Fk djZ j ajk Fk djZ j

N

N

k 1

k 1

m

m

1

m

1

m

1

1

ajk

ajs

FkT Fs dj ajk

FkT Z j dj ajk

Z Tj Fk d2j

Z Tj Z j

N

N

k 1

s 1

N

k 1

k 1

N

m

m 1

m

m

m

a2jk 2 ajk ajsr Fk ,Fs

dj ajk r Fk , Z j dj ajk r Z j , Fk d2j

k 1

k 1 s k 1

k 1

k 1

m

m 1

m

m

a2jk d2j 2 ajk ajsr Fk , Fs 2d j ajk r Fk , Z j

k 1

k 1 s k 1

k 1

Если общие факторы не коррелируют между собой и с характерными факторами, то m

2j 1 a2jk d2j h2j d2j

k 1

Величина h2j - доля дисперсии признака, приходящаяся на m общих факторов, называется общностью. Величина d2j определяет вклад характерного фактора в дисперсию признака и называется характерностью.

Структура факторных уравнений

Пусть X N n	- матрица данных, F N m		- матрица значений общих факторов,			Z N n
					- матрица факторных нагрузок D n n
	A n m
матрица значений характерных факторов,

диагональная матрица нагрузок характерных факторов.

Пусть X, F, Z - стандартизованные матрицы. Тогда линейная факторная модель запишется в виде системы уравнений

X X1,... X n

m

m

a1k Fk d1Z1,... ank Fk dnZ n

m

m

k 1

k 1

d1Z1,... dnZ n

a1k Fk ,... ank Fk

k 1

k 1

m

m

a1k f1k

ank

f1k

d z

d z

k 1

k 1

1 11

n 1n

m

m

a1k fNk

ank fNk

d1zN1

dn zNn

k 1

k 1

	f11
			f1m		a11
fN1			fNm		a1m

an1

0

z11

z1n d1

FA

T

ZD

anm

zN1

aNn 0

dn

Часто для наглядности факторные уравнения изображаются в виде структуры

	1 n		1 m			1 n		1 n		1 n
1		1			1		1		1
	X		F					Z		D
						AT
N		N		m			N		n

Заметим, что, вводя ранее линейную факторную модель, мы показали, что факторная структура совпадает с факторным отображением, а дисперсии признаков выражаются через общности и характерности лишь в предположении, что являются некоррелированными как общие факторы между собой, так и общие и характерные факторы друг с другом. В этом случае матрица факторных нагрузок A вычисляется как матрица взаимных корреляций исходных признаков и общих факторов:

1

1

FAT ZD

T

1

1

XT F

F

AFT F

DT ZT F A

N

N

N

N

Вычислим корреляционную матрицу

1

1

T

1

R

XT X

FAT ZD

FAT

ZD

AFT DT ZT

FAT ZD

N

N

N

1

AFT FAT DT ZT FA AFT ZD DT ZT ZD AAT 0 0

1

DT ZT ZD

N

N

1

AAT

DT ZT ZD

N

Главной задачей факторного анализа является определение матрицы A факторных нагрузок на основе данного

разложения корреляционной матрицы R. Заметим, что пока мы не делали никаких предположений о

коррелированности характерных факторов между собой. Поэтому в общем случае

1

Z

T

Z

N

является корреляционной матрицей с ненулевыми недиагональными элементами. Так как матрица D является

диагональной, то DT D D2 ,а диагональные элементы матриц

1

DT ZT ZD и D2

совпадают. Тогда:

1

1

N

T

2

T

T

2

2

T

T

2

R AA

D

D

Z

ZD D

R D

D

Z

ZD D

N

N

AAT

R

называется редуцированной корреляционной матрицей.

Так как диагональные элементы матрицы

1

DT ZT ZD D2

равны нулю, то полный вклад всех факторов в

N

дисперсии всех признаков составляет величину

m

m

a12k d12

a1k ank

n

k 1

k 1

2j trR tr

D2 tr AAT D2

tr

R

m

m

j 1

ank a1k

ank2 dn2

k 1

k 1

n

m

n

n

n

a2jk

d2j

h2j

d2j h2j

d2j

n

j 1

k 1

j 1

j 1

j 1

n	n
Отсюда легко выразить общности через характерности h2j	n d2j
j 1	j 1

В уравнении разложения матрицы R неизвестными являются матрицы A, D, Z. Если число общих факторов не известно, то можно решать задачу факторного анализа как поиск матрицы A с одновременным поиском набора минимальных в некотором смысле характерностей с целью максимизации доли объясняемой общими факторами дисперсии признаков. Из такой постановки с необходимостью следует коррелированность характерных факторов между собой.

С другой стороны, предположение о некоррелированности характерных факторов между собой приводит к более
простому разложению	R AAT D2

и к необходимости предварительного задания характерностей. В этом случае определение характерностей
является самостоятельной задачей. Исторически более ранней является именно такая постановка.
Рассмотрим матрицу						Y FAT			размером N n линейных комбинаций общих факторов и назовем ее матрицей
вычисленных признаков. Так как матрица Y не стандартизована, то вычислим ковариационную матрицу
1		1		FAT	T	1
		YT Y				FAT		AFT FAT AAT R
	N		N				N
Следовательно, дисперсии вычисленных признаков совпадают с общностями исходных признаков 2 Y j h2j

стоят общности исходных признаков.

так как на диагонали редуцированной матрицы

R

Рассмотрим взаимные ковариации вычисленных и исходных признаков

1

1

T

1

1

1

XT

Y

FAT ZD

FAT

AFT DT ZT FAT

AFT FAT

DT ZT FAT AAT R

N

N

N

N

N

Тогда

X j ,Y j h2j X j Y j r X j ,Y j 1 hj r X j ,Y j ,откуда

r X j ,Y j

X j ,Y j / hj hj

и

r2 X j ,Y j h2j

X j ,Y j

Следовательно, взаимная ковариация вычисленного и соответствующего исходного признаков равна квадрату их коэффициента корреляции и совпадает с общностью исходного признака. В свою очередь, взаимные ковариации вычисленных признаков и факторов составляют матрицу

N1 YT F N1 FAT T F N1 AFT F A