85

1.4.4 Задача регрессии.

При построении изучаемых в дальнейшем алгоритмов оценивания важной является задача описания одного случайного вектора x при фиксированном значении другого статистически связанного с ним вектора y , так называемая задача регрессии x по y . В математическом

плане эта задача сводится к получению наилучшей в некотором смысле аппроксимации вектора

x с помощью функции

~

от вектора y .

Выберем при оценке качества аппроксимации

x(y)

квадратичную функцию вида

~

n

~

( y))

2

~

т

~

~

~

т

}.(1.4.32)

L(x − x ( y)) = ∑(xi − xi

= (x − x ( y))

(x − x( y)) = Sp{(x − x ( y))(x − x ( y))

i=1

Тогда задачу регрессии x

по

y можно

сформулировать как задачу

нахождения такой

функции

~

(y) , которая минимизирует критерий

x

~

т

~

~

т

~

(1.4.33)

J = M x,y (x − x( y))

(x − x(y)) = ∫ ∫

(x − x( y))

(x − x ( y)) fx,y (x, y)dxdy .

Из этого соотношения следует, что для решения сформулированной задачи требуется знание

совместной ф.п.р.в. fx,y (x, y) .

Нетрудно убедиться в том, что решением задачи регрессии является математическое

ожидание, соответствующее апостериорной плотности	f (x / y) , т.е. [2.1]
xˆ(y) = ∫xf (x / y)dx.	(1.4.34))

Этот результат доказывается весьма просто. Действительно, представляя интеграл (1.4.33) в виде

J = ∫ ∫

~

т

~

(x − x ( y))

(x − x ( y)) f (x / y)dxf ( y)dy

и дифференцируя его по оценке и, можем записать

d

~

т

~

~

т

(x

− x ( y))

(x − x( y)) f (x / y)dx = −2 (x − x( y))

f (x / y)dx = 0.

~

∫

dx( y) ∫

Отсюда следует, что

∫x

т

~ т

(y)∫ f (x / y)dx.

f (x / y)dx = x

Принимая во внимание условие нормировки, получаем, что оценка, минимизирующая

(1.4.33), определяется в виде (1.4.34).

Таким образом, решением задачи регрессии является условное математическое ожидание. При решении задачи регрессии нередко ограничивают класс функций, для которых осуществляется минимизация функционала (1.4.33). Наиболее распространенной является линейная регрессия, т.е. такая, у которой при минимизации функционала используется

линейная относительно вектора y функция вида

~x (y) = d + Ky .

86

Можно показать (см. раздел 2.4), что при известных значениях математических ожиданий x , y , матрицы ковариаций P y и матрицы взаимной корреляции P xy , при невырожденной P y ,

решение этой задачи задается соотношениями

K = P xy (P y )−1 ,

d = x + P xy (P y )−1 y = x + Ky .

Отсюда следует, что для решения задачи линейной регрессии достаточно знать только x , y ,

P y и P xy .

Любопытно также отметить, что при гауссовском характере случайных векторов решение задачи линейной регрессии является и решением задачи регрессии без введения ограничений на класс функций, минимизирующих критерий (1.4.33).

Ясно, что по аналогии с тем, как были сформулированы задачи регрессии x по y , могут быть сформулированы и задачи регрессии y по x .

1.4.5 Задачи к разделу 1.4

Задача 1.4.1. Задан вектор

y = Hx + v ,

в котором совместная плотность fx,y (x, y) определена в виде (1.4.20). Найдите условную плотность распределения вероятности f ( y / x) .

Решение. Для получения решения удобно, используя свойство симметричности для ф.п.р.в.,

совместную плотность (1.4.20) представить как

y Hx + v

x

т

т

т

v

т

x

fx,y (x, y) = fy,x ( y, x) = N

;

,

HP

H

+ HB + B

H

+ P

B

+ HP

.

x

x

P x H т + B

P x

Поскольку искомая условная плотность гауссовская, т.е.

f ( y / x) = N (y; yˆ(x), P y / x ),

то, применяя правила вычисления параметров условной гауссовской плотности, можем записать

yˆ(x) = Hx + v + (B т + HP x )(P x )−1(x − x) ,

P y / x = HP x H т + HB + B тH т + Pv − (B т + HP x )(P x )−1 (P x H т + B) .

Раскрывая скобки в этих выражениях, получим

yˆ(x) = Hx + v + B т(P x )−1(x − x) , P y / x = Pv − B т (P x )−1 B .

В частном случае, когда векторы x и v независимы, и v = 0 ,

87

yˆ(x) = Hx ,	P y / x = P v ,
т.е. f ( y / x) = N (y; Hx, Pv ).
Отсюда следует, что при независимых x и v	f ( y / x) = fv ( y − Hx) .

Задача 1.4.2. Пусть вектор y связан с x и v соотношением вида

y = s(x) + v ,

причем совместная плотность fx,v (x, v) гауссовская с параметрами, заданными в виде

(1.3.25), (1.3.26).

Найдите условную плотность распределения вероятностей f ( y / x) .

Решение.

Располагая f (x, v) , нетрудно найти

f (v / x) = N (v; vˆ(x), Pv / x ) ,

где

vˆ(x) = v + Bт(P x )−1(x − x) ,

Pv / x = Pv − B т (P x )−1 B .

Используя теперь правило нахождения ф.п.р.в. (1.3.6), которое справедливо и для условных ф.п.р.в. для преобразованных случайных векторов, можем записать

f ( y / x) = fv / x ( y − s(x)) = N ( y − s(x); v + B т (P x )−1 (x − x)), Pv / x ) .

В частности, при B = 0 , т.е. при независимых x и v

f ( y / x) = fv ( y − s(x)) = N ( y − s(x); v, Pv ) .

Задача 1.4.3. В условиях задачи 1.4.2 при независимых x и v запишите выражение для

совместной ф.п.р.в.		f (x, y) и условной ф.п.р.в. f (x / y) .
Решение.
Учитывая,	что	условная	плотность ф.п.р.в. f ( y / x) = f v ( y − s(x)) = N ( y − s(x); v, Pv ) ,
используя (1.4.1), получим выражение
			fx,y (x, y) = fx (x) f ( y / x) = N (x; x, P x )N ( y − s(x);v, Pv ) .
Для f (x / y)	запишем
				f x (x) f ( y / x)		N (x; x, P x )N ( y − s(x); v, Pv )
		f (x / y) =			=				.
				∫ f x (x) f ( y / x)dx		∫ N (x; x, P x )N ( y − s(x);	v	, Pv )dx
Задача 1.4.4. Задана ф.п.р.в.			f (x, y / z) . Найдите ф.п.р.в. для f (x / z) ?

Решение.

f (x / z) = ∫ f (x, y / z)dy .

88

Задача 1.4.5. Заданы две ф.п.р.в.

Решение.

f (x

f (x / y, z) и f ( y / z) . Найдите ф.п.р.в. для f (x / z) .

/ z) = ∫ f (x / y, z) f ( y / z)dy .

1.4.6Вопросы к разделу 1.4

1.Поясните, что такое условная (апостериорная) ф.п.р.в. Что необходимо знать о двух случайных векторах, для того, чтобы найти условную ф.п.р.в. одного вектора относительно другого? Как это сделать?

2.При каких условиях априорная и апостериорная ф.п.р.в совпадают между собой?

3.Когда для определения апостериорной ф.п.р.в. достаточно знать условное математическое ожидание и условную матрицу ковариаций?

4.Запишите выражение для ф.п.р.в. с.в. при фиксированном значении другой с.в., совместная ф.п.р.в. которых гауссовская с известными параметрами. Поясните, как получено это выражение. К чему стремится эта функция при стремлении нормированного коэффициента корреляции к единице?

5.Поясните два возможных этапа решения задачи нахождения ф.п.р.в. вектора x при

фиксированном известном значении	вектора y = Hx + v при	условии, когда
совместное ф.п.р.в для векторов x и	v гауссовская. Запишите	выражения для

параметров условной плотности для случая, когда векторы x и v независимы между собой.

6. Поясните смысл задачи регрессии. В чем особенность задачи линейной регрессии?