7.4. Приближенная регрессия. Метод наименьших квадратов

При исследовании корреляционной зависимости между двумя случайными величинами необходимо по данной выборке объемом n

найти уравнение приближенной регрессии, чаще всего в виде следую-

щего полинома:

	k
	+ b1x + b2 x2 + b3 x3 +... =b0 + ∑bj x j ,
y (x) = b0		(7.34)

j =1

где коэффициенты b0 и bj являются оценками соответствующих теоретических коэффициентов истинного уравнения регрессии

k

my/x = ϕ(x) =β0 +β1x +β2 x2 +β3x3 +... =β0 +∑βj x j , (7.35)

j =1

и оценить допускаемую при этом ошибку. Для этого обычно используют метод наименьших квадратов.

Рассмотрим некоторый класс функций, аналитическое выражение которых содержит некоторое число неопределенных коэффициентов, равное k. Наилучшее уравнение приближенной регрессии дает та функция из рассматриваемого класса, для которой сумма квадратов S имеет наименьшее значение:

	n			2
S =	∑				= min .	(7.36)
		yi − y (xi )

i =1

Предположим, что экспериментальные точки отклоняются от уравнения истинной регрессии ϕ(x) только в результате воздействия случайных факторов, а ошибки измерения нормально распределены. Полученные в опытах значения yi будут распределены по нормальному закону с математическим ожиданием m( yi ) = ϕ(xi) и дисперсией

σ2	. При равноточных экспериментах σ2					= σ2 = … =		σ2	= σ2 . Тогда
i					1	2		n
плотность распределения величины Yi принимает вид
	fi ( yi ) =	1		1		2			(7.37)
		2π σ	exp −	2σ2	[yi −ϕ(xi )]		.

В результате опытов случайные величины Yi приняли совокупность значений yi. Используем принцип максимального правдоподобия: определим так математические ожидания ϕ(xi), чтобы вероятность этого события была максимальной. Обозначим через рi = fi (yi) δ вероятность того, что случайная величина Yi примет значение из ин-

13

тервала yi – δ/2, yi + δ/2. Вероятность совместного осуществления подобных событий для i = 1, 2, …, n равна

n

1

n

P = δn

[y

)]2

f

( y

) =δnσ−n (2π)−n/2 exp −

− ϕ(x

=

∏

2σ2 ∑

i

i

i

i

i =1

i =1

	1	n			2
= K exp −			[y		− ϕ(x )]		,	(7.38)
	σ2 ∑
				i	i
		i =1

где К — коэффициент, не зависящий от ϕ(xi).

Очевидно, что при заданном σ2 вероятность Р максимальна при условии, что

n

∑[yi − ϕ(xi )]2 = min .

i =1

Таким образом, при нормальном распределении случайных величин оптимальность метода наименьших квадратов легко обосновывается.

Нахождение коэффициентов уравнения приближенной регрессии по этому методу связано с задачей определения минимума функции многих переменных. Пусть

y (x) = f (x, b0 , b1, b2 , ..., bk ).	(7.40)

Требуется найти значения коэффициентов b0, b1, b2, …, bk так, чтобы

	n			2
S =	∑				= min .
		yi − y (xi )

i =1

Если S принимает минимальное значение, то

	∂S	= 0,	∂S	= 0,	∂S	= 0, ... ,	∂S	= 0 ,
	∂b		∂b		∂b		∂b
	0		1		2		k

что соответствует следующей системе уравнений:

n
∑	2
i =1		yi − y(
n
∑	2
		yi − y(

i =1

xi ) ∂∂y (xi )

b0

xi ) ∂ y (xi )

∂b1

=0 ,

=0 ,

……………………………,

(7.41)

(7.42)

14

n

)

∂ y (x

∑2

yi − y(xi )

i

= 0 .

i =1

∂bk

Преобразуем (7.42)

n

n

)

∂ y (x )

∂ y (x

∑yi

i

− ∑ y (xi )

i

= 0 ,

∂b

∂b

i =1

0

i =1

0

n

n

)

∂ y (x )

∂ y (x

∑yi

i

− ∑ y (xi )

i

= 0 ,

(7.43)

∂b

∂b

i =1

1

i =1

1

……………………………………,

n

n

)

∂ y (x )

∂ y (x

∑yi

i

− ∑ y (xi )

i

= 0 .

∂b

∂b

i =1

k

i =1

k

В последней системе содержится столько же (k + 1) уравнений, сколько и неизвестных коэффициентов в уравнении (7.40), т. е. она является системой нормальных уравнений. Поскольку S ≥ 0 при лю-

бых значениях коэффициентов, то у нее должен существовать по меньшей мере один минимум. Поэтому если система (7.43) имеет единственное решение, то оно и является минимумом для S.

15