Инженерные методы.Слайды - часть 2

Множественная линейная регрессия

Во многих случаях интересующая величина у зависит не от одной,

а от нескольких переменных

æ y1

çç y2

y = f (x1, x2 ,..., xp ) çç y3

ç ...

çè yn

x11 x12 x21 x22 x31 x32

... ...

xn1 xn2

y = b0 + b1x1 + b2 x2 + ...+ bp xp

)	2	= å é y - (b + b x + b x +... + b						)ù	2
U = å( y - y )						x
					p		p
i i		ë	i	0 1 1 2 2				û

21

x13	...	x1p ö
x	...	x	÷
23		2 p ÷
x	...	x	÷
33	...	3 p ÷
...		...	÷
x	...	x	÷
n3		np ø

	ì	¶U		= 0 ,
	ï	¶b
	ï	0
	ï	¶U		= 0 ,
	ï	¶b
	ï	1
	ï	¶U
	í			= 0 ,
	ï	¶b
	ï	2
	ï ...........
	ï	¶U
	ï			= 0 .
		¶b
	ï		p
	î

Инженерные методы обработки результатов эксперимента

Множественная линейная регрессия

После определения коэффициентов bj проводится проверка значимости полученной зависимости, т.е. качества предсказания уравнения регрессии

n

- ˆ

2

n

2

2

å( yi

yi )

å

( yi - y )

F =

Sy,ост

Sост2 =

i=1

S

y2 =

i=1

2

n - p -1

n -1

Sвос

α

ν1 = n - 1

по таблице определяется Fкр

ν2 = n - p - 1

Сравниваем значения

F и Fкр

F > Fкр

Найденное уравнение регрессии предсказывает результат значимо лучше, чем среднее значение и

им можно пользоваться

F < Fкр

Нет основания считать, что

полученное уравнение лучше отражает результаты эксперимента, чем среднее

значение

	Инженерные методы обработки
22	результатов эксперимента

Множественная линейная регрессия

Значимость коэффициентов регрессии bj проверяется по критерию Стьюдента.

			=					где cjj – элемент главной диагонали матрицы,
						2
Sbj							сjj
				Sост				обратной матрице коэффициентов уравнений

)

bj

=

α

tbj

ν = n - p - 1

по таблице определяется tкр

Sbj

Сравниваем значения

Доверительный интервал

tb и tкр

коэффициентов bj

bj − tα

≤ β j ≤ bj + tα

Sbj

Sbj

tb > tкр

tb < tкр

Коэффициент bj значимо	С вероятностью ошибки α
отличается от нуля	можно считать, что bj = 0

	Инженерные методы обработки
23	результатов эксперимента

Множественная линейная регрессия

Далее проводят корреляционный анализ, т. е. проверяют тесноту связи между функцией отклика у и каждым из факторов xj, а также факторов xi, xj между собой.

Для этого вычисляют коэффициенты парной корреляции

n

( yi - y )(xij - xj )

n

(xik - xk

)(xij - xj )

å

å

ryx

=

i=1

rx x

=

i=1

j

n

n

(x

)2

n

n

(x - x

)2

å( y

- y )2 å

- x

j

å(x

- x )2

å

j

i=1

i

i=1

ij

i=1

ik

k

i=1

ij

α

2

)

=

ryxj

,

ν = n - 2

t

(1− ryxj )

tr

кр

S

=

,

Sr

r

n −1

yx

j

yx j

yx j

(1− rx2x

)

Сравниваем значения

t)rxk x j

rxk xj

t

r

и t

кр

=

Srxk x j

j

=

k

n −1

Srxk x j

tr > tкр

tr < tкр

Коэффициент br значимо

С вероятностью ошибки α

отличается от нуля

можно считать, что br = 0

	Инженерные методы обработки
24	результатов эксперимента

Множественная линейная регрессия

Доверительные интервалы для коэффициентов парной корреляции определяются по формулам

ryx

− tα

≤ ρyx

≤ ryx

+ tα

j

Sr

j

j

Sr

yx j

yx j

rx x

− tα

≤ ρx x

≤ rx x

+ tα

j

Sr

j

j

Sr

k

x x

j

k

k

x x

j

k

k

Если один из коэффициентов равен 1, то это означает, что между параметрами xk и xj существует строгая функциональная зависимость, и в этом случае целесообразно один из параметров исключить из уравнения регрессии.

В уравнении оставляют тот параметр, у которого коэффициент парной корреляции или больше по абсолютной величине.

æ

1

r

r

r

....

r

ö

1− R

2

ç

yx1

yx2

yx3

yxp

÷

Sост2

R =

R =

1−

S

1

....

ç rx1y

rx1x2

rx1x3

rx1xp

÷

n − p −1

y2

S

ç

1

....

÷

ç rx y

rx x

rx x

rx x

÷

)

R

α

ç

2

2 1

2 3

2

p ÷

=

tкр

tR

ç .... ....

.... ....

.... ....

÷

ν = n - p - 1

SR

ç rx

rx x

rx x

rx x

....

1

÷

y

Инженерные методы обработки

è

p

p 1

p 2

p 3

ø

25

результатов эксперимента

Исследование остатков

Остатки – это то, что нельзя объяснить уравнением регрессии, их можно считать, как «шум», помехи или погрешности, если уравнение регрессии правильно.

)

)

ei = f (xij ) ,

n

( y

)

ei = f ( yi ) ,

1 å e = å

- y

2

Графики:

ei = f (время)

i

i=1

i

i

e

e e

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

x

∙

Y

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

e

e e

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

ˆ

t

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

∙

Инженерные методы обработки

26

результатов эксперимента

Вопросы

1.Принцип максимального правдоподобия.

2.Обоснование метода наименьших квадратов.

3.Система уравнений для определения коэффициентов по методу наименьших квадратов.

4.Расчет коэффициентов регрессии для уравнения .

5.Общая и остаточная дисперсии.

6.Оценка адекватности уравнения регрессии.

7.Оценка значимости коэффициентов корреляции.

8.Определение коэффициента корреляции для зависимости y=f(x).

9.Оценка доверительных интервалов параметров уравнения регрессии.

10.Определение доверительного интервала линии регрессии.

11.Последовательность построения регрессионной зависимости.

12.Определение параметров регрессионной зависимости второго порядка.

13.Оценка тесноты связи между переменными х и у при нелинейной зависимости.

14.Выбор вида регрессионной зависимости.

15.Система уравнений для определения коэффициентов множественной линейной регрессии.

16.Проверка адекватности множественной линейной регрессии.

17.Коэффициенты парной корреляции при множественной линейной регрессии.

18.Оценка значимости коэффициентов уравнения регрессии.

19.Исследование остатков при анализе уравнения регрессии.

	Инженерные методы обработки
27	результатов эксперимента