математика / Matematika_Kursovaya_rabota

31

для двусторонней критической области

Р(R < R1) = Р(R > R2) = α2 .

2.7 КРИТЕРИЙ χ 2 ПИРСОНА И ЕГО ПРИМЕНЕНИЕ

Рассмотрим задачу статистической проверки гипотезы о неизвестном законе распределения вероятностей случайной величины Х. Решение данной задачи включает в себя два этапа:

-формирование (выдвижение) гипотезы о виде закона распределения

ивыбор критерия согласия;

-определение наблюдаемого значения критерия и принятие решения относительно выдвинутой гипотезы.

Выбор той или иной гипотезы о виде закона распределения может быть осуществлен на основе каких-либо априорных данных или по результатам предварительной обработки выборки.

Наиболее универсальным является построение оценок, описывающих закон распределения выборки. Чаще всего для этих целей строится гистограмма частот или относительных частот.

Замечание. В связи с тем, что далее используется критерий χ2 Пирсона, число интервалов, на которое разбивается диапазон значений выборки, определяется по формуле l ≥3,32lg n +1, где n – объем выборки.

Использование частот или относительных частот не меняет общего вида гистограммы

Дополнительно при выдвижении гипотезы могут использоваться оценки числовых характеристик, в частности оценки асимметрии Аs и эксцесса Ek, а также соотношения между оценками основных числовых характеристик.

В таблице 2.1 даны теоретические данные об указанных величинах

Таблица 2.1

Распределение	Связь между М[Х] и σ[Х]	As	Ek
Нормальное	Не связаны	As = 0	Ek= 0
Показательное	М[Х] = σ[Х]	As = 2	Ek = 6
Равномерное	Не связаны	As= 0	Ek= -6/5

Пусть весь диапазон значений выборки разбит на m интервалов и определены эмпирические частоты ni попадания значений в интервалы. Предположим, что удалось найти теоретические частоты ni′попадания

значений исследуемой величины в те же интервалы, при том же объеме выборки n ( ni′=pi n, где pi – теоретическая вероятность попадания случайной

величины в i-й интервал). Для проверки гипотезы Н0 о виде закона распределения случайной величины Х выберем критерий

32

	m			2
χ2	= ∑	( ni − ni′ )			.	(2.3)
	i =1		ni′
Эта случайная величина			характеризует			степень расхождения

теоретического и эмпирического распределений. Чем меньше различаются теоретические и эмпирические частоты, тем меньше величина критерия.

Доказано, что при n→∞ и справедливости гипотезы Н0 закон распределения критерия χ2 стремиться к закону распределения χ2 с τ=m–r–1 степенями свободы, где r – число параметров предполагаемого закона распределения. Данный критерий носит название критерия согласия Пирсона или критерия χ2.

Границу правосторонней критической области χ2кр при заданном

уровне значимости α определяется из соотношения:

Р(χ2 > χ2кр(α, τ)) = α.

Таким образом, правосторонняя критическая область определяется неравенством χ2 > χ2кр(α, τ), а область принятия нулевой гипотезы Н0 -

неравенством χ2 < χ2кр(α, τ).

Замечания

1Использование данного критерия возможно только при больших объемах выборки (n≥50).

2Значения ni должны удовлетворять условию ni ≥5. Это достигается за счет объединения соседних интервалов, при этом число интервалов l переходит в m.

3При определении теоретических частот считается, что теоретические параметры распределения равны их эмпирическим оценкам. Кроме этого, необходимо учитывать теоретический интервал значений случайной величины при предполагаемом законе распределения. В частности, при определении теоретических частот имеются следующие особенности:

-для нормального распределения левая граница первого интервала

равна – ∞, правая граница последнего интервала равна + ∞;

- для экспоненциального распределения левая граница первого

интервала равна 0, правая граница последнего интервала равна + ∞;

~

~

- для равномерного распределения оценки параметров a

и b

определяются в соответствии с выражениями:

~

~

~

~

~ '

,

~

'

– результаты решения системы

a

= min{a

′,xmin };b

= max{b ′,xmax }, где a

b

~′

~′

xв = a

+b

2

,

(2.4)

~

~

′

b ′− a

Sx =

2

3

где xmin ,xmax – соответственно наименьшая и наибольшая варианты выборки.

33

Приведем выражения для определения теоретических вероятностей рi попадания в i-й интервал для нормального, экспоненциального и равномерного распределений:

- для нормального распределения

pi = P( xi

< X ≤ xi+1 ) = Φ(

xi+1 − xв

) −Φ(

xi

− xв

);

(2.5)

Sx

Sx

-

для показательного распределения

xi

xi+1

) = e−

− e−

(2.6)

р

i

= Р( x < X ≤ x

xв

xв

;

i

i +1

-

для равномерного распределения

р

= Р( x

< X ≤ x

+1

) =

xi+1 − xi

.

(2.7)

i

i

i

~

~

b

− a

2.8 ЭЛЕМЕНТЫ ТЕОРИИ РЕГРЕССИИ

При исследовании зависимостей между различными величинами в инженерной практике используются модели этих зависимостей. В частности, когда зависимость носит случайный характер, основными методами анализа является построение и исследование регрессионных моделей.

Понятие регрессия появилось в середине ХIX века благодаря работам английских статистиков Ф. Гальтона и К. Пирсона. Этот термин (от латинского “regressio” – движение назад) введен Ф. Гальтоном, который, изучая зависимость между ростом родителей и их детей, обнаружил явление “регрессии к среднему” – у детей, родившихся у очень высоких родителей, рост имел тенденцию быть ближе к средней величине.

2.8.1 Функциональная и стохастическая зависимость величин

Две случайные величины могут быть связаны либо функциональной зависимостью, либо стохастической (или статистической, вероятностной), либо быть независимыми.

Функциональная зависимость, когда каждому значению одной переменной соответствует единственное значение другой переменной (например, скорость свободного падания в вакууме в зависимости от времени), реализуется редко, так как часто величины подвержены действию случайных факторов. В этом случае каждому значению одной переменной соответствует множество возможных значений другой переменной, то есть каждому значению одной переменной соответствует определенное (условное) распределение другой переменной (например, зависимость урожайности от количества внесенных удобрений, зависимость расхода бензина от скорости автомобиля).

Стохастической называется зависимость, при которой изменение одной из величин влечет изменение закона распределения другой.

34

В частности, стохастическая зависимость проявляется в том, что при изменении одной из величин изменяется среднее значение другой. Поэтому в силу неоднозначности стохастической зависимости между случайными величинами Y и X для исследователя представляет интерес усредненная по X или Y зависимость, то есть закономерность в изменении условного математического ожидания my(x) в зависимости от х или mx(y) в зависимости от y.

Регрессионной зависимостью между двумя величинами называется функциональная зависимость между значениями одной из них и условным математическим ожиданием другой.

Регрессионная зависимость может быть представлена в виде уравнений регрессии:

M [X Y = y]= x( y ), M [Y X = x]= y( x ) .

Пример. Пусть Y – расход бензина, X – скорость автомобиля. Для одного и того же автомобиля при одинаковой скорости движения получают различный расход бензина, то есть Y не является функцией от X. Это объясняется влиянием случайных факторов (полная масса автомобиля,

качество дорожного покрытия, погодные условия, и т.д.). Вместе с тем средний расход бензина является функцией от скорости автомобиля ( M [Y X = x]= y( x ) ), то есть Y связан с X регрессионной зависимостью.

При исследовании стохастической связи между величинами важными аспектами являются корреляционный и регрессионный анализ.

При корреляционном анализе находится и исследуется оценка коэффициента корреляции. Результаты корреляционного анализа являются важными сами по себе, так как позволяют определить, являются ли величины X и Y коррелированными. С инженерной точки зрения корреляционный анализ позволяет определить растет (уменьшается) ли в среднем величина Y при возрастании Х. Кроме этого корреляционный анализ является зачастую основой для выбора регрессионной модели.

Регрессионный анализ позволяет оценить регрессионную зависимость одной величины от другой – построить регрессионную модель на интересующем исследователя уровне.

2.8.2 Модели функции регрессии

При решении практических задач истинные линии регрессии неизвестны и по результатам выборки (х1, y1), (х2, y2), …, (хn, yn) требуется построить регрессионную модель – эмпирическую линию регрессии.

При построении и анализе регрессионных моделей обычно различают два подхода. При первом из них обе величины Х и Y рассматриваются как случайные зависимые величины. При втором подходе считается, что Х и Y связаны функционально, то есть y = f(x), причем величина Х является управляемой. Однако в процессе получения значений Y на нее накладывается

35

случайная помеха ε. В результате исследователь получает значения

~	= Y +ε .
Y

Вне зависимости от подхода аппарат регрессионного анализа остается одним и тем же. Примем, что Х – величина управляемая. По результатам эксперимента (диаграмме рассеяния – расположению точек выборки), корреляционного анализа, цели исследования и тому подобное выбирается вид регрессионной модели:

	(2.8)
y = y( x,a0 ,a1 ,...am ),

где а0, а1, а2, …, аm – неизвестные параметры, которые определяются в процессе регрессионного анализа.

Модель линейная относительно параметров а0, а1, а2, …, аm называется линейной. Общий вид линейной модели:

y( x,a0 ,a1 ,...am ) = a0 +a1ϕ1( x ) +a2ϕ2( x ) +...+amϕm( x ),

где φ1(х), φ2(х),… φm(х) – непрерывные функции аргумента х. Наиболее часто используемой линейной моделью

полиномиальная модель порядка m:

y( x,a0 ,a1 ,...am ) = a0 + a1x + ... + am xm .

2.9 КОРРЕЛЯЦИОННЫЙ АНАЛИЗ

(2.9)

является

(2.10)

Понятие корреляция появилось в середине ХIX века благодаря работам английских статистиков Ф. Гальтона и К. Пирсона. Этот термин произошeл от латинского ”correlatio” – соотношение, взаимосвязь.

Корреляционный анализ может являться как самостоятельным этапом в исследовании систем случайных величин, так и основой для выбора регрессионной модели.

Напомним, что теоретический корреляционный момент определяется через центральный момент второго порядка

kxy = M[(X – M[X]) (Y – M[Y])],

а коэффициент корреляции

				kxy
		ρxy =			.
			σ[x]σ[y]
Эмпирической оценкой коэффициента корреляции является
выборочный коэффициент корреляции rxy:
		n
ρxy = rxy	=	∑(xi		− xв )( yi		− yв )
						.
~		i=1
		n		n
		∑(xi − xв )2 ∑( yi − yв )2
		i=1		i=1

Так как коэффициент корреляции ρxy является мерой тесноты линейной связи между случайными величинами Х и Y, то выборочный коэффициент корреляции rxy также служит для измерения тесноты линейной связи между случайными величинами Х и Y.

36

Поскольку выборочная оценка rху – величина случайная, то из равенства нулю выборочного коэффициента корреляции rxy нельзя заключить, что коэффициент корреляции ρxy также равен нулю. Или, наоборот, если выборочный коэффициент корреляции rxy отличен от нуля, то нельзя заключить, что коэффициент корреляции ρxy также отличен от нуля. В связи с этим в большинстве случаев для определения того, являются ли величины X и Y коррелированными или нет, используют аппарат проверки статистических гипотез. В частности, для проверки гипотезы о некоррелированности X и Y (H0: ρху = 0) при конкурирующей гипотезе H1: ρху ≠ 0 на заданном уровне значимости α, используют статистический критерий

T =	rxy	.
	n − 2		(2.11)
	1 − r 2
	xy

При справедливости гипотезы H0: ρху = 0 величина Т имеет распределение Стьюдента с τ = n − 2 степенями свободы.

Если нулевая гипотеза отвергается, то это означает, что выборочный коэффициент корреляции значимо отличается от нуля, а X и Y коррелированны. Если нулевая гипотеза принимается, то выборочный коэффициент корреляции незначим, а X и Y некоррелированны, то есть не связаны линейной корреляционной зависимостью.

Таким образом, корреляционный анализ при указанном подходе осуществляется следующим образом:

-определяется выборочный коэффициент корреляции;

-находится наблюдаемое значение критерия (Тнабл.);

-в зависимости от уровня значимости α и числа степеней свободы τ

определяется Ткр = t(α, τ);

- если |Тнабл| < Ткр, то нет оснований отвергнуть нулевую гипотезу, то есть величины X и Y на выбранном уровне значимости α считаются

некоррелированными, в противном случае нет оснований принимать гипотезу об их некоррелированности.

2.10 ОСНОВЫ ВЫЧИСЛИТЕЛЬНОГО ЭКСПЕРИМЕНТА

Знания о поведении объекта в процессе его эксплуатации могут быть получены с помощью пассивного и активного экспериментов. Пассивным называется эксперимент, при проведении которого экспериментатор не вмешивается в процесс функционирования изучаемого объекта. При активном эксперименте исследователь активно вмешивается в исследуемый процесс. В активном эксперименте изучаются и анализируются отклики на варьируемые экспериментатором параметры, в пассивном – отклики, сопровождающие естественный ход исследуемого процесса.

Детальное исследование поведения объектов в изменяющихся внешних условиях связано с большими материальными затратами и не всегда оправдано. Поэтому возникает проблема получения необходимых сведений

37

при минимальном числе опытов. Изучением этой проблемы занимается математическая теория планирования эксперимента.

Планирование эксперимента – это процедура выбора числа и условий проведения опытов, необходимых и достаточных для решения с требуемой точностью поставленной задачи.

В инженерной исследовательской практике стараются получить максимальную информацию об исследуемом объекте за минимальное число опытов.

Достоверность любых результатов при использовании выборочного метода определяется объемом выборки. Основным показателем в этом случае является уменьшение величины σ при усреднении результатов. Напомним,

что погрешность среднего уменьшается в n раз, где n – количество опытов при определении среднего. В то же время эффективность увеличения n быстро падает (при n=4, σ уменьшается в 2 раза, для уменьшения σ в 3 раза требуется 9 опытов и так далее). Поэтому при достаточно дорогостоящих опытах необходимо искать оптимум между числом опытов и суммарной стоимостью эксперимента.

При управляемой величине Х эксперимент для получения данных при регрессионном анализе проводят следующим образом. Для каждого значения хi получают несколько значений величины Y:

yi1, yi2, … yini .

Далее находится среднее значение

			1	n
	y	=		∑i y .		(2.12)
			n
	i			k =1	ik
			i

Величины уi используются для построения диаграммы рассеяния, для чего в прямоугольной системе координат ХОY наносятся точки (хi, yi). По виду диаграммы рассеяния и результатам корреляционного анализа выбирается вид регрессионной модели.

Отметим, что для корректности получаемых результатов необходимо обеспечить независимость измерений и отсутствие систематических погрешностей.

После выбора вида регрессионной модели осуществляется определение ее параметров.

2.11 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

В связи с тем, что основное свойство функции регрессии M [Y X = x]= y( x ) состоит в том, что среди всех вещественных функций u(x)

минимум математического ожидания М[(Y – u(x))²] достигается при u(x)= y( x ), то естественно потребовать, чтобы выбранные значения параметров а0,

а1, а2, …, аm в выражении (2.8) удовлетворяли условию

Q = ∑n ( y			,a		,a ,...,a		2	(2.13)
	i	− y( x		0		m	)) → min .
i=1		i			1

38

Сформулированное требование эквивалентно задаче нахождения минимума функции нескольких переменных Q(а0, а1, а2, …, аm). Необходимое условие существования минимума этой функции записывается в виде:

	∂Q	= 0;	∂Q	= 0; …	∂Q	= 0 .	(2.14)
					∂am
	∂a0		∂a1
Можно показать, что для линейной модели решение уравнений (2.14)
соответствует минимуму рассматриваемой функции.
Приведенный	метод		определения			параметров	выбранной

регрессионной модели носит название метода наименьших квадратов. Таким образом, метод наименьших квадратов позволяет определить неизвестные значения параметров регрессионной модели из условия минимума суммы квадратов отклонений средних значений уi от линии регрессии.

Рассмотрим, каким образом определяются параметры линейной

полиномиальной модели регрессии первого порядка

ŷ(x,а0,а1) = а0 + а1х.

(2.15)

При этом Q( a

,a

n

−a x

−a

)2 . Найдем частные производные и

0

) = ∑( y

i

i

0

1

i=1

1

приравняем их к нулю.

∂Q = −∑2( y − a x − a ) = 0;

n

i

1

i

0

∂a0

i=1

∂Q = −∑2( y − a x − a )x = 0.

n

i

1

i

0 i

∂a1

i=1

Решив систему двух уравнений, получим:

n

n

n

n

n

n ∑ xi yi − ∑ xi ∑ yi

∑( xi − xв )( yi − yв )

∑( xi − xв )yi

;

a1

=

i=1

i=1

i=1

=

i=1

=

i=1

(2.16)

n

n

n

2

n

2

2

n ∑ xi2

− ∑ xi

∑(xi − xв )

∑(xi − xв )

i=1

i=1

i=1

i=1

1

n

1

n

a0 =

∑yi − a1

∑xi = yв − a1 xв .

(2.17)

n i=1

n i=1

Аналогично находятся параметры регрессионных моделей более высоких порядков.

2.12 ПРОВЕРКА АДЕКВАТНОСТИ РЕГРЕССИОННОЙ МОДЕЛИ

Для проверки полученной регрессионной модели на адекватность (соответствие) выборочным данным используют основное уравнение дисперсионного анализа:

Dобщ = Dфакт + Dост,

где Dобщ – общая дисперсия отклонений наблюдаемых значений от модели функции регрессии;

Dфакт – факторная дисперсия отклонений групповых средних от модели

39

функции регрессии;

Dост – остаточная дисперсия отклонений наблюдаемых значений от групповых средних.

Тогда решение поставленной задачи сводится к сравнению факторной и остаточной дисперсией (рисунок 2.2), независимые несмещенные оценки которых равны

				1		n		,
S12	=					∑ni ( yi − y( xi ))2			(2.18)
			n − m −1 i=1
				1		n	ni
S22 =						∑ ∑( yik − yi )2 ,			(2.19)
			n
			∑n		−n i =1k =1
			i =1	i

где m – порядок полиномиальной модели.

	Можно показать, что величина	F =	S12	(если S 2	> S 2 ) или	F =	S22
			S22				S12
				1	2

(если S22 > S12 ) при уcловии справедливости гипотезы Н0: Dфакт[Y] =Dост[Y] имеет распределение Фишера-Снедекора соответственно с τ1, τ2 или τ2, τ1

n

степенями свободы, где τ1 = n – m – 1, τ2 = ∑ni – n. Распределение Фишера-

i=1

Снедекора зависит только от чисел степеней свободы τ1, τ2 и не зависит от других параметров.

При конкурирующей гипотезе Н1:Dфакт[Y]≠Dост[Y] строится критическая область, исходя из требования

	S 2		S 2
P(	1	> Fкр(α, τ1, τ2)) = α или P(	2	> Fкр(α, τ2, τ1)) = α
	S 2		S 2
2			1

Критическую точку Fкр находят по таблице распределения Фишера-

Снедекора. Если Fнабл< Fкр , то на заданном уровне значимости α нет оснований отвергнуть нулевую гипотезу, то есть модель считается

адекватной выборочным данным. В противном случае переходят к другой модели, например, увеличивают ее порядок.

Если регрессионная модель получена по результатам выборки, где для каждого значения хi управляемой величины Х получено одно значение yi величины Y, то для оценки качества модели вычисляется коэффициент детерминации

	n
	∑( yi − yi )2
R2 = 1–	i=1				.	(2.20)
	n
				в )2
	∑( yi − y
	i=1

При 0,5 ≤ R2 < 1 качество построенной регрессионной модели считается хорошим, при 0,35 < R2 < 0,5 – удовлетворительным, при R2 < 0,35

– плохим.

40

Часто на практике бывает полезно построить доверительную область, которая с заданной надежностью 1–α покрывает истинную линию регрессии. С этой целью для каждого значения хi находится доверительный интервал, покрывающий Μ[Y/X = хi] с надежностью 1–α:

( ŷ(xi) – ∆i, ŷ(xi) + ∆i )

Величина ∆i определяется по формуле:

	1		( x	− x		)2		,
∆i = t( α,n−2 ) S y		+	i		в				(2.21)
	n		n		− x		)2
			∑( x	i		в
			i =1

где t(α,n−2) – критическое значение распределения Стьюдента для уровня значимости α и числа степеней свободы τ = n – 2,

S y = S12 .

Из формулы (2.21) видно, что величина доверительного интервала зависит от значений выборки xi : при xi = xв она минимальна, а по мере

удаления xi от xв величина доверительного интервала увеличивается. Таким

образом, прогноз значений зависимой переменной y по уравнению регрессии оправдан, если значение переменной x не выходит за диапазон ее значений по выборке, то есть использование кривой регрессии вне обследованного диапазона значений переменной x может привести к значительным погрешностям.

y	|yik – yi|	y = ŷ(x)

|yi – ŷ(xi)|	Границы
	доверительной
	области
0	х
Рисунок 2.4

После определения граничных точек доверительных интервалов для условных математических ожиданий проводятся две плавные линии: одна, соединяющая левые границы, вторая – правые границы интервалов. Общий вид доверительной области схематически приведен на рисунке 2.4.