Приставка П.О., Мацуга О.М. Аналіз даних

Отже, якщо u ≤ uα 2 , то оцінка τˆk не є значуща.

Коефіцієнт кореляції Кендалла має ті самі властивості, що й коефіцієнт Спірмена. Завжди для одних і тих же масивів τc > τk , а у випадку досить великого N

τˆc ≈ 32 τˆk .

Приклад 3.2. Для наведеного вище прикладу 3.1 правильне таке: z =1, A1 = 2,

p =1, B1 = 2 , значення рангового коефіцієнта Спірмена дорівнює

τˆc = 0,809.

У процесі оцінювання рангового коефіцієнта Кендалла має місце

7	7
v1 = ∑v1, j = 5 − 0 = 5,	v4 = ∑v4, j = 3− 0 = 3,
j=2	j=5
7	7
v2 = ∑v2, j = 3− 2 =1,	v5 = ∑v5, j = 1−1= 0,
j=3	j=6
7	7
v3 = ∑v3, j = 4 − 0 = 4,	v6 = ∑v6, j =1− 0 =1,
j=4	j=7

S =14,

значення коефіцієнта становить

τˆk = 0,667 .

Наведені вирази не потребують лінійної кореляції поміж змінними. Обмежуючою вимогою є монотонність функції регресії. Слід відзначити, що процедури рангової кореляції є ефективні під час оцінки стохастичних зв’язків як для кількісних, так і для якісних ознак.

3.3. Одновимірний регресійний аналіз

Подальший аналіз змінних, для яких встановлена наявність стохастичного зв’язку, передбачає ідентифікацію та відтворення регресійної залежності за ними.

3.3.1. Лінійний регресійний аналіз

Найпростіша форма оцінки стохастичного зв’язку – одновимірний лінійний регресійний аналіз, за яким формуються обчислювальні процедури відтворення лінії регресії. Припускається, що дві нормально розподілені випадкові величини η та ξ зв’язані лінійною регресійною залежністю

η = θ1 + θ2ξ + ε ,

(3.1)

61

де ε – похибка, яка має нормальний розподіл, причому

E{ε} = 0 ; D{ε} = σε2 = const .

Якщо обробці підлягає масив даних Ω2,N				= {(xl , yl );l =		}, лінійна регресій-
					1, N
на модель має вигляд
y (x) = a + bx ,				(3.2)
тоді оцінкою наведеної залежності є
ˆ	ˆ	ˆ	,
y (x) = a + bx

де aˆ , bˆ – оцінки вектора параметрів регресії Θ = {θ1,θ2} (параметрів a , b ).

Відповідно до визначення регресія – це залежність середнього значення однієї випадкової величини від однієї або кількох інших:

y (x) = E{ηξ = x}.

Неформальне визначення таке: регресія – це лінія (або крива), уздовж якої розсіювання даних мінімальне (рис. 3.6). З огляду на це лінія, позначена пунктиром (рис. 3.6), не може бути лінією регресії.

Рис. 3.6. Графік лінійної регресійної залежності

Проведення регресійного аналізу не обмежується відтворенням лінійної залежності. Можлива оцінка залежностей

s
η = ∑θiξi + ε ,		(3.3)
i=0
чи будь-яких інших нелінійних залежностей:
η = ϕ(ξ;Θ),	Θ = {θi;i	= 0,s}.

Слід зазначити, що відтворення саме залежностей типу (3.1), (3.3) має найбільше поширення у відповідному програмному забезпеченні. Пояснюється це тим, що обчислювальні схеми відтворення регресії зазвичай базуються на методі найменших квадратів оцінки параметрів.

Етапами обчислювальної схеми відтворення функції регресії є:

1)перевірка виконання початкових умов регресійного аналізу;

2)ідентифікація вигляду регресійної залежності;

3)вибір типу функції регресії y (x) = ϕ(x;Θ) та оцінка вектора параметрів Θˆ ;

4)дослідження якості відтворення регресії.

62

Для переліку задач обробки даних вводиться процедура порівняння двох або кількох регресійних залежностей. Якщо мають місце нелінійні залежності, то процедури знаходження оцінок параметрів та довірчого оцінювання відрізняються від процедури лінійної оцінки.

Початкові умови регресійного аналізу. Умови, що забезпечують застосування методів параметричного регресійного аналізу (наприклад, методу найменших квадратів), такі:

1.Сумісний розподіл випадкових величин η , ξ має бути нормальним.

2.Дисперсія залежної змінної y залишається сталою під час зміни значення аргументу x, отже,

D{y	x} = σ2y = const	(3.4)
або пропорційною деякій відомій функції від x:
D{y x} = σ2yh2 (x),		(3.5)
де h(x) – саме така функція.
3. Підсумки спостережень xi ,	yi стохастично незалежні, таким чином, ре-

зультати, одержані на i-му кроці експерименту, не пов’язані з попереднім (i −1)-м кроком і не містять інформації для (i +1)-го кроку.

Нижче подана ілюстрація зазначених вимог (рис. 3.7).

а

б

Рис. 3.7. Графічне зображення початкових умов регресійного аналізу: а – дисперсія y стала; б – дисперсія y пропорційна h(x)

63

На практиці допускається формальне відхилення від указаних вимог. Наприклад, якщо обсяг вибірок досить великий, можливе порушення першої умови. Перевірка виконання першої та третьої умов не викликає труднощів. Для перевірки другої використовують критерій однорідності для дисперсій (критерій Бартлетта). Розглянемо його використання для даної задачі.

Нехай для кожного з X = {xi ; i =

}

зафіксовані Y = {yi ; i =

, j =

}

зна-

1,k

1,k

1,mi

чень залежної змінної. Загальний обсяг експериментальних даних Y за всіма xi

до-

k

рівнює N = ∑mi , отже, використовується масив Ω2,N = {xi , yi, j;i =

, j =

}.

1,k

1,mi

i=1

Зауваження 3.4. Відносно формування масиву {xi, yi, j;i =

, j =

}

на ос-

1,k

1,mi

нові {(xl , yl );l =

} див. заув. 3.3.

1, N

Як статистичну характеристику гіпотези

Η0 : D{y x1} =…= D{y xk } = σ2

використовують статистику

2

Λ = − 1 ∑mi ln Sy(xi ) ,

k

C

i=1

S2

яка при mi ≥ 3 приблизно має χ2 -розподіл із кількістю степенів вільності ν = k −1. Константа C та відхилення Sy2(xi ), S2 визначаються за формулами

1

k

1

1

C =1+

∑

−

,

=1 mi

3(k −1) i

N

m

Sy2

x

=

1

∑i (yi, j − yi )2 ,

m

−1

( i )

j=1

i

де

m

yi

=

1

∑i

yi, j ;

m

j=1

i

1

k

S2 =

∑(mi −1)Sy2

x

.

N − k i=1

( i )

Якщо виявиться, що Λ > χα2,ν , де α – помилка першого роду, то гіпотезу Η0 відкидають, отже, порушена умова (3.4). У цьому випадку висувають гіпотезу відносно умови (3.5):

	Η	0	:	D{y x1}	= …=	D{y xk }	= σ2 .
				h2 (x1)		h2 (xk )

64

Як статистичну характеристику використовують статистику

Λ′ = − 1

2

,

∑mi ln S′y(xi )

k

C

i=1

S′2

де

Sy2(x

)

1

k

S′y2 x

=

i

;

S′2

=

∑(mi −1)S′y2 x

.

h2 (xi )

(

i )

N − k i=1

( i )

Наступна процедура перевірки гіпотези аналогічна розглянутій вище. Якщо і в даному випадку головна гіпотеза буде відкинута, маємо порушення другої умови. У цьому разі необхідно реалізовувати непараметричні процедури відтворення регресії.

Ідентифікація регресії. Метою процедури ідентифікації вигляду регресії є:

1)виявлення зв’язку поміж X та Y ;

2)за наявності зв’язку проведення класифікації на лінійність або нелінійність

як відносно змінних X та Y , так і щодо вектора параметрів Θ .

Процедура ідентифікації зумовлює реалізацію і візуальної схеми, і кількісної оцінки зв’язку. У процесі візуалізації оцінюються початкові масиви, які відображаються у вигляді кореляційного поля (див. рис. 3.5).

Якщо кореляційне поле вписується в коло, то зв’язок між X та Y відсутній. Для поля у вигляді овалу має місце лінійна регресійна залежність. Для кореляційного поля складної конфігурації необхідно здійснити підбір нелінійної функції. Вибираючи вигляд регресії, слід комбінувати дослідження розташування точок кореляційного поля з логіко-професійним аналізом, тобто приймати рішення щодо вигляду кривої згідно з виглядом кореляційного поля. Найпростіші є процедури, що описують лінійний зв’язок відносно оцінюваного вектора параметрів. Практично це алгебричні поліноми порядку, не вищого за четвертий.

Під час проведення ідентифікації за допомогою числових методів реалізується двохетапна процедура. На першому етапі здійснюється статистичний аналіз, підсумком якого є знаходження оцінок rˆx,y , ρˆ та перевірка їх значущості. Напри-

клад, за умови, що коефіцієнт парної кореляції rˆx,y значущий, висувається твер-

дження про лінійний регресійний зв’язок поміж Y і X . Якщо ж ідентифікується нелінійна регресійна залежність, то її тип уточнюється процедурою візуалізації кореляційного поля та накладенням на нього типових кривих.

Статистичний аналіз, який ґрунтується на процедурах перевірки статистичних гіпотез про загальний вигляд регресійної залежності, проводиться на другому етапі. Найбільш потужні критерії перевірки гіпотези про вигляд функції регресії запропоновані для лінійної залежності (див. далі перевірку адекватності відтвореної регресійної моделі).

Відтворення лінійної регресійної залежності. Загальноприйнятим методом оцінки параметрів регресії є МНК. Нехай на основі процедури ідентифікації встановлено, що поміж Y , X існує лінійний зв’язок

y (x) = a + bx .

65

При цьому оцінки параметрів регресійної моделі знаходять з умови мінімуму функціонала залишкової дисперсії

2	1	N	2		1	N	ˆ	2
		ˆ				ˆ
SЗал =				=
	N − 2	∑(yl − y (xl ))			N − 2	∑(yl − a − bxl ) ,
		l=1				l=1

що формується як сума квадратів відхилень результатів спостережень від лінії регресії (рис. 3.8).

Рис. 3.8. Графічне зображення відхилення результатів спостережень від лінії регресії

Необхідна та достатня

умова

min SЗал2

визначається системою лінійних

a,b

рівнянь

∂S2

= 0,

Зал

∂aˆ

∂SЗал2

= 0

∂bˆ

або

1

x aˆ

y

ˆ

=

,

2

x

xy

x

b

звідки

y x2

aˆ =

− x

xy

,

ˆ

=

xy

− x y

,

b

x2

− x2

x2 − x2

тобто

aˆ = y − bˆx ,

bˆ = r

σˆ y

.

x,y σˆ x

Якщо початкові дані подані у вигляді масиву {xi , yi, j ; j =

,i =

}, то оцін-

1,mi

1,k

ки лінійної регресії обчислюють з умови

2

1

k

mi

ˆ

2

min SЗал = min

N

− 2

∑∑(yi, j

− aˆ − bxi )

,

aˆ,bˆ

aˆ,bˆ

i=1 j=1

66

яка визначає

k

mi

k

k mi

k

∑∑yi, j

∑mixi2

− ∑∑yi, j xi ∑mixi

aˆ =

i=1 j=1

i=1

i=1 j=1

i=1

,

k

k

2

N∑mixi2

−

∑mixi

i=1

i=1

k mi

k

mi

k

N∑∑yi, j xi − ∑∑yi, j

∑mixi

bˆ =

i=1 j=1

i=1 j=1

i=1

.

k

k

2

N∑mixi2

−

∑mixi

i=1

i=1

Можна показати, що

aˆ = y −bˆx ,

bˆ = rˆ

σy

,

σx

де

1

k

mi

∑∑yi, j xi

− xy

N

rˆ =

i=1 j=1

.

σxσy

Якщо має місце

D{y x} = σ2h2 (x),

то

початковий масив

даних

{xi , yi, j ; i =

, j =

} переформовують у {xi , yi, j ,ωi; j =

,i =

}, де ωi =

1

.

1,k

1,mi

1,mi

1,k

h2 (xi )

Подальша процедура одержання оцінок параметрів aˆ , bˆ

зводиться до знаходження

2

1

k

mi

ˆ

2

min SЗал = min

∑∑ωi (yi, j

− aˆ − bxi )

.

N −

2

aˆ,bˆ

aˆ,bˆ

i=1 j=1

Реалізуючи МНК, розв’язують таку систему лінійних рівнянь:

	k
	∑ωimi
	i=1
	k
	∑ωimixi

i=1

де

k									k
∑ωimixi				aˆ					∑ωimi yi
i=1							=		i=1		,
k					ˆ				k
	2
				b
∑ωimixi									∑ωimi yixi
i=1								i=1
			m
yi =	1	∑i			yi, j .
	m		j=1
	i

Із розв’язку наведеної системи одержують

67

k

k

k

k

∑ωimi yi ∑ωimixi2 − ∑ωimixi

∑ωimi yixi

aˆ =

i=1

i=1

i=1

i=1

,

2

k

k

k

ω m

ω m x2

−

ω m x

∑ i

i

∑ i

i i

∑ i

i i

i=1

i=1

i=1

k

k

k

k

bˆ =

∑ωimi ∑ωimi yixi −

∑ωimixi ∑ωimi yi

i=1

i=1

i=1

i=1

.

k

k

k

2

ω m

ω m x2

−

ω m x

∑ i

i

∑ i

i i

∑ i

i i

i=1

i=1

i=1

Аналіз наведених процедур знаходження оцінок параметрів лінійної регресії дозволяє керувати обчислювальним процесом відтворення лінії регресії залежно від типу початкового масиву даних і вигляду оцінки D{yx} .

Дослідження якості відтворення лінії регресії для випадку

D{yx} = σ2y = const зумовлює реалізацію таких процедур:

1)обчислення коефіцієнта детермінації R2 ;

2)дослідження значущості й точності оцінок параметрів aˆ , bˆ;

3)оцінювання відхилень окремих значень yl , l = 1, N залежної змінної від

емпіричної регресії yˆ (xl );

4)побудови довірчого інтервалу для прогнозу нового спостереження;

5)побудови довірчого інтервалу для лінії регресії y (x) = a + bx з урахуванням

їїоцінки yˆ (x) = aˆ + bxˆ ;

6)перевірки адекватності даним відтвореної моделі регресії yˆ (x) = ϕ(x,Θˆ ).

Коефіцієнт детермінації R2 – показник, що визначає, якою мірою варіабе-

льність ознаки Y пояснюється поведінкою X. Більш точно, R2 – це та частка дисперсії Y, яка пояснюється впливом X. Значення коефіцієнта детермінації обчислюють шляхом піднесення до квадрата значення оцінки коефіцієнта парної кореляції:

R2 = rˆx2,y 100% .

Зрозуміло, що r2 [0;1] і більші значення R2 свідчать про «якісне» відтворення лінійної регресії.

Дослідження точності оцінок параметрів aˆ , bˆ становить результат процедури перевірки гіпотез про значущість

Η0 : a = 0 , Η0 :b = 0

та гіпотез про рівність оцінок деяким значенням параметрів

Η0 : a = aˆ , Η0 :b = bˆ.

Зазначені гіпотези перевіряються на основі t -тесту з урахуванням середньоквадратичних оцінок параметрів aˆ , bˆ:

68

S

= S

1

+

x2

,

S =

S

Зал

.

Зал N

σ2x (N −1)

a

b

σx N −1

Тоді відповідні t -статистики, як завжди, дорівнюють

t		=	aˆ − a	,	t =	bˆ − b	.
	a
			Sa		b	Sb

Слід відзначити, що в разі спростування гіпотези Η0 :b = 0 (невиконання нерівності tb ≤ tα 2,ν , ν = N − 2 ) говорять про значущість регресійного зв’язку.

Інтервальне оцінювання параметрів лінійної регресії здійснюють, виходячи з нерівностей (ν = N − 2 )

aˆ − tα2,νSa ≤ a ≤ aˆ + tα2,νSa ,

bˆ − tα2,νSb ≤ b ≤ bˆ + tα2,νSb .

Оцінка відхилень окремих значень спостережень yi від лінії регресії дозволяє вказати стандартну похибку регресійної оцінки. Значення SЗал приблизно

вказує величину залишків для наявних даних у тих же одиницях, у яких вимірюється Y . Крім того, оцінка відхилень зумовлює побудову припустимих (або толе-

рантних) меж на основі оцінки SЗал2 (по суті, дисперсії σε2 похибки ε в моделі

(3.1)). Значення оцінки стандартного відхилення похибки обчислюють зі співвідношення для знаходження залишкової дисперсії:

		1	N
σˆ	ε = SЗал =		ˆ
		N − 2	∑(yl − y (xl ))
			l=1

= σˆ y (1− rˆx2,y )NN −−12 .

У ході інтерпретації величина σε дозволяє припускати розташування 95%

спостережень у толерантних межах (рис. 3.9) на такій відстані від лінії регресії, яка не перевищує приблизно 2σε (відповідно дві третини даних розташовані на відста-

ні, не більшій ніж σε ).

Толерантні межі yˆmin (x), yˆmax (x) для yl , l = 1, N визначаються за виразами:

yˆmin (x) = yˆ (x)− tα2,νσˆ ε , yˆmax (x) = yˆ (x)+ tα2,νσˆε

де ν = N − 2 .

Рис. 3.9. Графічне зображення толерантних меж для лінійної регресії

69

Необхідність побудови довірчого інтервалу для прогнозу нового спостереження виникає в разі використання моделі регресії для знаходження y за деякого заданого x0 . У такій ситуації існує два джерела невизначеності. По-перше, оскі-

льки aˆ та bˆ являють собою оцінки, то aˆ + bxˆ 0 містить елемент невизначеності. По-

друге, присутня похибка ε, яка є частиною лінійної моделі і яку також треба враховувати, аналізуючи окремі спостереження. З огляду на це величина S( y|x0 ) стандар-

тної похибки y при заданому x0 обчислюється так:

ˆ 2			1		2	(x0	− x )	2	.
	1	+			+ Sb
S( y|x0 ) = σε
			N

Відповідний довірчий інтервал для нового спостереження y за певного x0

(рис. 3.10)

yˆ (x0 )− tα2,νS( y|x0 ) ≤ y ≤ yˆ (x0 )+ tα2,νS( y|x0 ) ,

де ν = N − 2 .

Рис. 3.10. Графічне зображення довірчого інтервалу для прогнозу нового спостереження у випадку лінійної регресії

Інтервальне оцінювання лінійної регресії здійснюється шляхом призначення довірчого γ -імовірного (γ = 1− α ) інтервалу. На відміну від попереднього випадку, оцінюється середнє значення y (x) при x. У такій ситуації під час оцін-

ки S( y|x) стандартної похибки y (x) не враховується випадкова похибка ε (згідно з моделлю (3.2)):

S( y|x) = σˆε2 N1 + Sb2 (x − x )2 . Тоді довірчий інтервал визначається з нерівності

yˆ (x)− tα2,νS( y|x) ≤ y (x) ≤ yˆ (x)+ tα2,νS( y|x),

де ν = N − 2 .

Слід наголосити на існуванні двох закономірностей (рис. 3.11):

1) чим більша є для x різниця x − x , тим ширша є величина довірчого ін-

тервалу, отже, довірчий інтервал розходиться відносно віддалення x від x ;

2) чим більший обсяг вибірки N , тим менша є величина довірчого інтервалу.

70