ms_prac

Вибір відповідної лінії регресії. Визначення кривої регресії можна розбити на два етапи:

-визначення виду регресійної залежності;

-оцінка параметрів цієї регресійної залежності.

Вибір виду регресійної залежності за отриманими експериментальними даними здійснюють по різному, проте основою вибору є глибоке знання характеру і особливостей досліджуваного явища чи поведінки обʼєкта. Як правило, першим кроком у виборі виду кривої регресії є візуалізація отриманих даних у формі множини точок в Декартовій системі координат. Розглядаючи їх положення можна виявити деяку загальну тенденцію їх поведінки і спираючись на неї та на знання характерних особливостей графіків елементарних функцій можна вказати на відповідну їм аналітичну форму. Проте, такий підхід не забезпечує достатню адекватність лінії регресії і досить часто інтерпретація вибраної апроксимуючої функції є складною. В цьому плані існують два загальні підходи.

Перший підхід полягає в тому, що уявно або аналітично намагаються описати поведінку досліджуваного явища або обʼєкта, використовуючи апріорну інформацію чи відповідні аналоги. За можливості здійснюють спроби описати їх диференціальними рівняннями розвʼязки яких дають потрібні функції. Цей шлях є досить складний і вимагає значних зусиль, як в складанні рівнянь, так і в їх розвʼязку. Однак, він є найбільш продуктивним з точки зору отримання максимального обсягу знань значного дослідницького досвіду.

Другий підхід відрізняється тим, що створюється множина функцій претендентів, тобто функцій, які за своїми графіками можуть бути використані в якості моделі регресійної залежності. Далі, встановлюють критерії адекватності, за якими і вибирають потрібну функцію, наприклад, одним з таких критеріїв є мінімум суми квадратів відхилень між експериментальними точками та відповідними точками лінії регресії. Іншим таким критерієм є дисперсія відносно лінії регресії. Тобто, множини функцій претендентів вибирають ту функцію, для якої дисперсія відносно лінії регресії є найменша.

Дисперсію, для однієї з множини функцій претендентів, наприклад j -ої, в цьому випадку,

				n
				yi y 2
	визначають за формулою D	j		i 1	, де n – число експериментальних пар;	m – число
				n m 1
	оцінюваних параметрів в лінії регресії. Число ступенів свободи для цих дисперсій,					як і для D j

становить n m 1.

Для оцінки адекватності вибраної моделі (функції претендента) експериментальним даним

2

використовують F – критерій Фішера: Fp j Dy , де y2 – дисперсія експериментальних значень,

j

			n			n
			yi y 2			yi
визначена за формулами:	2		i 1		і y	i 1	, де n 1 число ступенів свободи для
	y		n 1			n
значення y . Позначимо через k1 n 1 і k2					n m 1 числа ступенів свободи.

Приймемо гіпотезу H0 про те, що із заданою надійністю p вибрана математична модель буде адекватна експериментальним даним. За заданим рівнем значущості 1 p і числом

ступенів свободи k1,	k2 знаходимо за таблицями розподілу Фішера для дисперсій знаходимо
критичне значення критерію Fk , k1, k2 . Якщо		Fp j Fk ,	то із	заданою	надійністю p
приймається гіпотеза	H0 , тобто із заданою надійністю p		можна	вважати,	що прийнята

математична модель є адекватною для отриманих експериментальних даних. В іншому випадку, приймається альтернативна гіпотеза H1 , яка суперечить нульовій.

41

МНОЖИННИЙ РЕГРЕСІЙНИЙ АНАЛІЗ

Як вже зазначалося, для апроксимації одномірних даних, в яких спостерігається певного виду тенденція в поведінці показників використовуються різні аналітичні вирази: поліноми різного степеня, логарифмічна, степенева, експоненційна функції та інші, вибрані дослідником за певних міркувань чи ситуацій. Для кількісного опису взаємозв’язків між залежною та незалежною чи незалежними змінними в математичній статистиці широко використовуються різні методи: метод найменших квадратів, лінійний, нелінійний, множинний регресійний аналіз, які загалом базуються на властивостях та особливостях матричної алгебри.

Залежно від кількості факторів, включених у рівняння регресії, прийнято розрізняти просту (парну) і множинну регресії.

Проста (парна) регресія є регресію між двома змінними - y і x , тобто модель виду:

y f (x),

(1)

де y – залежна змінна (результативна ознака); x – незалежна, або пояснююча, змінна (ознака-

фактор).

Множинна регресія відповідно представляє собою регресію результативної ознаки з двома і більшим числом факторів, тобто модель виду:

y f (x1, x2 ,...xk ) .

(2)

Будь-яке дослідження починається зі складання специфікації моделі, тобто з формулювання виду моделі, виходячи з відповідної теорії зв'язку між змінними. Іншими словами, дослідження починається з теорії, яка встановлює зв'язок між досліджуваним об’єктом та чинниками, що впливають на нього, тобто формують таблицю «об’єкт – впливаючий чинник». Перш за все з усього кола факторів, що впливають на результативну ознаку, необхідно виділити найбільш суттєві.

Парна регресія є достатньою, якщо мається домінуючий чинник, який і буде використаний в якості пояснюючої змінної. Припустимо, що висувається гіпотеза про те, що величина y

перебуває у зворотній залежності від величини x , тобто y x a b x . В цьому випадку

необхідно знати, які ще інші чинники вважати незмінними, можливо, надалі їх доведеться врахувати в моделі і, тоді, від простої регресії перейти до множинної.

Рівняння простої регресії характеризує зв'язок між двома змінними, який проявляється як деяка закономірність лише в середньому в цілому за сукупністю спостережень. Так, якщо залежність y от x характеризується, наприклад, рівнянням y 100 2x , то це означає, що із

зростанням x на 1 то y в середньому зменшується, на 2 одиниці. В рівнянні регресії

кореляційний за своєю суттю зв'язок, представляється у вигляді функціонального зв'язку, вираженому відповідною математичною функцією. Практично в кожному окремому випадку величина y складається з двох доданків:

	yi yxi i ,	(3)
де yi	– фактичне значення результативної ознаки;	yxi – теоретичне значення результативної
ознаки,	знайдене виходячи з відповідної математичної функції зв'язку y і x , тобто з рівняння

регресії; – випадкова величина, що характеризує відхилення реального значення результативної ознаки від теоретичного, знайденого за рівнянням регресії.

Випадкова величина називається також збуренням. Вона включає вплив не врахованих в моделі чинників, випадкових помилок і особливостей виміру. Її присутність в моделі породжене трьома джерелами: специфікацією моделі, вибірковим характером вихідних даних, особливостями виміру змінних.

Наведене раніше рівняння залежності y от x можна точніше записати як

42

y 100 2 x ,

(4),

бо практично завжди має місце дія випадковості.

Залежність y від x

не обов'язково характеризується лінійною функцією

yx a b x .

(5)

Можливі й інші співвідношення, наприклад:

y

a x b ;

y

a

b

;

y

1

,

(6)

x

x

x

a b x

x

або будь-які інші.

Від правильно обраної специфікації моделі багато в чому залежить величина

випадкових

помилок:

вони тим

менші, чим

більшою

мірою теоретичні

значення

результативної ознаки

yx

відповідають фактичному значенню y .

До помилок специфікації будуть відноситися не тільки неправильний вибір тієї чи іншої математичної функції для yx , а й недоврахування в рівнянні регресії якого-небудь суттєвого

чинника, тобто використання парної регресії замість множинної.

Поряд з помилками специфікації можуть мати місце помилки вибірки, оскільки дослідник найчастіше має справу з вибірковими даними при встановленні закономірного зв'язку між ознаками. Помилки вибірки мають місце і через неоднорідність даних вихідної статистичної сукупності, що, як правило, буває за недостатньо повного і глибокого вивчення досліджуваних процесів. Якщо сукупність неоднорідна, то рівняння регресії не має практичного сенсу. Для отримання хорошого результату звичайно виключають із сукупності одиниці з аномальними значеннями досліджуваних ознак. І в цьому випадку результати регресії представляють собою вибіркові характеристики.

На відміну від простої регресії, яка включає лише одну незалежну змінну, множинна регресія подається таким рівнянням:

y a b1x1 b2 x2 bn xn .

(7)

Побудова рівняння множинної регресії починається з формування специфікації моделі, а цей процес включає два кола питань: відбір чинників і вибір рівняння регресії. Відбір чинників переважно здійснюється двома етапами:

–теоретичний аналіз взаємозв’язку результату і кола чинників, що здійснюють на нього суттєвий вплив;

–кількісна оцінка взаємозв’язку чинників з результатом. За лінійної форми зв’язку між ознаками даний етап зводиться до аналізу кореляційної матриці (матриці R парних лінійних коефіцієнтів кореляції:

ry, y

ry, x

ry, x

2

ry, x

m

1

R

rx , y

rx , x

rx , x

rx , x

,

1

1

1

1

2

1

m

rx

, y

rx , x

rx , x

2

rx , x

m

m

m

1

m

m

де ry , x j – лінійний парний коефіцієнт кореляції, який вимірює тісноту зв’язку між ознаками y та xj , j 1,m , m – число чинників; rx j , xk – лінійний парний коефіцієнт кореляції, який вимірює тісноту зв’язку між ознаками xj і xk , k, j 1,m .

Чинники, які включаються в множинну регресію повинні відповідати таким вимогам.

1. Вони повинні бути кількісно вимірними. Якщо необхідно включити в модель якісний чинник, який не має кількісного виміру, то йому можна надати певну кількісну (навіть суб’єктивну) визначеність, наприклад в балах.

43

2.Кожен фактор повинен бути достатньо сильно пов’язаний з результатом, тобто коефіцієнт парної лінійної кореляції між ним і результатом має бути істотним.

3.Чинники не повинні бути сильно корельованими між собою, а тим більше не бути функціонально зв’язаними.

При виборі форми рівняння множинної регресії перевагу віддають лінійній функції (7) з огляду на те, що визначені значення параметрів можуть бути чітко і змістовно інтерпретовані. Дане рівняння регресії називають рівнянням регресії в природному (натуральному) масштабі. Коефіцієнт регресії bj біля чинника xj називають умовно-чистим коефіцієнтом регресії. Він

вимірює середнє для сукупності відхилення ознаки-результату від його середньої величини при відхиленні ознаки-чинника xj на одиницю, за умови, що всі інші чинники моделі не змінюються

(зафіксовані на своїх середніх рівнях). Якщо не робити цього припущення про значення інших чинників, що включені в модель. То це означало б, що кожен з них при зміні xj також змінювався

б, оскільки усі вони зв’язані між собою, і тоді своїми змінами вони б впливали на ознаку результат.

Побудова рівняння множинної регресії матричним методом

Формулювання завдання. Побудувати рівняння множинної регресії для експериментальних даних поданих таблицею «результат – впливаючий чинник» та обґрунтувати його правомірність. Таблиця «результат – впливаючий чинник» має вигляд, відображений табл. 1, в якій значення

результату представлено вектором Y y1 , y2 , , y10 , а значення впливаючих чинників –

векторами X i xij
		, де i 1,5				, а	j 1,10 .
														Таблиця 1.
			Таблиця даних «результат - чинник»
	№		Y			X1			X2		X3	X4	X5
	з/п
	1		9,8		0,51				0,2		1,47	0,72	0,67
	2		13,2		0,36				0,64		1,27	0,7	0,98
	3		17,3		0,23				0,42		1,51	0,66	1,16
	4		7,1		0,26				0,27		1,46	0,69	0,54
	5		11,5		0,27				0,37		1,27	0,71	1,23
	6		12,1		0,29				0,38		1,43	0,73	0,78
	7		15,2		0,01				0,35		1,5	0,65	1,16
	8		31,3		0,02				0,42		1,35	0,82	2,44
	9		11,6		0,18				0,32		1,41	0,8	1,06
	10		30,1		0,25				0,33		1,47	0,83	2,13

Рівняння множинної регресії в цьому випадку матиме такий вигляд:

Y b0 b1X1 b2 X 2

b3 X3 b4 X 4

b5 X5 .

(8)

Побудова рівняння множинної регресії означає визначення (обчислення) значень коефіцієнтів b0 , b1 , , b5 . Оскільки є можливим певний зв’язок між результатом та чинниками, а також між

окремими чинниками деякі доданки з коефіцієнтами, що мають відносно або суттєво менші значення, порівняно з іншими коефіцієнтами можуть бути вилучені, очевидно в межах допустимої похибки. В цьому випадку, відповідь на тісноту зв’язку між результатом і чинниками та між самими чинниками дає кореляційна матриця табл. 1.

Процедура побудови рівняння множинної регресії переважно подається такими кроками.

44

Крок 1. Побудова кореляційної матриці. Для цього необхідно:

відкрити нову книгу в табличному процесорі Excel;

сформувати (перенести) на лист досліджувані дані у формі табл. 1;

ініціювати програму КОРЕЛЯЦІЯ в такий спосіб: «Сервіс → Аналіз даних → Кореляція»;

ввести дані, за винятком стовпчика « № з/п »,

вхідний інтервал В1:F11, де розміщені дані з заголовками стовпчиків – їх назв;

активізувати віконце «Мітки в першій стрічці»;

перемикач групування в положення «по стовпчиках»;

параметр виводу «Вихідний інтервал», наприклад A14;

клік « ОК ».

Врезультаті отримаємо кореляційну матрицю, зображену на рис. 1 разом з вихідними даними.

Рис. 1. Таблиця «Результат - чинник» та її кореляційна матриця.

З кореляційної матриці випливає, що чинник X 3 дуже слабо зв’язаний з результатом r3Y 0.018 та чинниками X1, X 4 та X 5 , тобто коефіцієнти парної кореляції з ними для нього є

такі: r31 0.09, r34 0.18 , r31 0.15 . Можливо далі, цей чинник можна буде виключити з розгляду і не враховувати в рівнянні.

Крок 2. Утворення матриць. Оскільки дані є подані таблицею «Результат - чинник» і відома форма рівняння, то для того, щоб визначити коефіцієнти моделі треба здійснити її

ідентифікацію, тобто знайти оцінки параметрів моделі b0 , b1 , , b5 . Для цього використовують

45

функції матричної алгебри в MS Excel.

Дана модель в матричній формі має такий вигляд:

							Y Xb e .							(9)
	2.1. Побудуємо матриці Y ,					X , b за таблицею вихідних даних.
					1	0,51	0,2	1,47	0,72	0,67
		9,8
		13,2			1	0,36	0,64	1,27	0,7	0,98
		17,3			1	0,23	0,42	1,51	0,66	1,16			0
		7,1			1	0,26	0,27	1,46	0,69	0,54			1
Y =		11,5	,	X =	1	0,27	0,37	1,27	0,71	1,23	,	b =	2	,
		12,1			1	0,29	0,38	1,43	0,73	0,78			3
		15,2			1	0,01	0,35	1,5	0,65	1,16			4
		31,3			1	0,02	0,42	1,35	0,82	2,44			5
		11,6			1	0,18	0,32	1,41	0,8	1,06
		30,1			1	0,25	0,33	1,47	0,83	2,13

2.2. Вектор-стовпчик b оцінок параметрів моделі визначають за такою формулою:

1	XT Y .
b XT X		(10)
Крок 3. Перевірка вимоги нерівності нулю визначника. Отже, перш ніж продовжити
визначення коефіцієнтів рівняння множинної регресії, тобто обчислення вектор-стовпчика		b –
оцінок параметрів значень рівняння необхідно перевірити вимогу:
det XT X 0,		(11)

3.1. Для знаходження матриці XT , транспонованої (рядки стають стовпчиками, а стовпці – рядками) відносно матриці X можна скористатися двома способами.

1. Використовуємо функцію табличного процесора ТРАНСП діставшись до неї таким шляхом: «Майстер функцій → Посилання і масиви → ТРАНСП → ОК». Оскільки для транспонованої матриці кількість стовпчиків рівна кількості стрічок не транспонованої матриці на листі треба забезпечити для неї відповідно вільне місце. Активізуючи комірку в лівому верхньому куті вводять в неї, описаним способом функцію ТРАНСП. У відкрите вікно цієї функції копіюємо

матрицю, яку треба транспонувати і натискаємо ОК. В комірці отримуємо таке: . Починаючи з цієї комірки виділяємо мишкою точне місце для транспонованої матриці, далі натискаємо на клавіатурі клавішу « F2 » і групу клавіш CTRL+SHIFT+ENTER. У виділеному місці отримаємо значення транспонованої матриці:

	1	1	1	1	1	1	1	1	1	1
	0,51	0,36	0,23	0,26	0,27	0,29	0,01	0,02	0,18	0,25
XT =	0,20	0,64	0,42	0,27	0,37	0,38	0,35	0,42	0,32	0,33
	1,47	1,27	1,51	1,46	1,27	1,43	1,5	1,35	1,41	1,47
	0,72	0,7	0,66	0,69	0,71	0,73	0,65	0,82	0,80	0,83
	0,67	0,98	1,16	0,54	1,23	0,78	1,16	2,44	1,06	2,13
2. Другий спосіб полягає в такому. Виділяємо і копіюємо потрібну матрицю. У вибране
місце (яке забезпечує		її розміри) робимо вставлення її через операції «Спеціальна вставка →
транспонувати → ОК».							XT X ,
2.4.	Знаходимо		матрицю	добутку матриць				використовуючи функцію
					46

МУМНОЖ, для чого використовуємо «Майстер функцій → Математичні → МУМНОЖ → ОК». Треба мати на увазі, що можна перемножити лише ті матриці, для яких кількість стрічок матриці-

множене рівна кількості стовпчиків матриці-співмножник, тобто якщо матриця-множене має розмір n m , а матриця-співмножник – m k , то матриця-добуток матиме розмір n k , і саме такого розміру треба підготувати для неї місце.

Для знаходження цього добутку викликаємо функцію МУМНОЖ і у її вікно вводимо

відповідні дані: масив1 це матриця XT , а масив2 це матриця X . В результаті мають бути відображені початкові значення матриць після трьох знаків рівностей, а також внизу вікна має бути показане значення. Натискаємо « ОК », після чого в комірці, в яку була введена формула множення з’являється число.

Починаючи з цієї комірки виділяємо мишкою місце під матрицю-добуток і натискаємо на клавіатурі клавішу « F2 », замість значення в комірці буде формула МУМНОЖ(A34:J39;A23:F32),

далі, натискаємо	групу клавіш CTRL+SHIFT+ENTER. В результаті, у виділеній області під
матрицю-добуток з’являться її значення, а				в стрічці формул (там			де знак fx , формула
МУМНОЖ(A34:J39;A23:F32) буде взята у фігурні дужки – знак роботи з масивами).
			2,38	3,7	14,14	7,31	12,15
		10
		2,38	0,7626	0,8613	3,3547	1,7282	2,4437
	XT X =	3,7	0,8613	1,4904	5,1768	2,6974	4,6186
		14,14	3,3547	5,1768	20,0648	10,3271	17,1067
		7,31	1,7282	2,6974	10,3271	5,3809	9,12
		12,15	2,4437	4,6186	17,1067	9,12	18,1275
В матриці	XT X число 10, яке лежить на перетині 1-ої стрічки і 1-го стовпчика, є

отримане як сума добутків елементів 1-го рядка матриці XT і першого стовпчика матриці X .

2.5. Перевірка вимоги (11) здійснюється за допомогою функції МОПРЕД. Для цього поступають таким чином: «Майстер функцій → Математичні → МОПРЕД → ОК». Вводимо значення матриці і натискаємо « ОК », в результаті отримуємо значення 0,000314, яке хоча і близьке до нуля, проте нерівне нулю.

Крок 3. Визначаємо решту матриць. До них відносять матрицю XT Y та обернену матрицю

XT X 1.

3.1. Для знаходження матриці XT Y виконаємо множення за допомогою функції МУМНОЖ. В результаті отримаємо таку матрицю:

159,20

32,58 ХТ Y = 60,55 225,22 119,42 237,40

3.2.Обернену матрицю XT X 1 отримують за допомогою функції МОБР. Для цього

поступають таким чином: «Майстер функцій → Математичні → МОБР → ОК». Вводимо значення матриці і натискаємо « ОК », в результаті отримуємо в зазначеній комірці, тобто в тій, в яку вводили формулу значення для даного прикладу 131,61. Далі, оскільки обернена матриця є того самого розміру що й не обернена, виділємо такий самий діапазон починаючи з комірки з розміщеною формулою. Натискаємо на клавіатурі клавішу « F2 », в результаті замість значення в

47

комірці буде формула МОБР(E42:J47), далі, натискаємо групу клавіш CTRL+SHIFT+ENTER.

В результаті, у виділеній під обернену матрицю області з’являться її значення, а в стрічці формул (там де знак fx , формула МОБР(E42:J47) буде взята у фігурні дужки, що означає виконання операції над масивом).

	1
Обернена матриця XT X		має такий вигляд:
			-1,3552	-35,454	-51,983	-68,386	4,4652
	131,61
	-1,3552		8,87382	0,05882	2,17428	-8,2849	1,8134
(ХТ Х)-1 =	-35,454		0,05882	16,8532	13,6779	15,8787	-1,435
	-51,983		2,17428	13,6779	26,2221	13,7817	-0,6151
	-68,386		-8,2849	15,8787	13,7817	72,372	-6,5091
	4,4652		1,8134	-1,435	-0,6151	-6,5091	1,03865

Крок 3. Визначення параметрів рівняння. Для визначення параметрів рівняння-моделі треба

знайти оцінки значень вектора b , тобто знайти добуток матриць b XT X 1 XT Y , який

аналізується аналогічно попереднім добуткам. В результаті застосування функції МУМНОЖ до обох співмножників матрицю-добуток зі значеннями оцінок параметрів рівняння множинної регресії

-53,3379 7,746083 b = 14,35101 29,00167 5,948828 13,78396

Таким чином рівняння (8) можна записати у такому вигляді

Y 53.34 7.75X1 14.35X 2

29.00X3

5.95X 4

13.78X5

.

(12)

Для перевірки адекватності цієї моделі реальним даним здійснимо її перевірку в той спосіб, що використаємо рівняння (12) як формулу, але для забезпечення максимальної точності та зручності значення оцінок будемо підставляти не заокруглені як в рівнянні (12), а брати їх з комірок, фіксуючи їх значення з допомого кліку по клавіші « F4 » на клавіатурі. В результаті, перевірки якості адекватності за формулою

	n 10			yi	ymi
					yi
	i 1						100% ,	(13)
				n

матиме такий вигляд, зображений на рис. 2.

48

Рис. 2.

В результаті перевірки на адекватність величина значення помилки апроксимації становить 4,6 %. В стрічці формул на рис.2 зображена формула – рівняння з фіксацією коефіцієнтів.

Побудова рівняння множинної регресії з використанням Пакету аналізу Ms Excel

Табличний процесор Ms Excel 2003 в офісному пакеті містить надбудову «Аналіз даних» для статистичної обробки інформації, включаючи і функцію «Регресія». Для цього треба

49

Пояснимо призначення параметрів діалогового вікна Регресія.

Вхідний інтервал Y: - діапазон зі значеннями залежної змінної Y, включаючи мітку.

Вхідний інтервал X: - діапазон зі значеннями незалежної змінної X, включаючи мітку.

Мітки - цю опцію включають, якщо Вхідні інтервали X, Y містять підписи зверху.

Константа - нуль - дану опцію включають тільки в тому випадку, коли ви хочете, щоб пряма регресії проходила через початок координат (0, 0).

Рівень надійності: - за умовчанням використовується 95% -ий довірчий інтервал. Для отримання інших довірчих інтервалів встановлюють прапорець і вводять рівень значущості.

Вихідний інтервал: - включається опція і в текстове поле вводиться посилання (адреса комірки), яка вказує лівий верхній кут області виведення результатів.

Залишки - цю опцію включають для отримання значень вибіркової функції регресії

( yˆi ; i 1, 10 ) і залишків (тобто відхилень: yi yˆi ; i 1, 10 ).

Графік залишків - включення цієї опції дозволяє отримати діаграму залишків для кожного значення змінної X.

Стандартизовані залишки - отримання нормованих залишків (кожен із залишків

50