Вопрос 39

Расчет параметров линейного уравнения регрессии методом наименьших квадратов

ОТВЕТ

Уравнение регрессии – это уравнение, описывающее корреляционную зависимость между признаком-результатом Y и признаками факторами (одним или несколькими).

Наиболее часто для описания статистической связи признаков используется линейное уравнение регрессии. Внимание к линейной форме связи объясняется четкой экономической интерпретацией параметров линейного уравнения регрессии, ограниченной вариацией переменных и тем, что в большинстве случаев нелинейные формы связи для выполнения расчетов преобразуют (путем логарифмирования или замены переменных) в линейную форму. Линейное парное уравнение регрессии имеет вид: Y’_i=a+b·X_i , i=1;n, n – объем совокупности (число наблюдений).

Оценки параметров линейной регрессии (a и b) могут быть найдены разными методами. Наиболее распространенным является метод наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров а и b, при которых сумма квадратов отклонений фактических значений результативного признака - Y_i от расчетных (теоретических) значений –Y’_i (рассчитанных по уравнению регрессии) минимальна:

.

Проиллюстрируем суть данного метода графически (рис.14). Попытаемся подобрать прямую линию, которая ближе всего расположена к точкам корреляционного поля. Согласно методу наименьших квадратов линия выбирается так, чтобы сумма квадратов расстояний по вертикали между точками корреляционного поля и этой линией была бы минимальной.

Y

Y’_i

Y_i

X

Х _i

Рис.14. Линия регрессии с минимальной суммой квадратов отклонений.

В случае линейной парной зависимости:

S=(Y_i-( a+b·X_i))² min.

Значения Y_i и X_i i=1;n нам известны, это данные наблюдений. В функции S они представляют собой константы. Переменными в данной функции являются искомые оценки параметров - а и b. Чтобы найти минимум функции 2-ух переменных необходимо вычислить частные производные данной функции по каждому из параметров и приравнять их нулю, т.е. .

В результате получим систему из 2-ух нормальных линейных уравнений:

Р ешая данную систему, найдем искомые оценки параметров.

Правильность расчета параметров уравнения регрессии может быть проверена сравнением сумм (возможно некоторое расхождение из-за округления расчетов).

Параметр b может быть рассчитан также через коэффициент корреляции: .

Знак коэффициента регрессии b указывает направление связи (если b>0, связь прямая, если b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -Y при изменении признака-фактора - Х на 1 единицу своего измерения.

Формально значение параметра а – среднее значение признака-результата Y при значении признака-фактора Х равном нулю. Если признак-фактор не имеет и не может иметь нулевого значения, то вышеуказанная трактовка параметра а не имеет смысла.

Рассчитаем параметры линейного уравнения регрессии, описывающего зависимость выработки рабочего, шт./смену (Y) от разряда (Х). Исходные данные:

X	3	3	3	4	4	5	5	5	5	6	6	6	6	7	7	7	8	8	8	8
Y	10	12	13	11	14	12	13	15	16	15	17	17	18	18	20	22	23	24	27	25

Для оценки параметра b рассчитаем показатели:

=(3·3+4·2+5·4+6·4+7·3+8·4)/20=5,7;

²_х=((3-5,7)²3+(4-5,7)²2+(5-5,7)²4+(6-5,7)²4+(7-5,7)²3+(8-5,7)²4)/20=2,81;

=(10+12+13+11+14+12+13+….+27+25)/20=17,1;

=(3·10+3·12+3·13+4·11+4·14+5·12+5·13+…+8·27+8·25)/20=104,95;

Тогда параметр b=( - · )/²_х =(104,95-5,7·17,1)/2,81=2,66.

Парметр a= -b· =17,1- 2,66·5,7=1,927.

Уравнение регрессии будет иметь вид: Y’=1,927+2,66·X..

Интерпретация параметров уравнения регрессии:

b- при увеличении разряда на единицу, выработка рабочего в среднем возрастает на 2,66 шт. за смену.

Параметр а не интерпретируем, т.к. отсутствуют данные о рабочих с разрядом 0.

Рассчитаем теоретические значения признака-результата по уравнению регрессии:

Y’_(х=3)=1,927+2,66·3=9,91.

Y’_(х=4)=1,927+2,66·4=12,57.

Y’_(х=5)=1,927+2,66·5=15,24.

Y’_(х=6)=1,927+2,66·6=17,90.

Y’_(х=7)=1,927+2,66·7=20,56.

Y’_(х=8)=1,927+2,66·8=23,22.

Результаты расчета поместим в таблицу:

X	3	3	3	4	4	5	5	5	5	6	6	6	6	7	7	7	8	8	8	8
Y	10	12	13	11	14	12	13	15	16	15	17	17	18	18	20	22	23	24	27	25
Y’	9,91	9,91	9,91	12,6	12,6	15,2	15,2	15,2	15,2	17,9	17,9	17,9	17,9	20,6	20,6	20,6	23,2	23,2	23,2	23,2