Метод наименьших квадратов

Вычисляют выборочную дисперсию, характеризующую меру разброса опытных данных (x_i; y_i)вокруг значений регрессии, то есть дисперсию остатков

.

Знаменатель показывает число степеней свободы. Оно определяется как разность между объемом выборки и числом параметров регрессии, подлежащих оценке. Стандартной ошибкой регрессии называется

.

Стандартная ошибка должна быть минимальна, это равносильно условию:

. (1)

Геометрическая интерпретация формулы(1)следующая: сумма площадей заштрихованных квадратов должна быть наименьшей.

Пусть ŷ_i = b₀ + b₁x₁;i= 1, 2, …,n; тогда

и надо найти b₀иb_1.

Для наличия экстремума S(b₀; b₁)необходимо выполнение равенств:

(2)

Для вторых частных производных функции S(b₀; b₁)справедливы соотношения:

Существование минимума обеспечивается выполнением условия:

После преобразований уравнений (2)получаем систему двух уравнений первой степени (систему нормальных уравнений) относительно неизвестныхb₀иb₁:

(3)

Применяя к ней правило Крамера, получаем:

Получить b₀иb₁из уравнений(3)можно по-другому. Первое из уравнений системы почленно разделим наn. Тогда

; или

, откуда ;

; .

Коэффициент регрессии b₁можно представить следующим образом:

, где

- ковариация между переменными xиy,- дисперсия переменнойx.

Вычислим коэффициенты регрессии общей суммы налогового сбора (переменная y) на сумму поступлений налога на добавленную стоимость по несгруппированным данным:

Время наблюдения	№ наблюдения	y(общая сумма налогов и платежей в консолидированный бюджет РФ), млрд. руб.	x(общая сумма поступлений в консолидированный бюджет РФ по НДС), млрд. руб.	xi^2	yi^2	xiyi
январь	1	38,9	13,4	179,56	1513,21	521,26
февраль	2	45,3	15,4	237,16	2052,09	697,62
март	3	61,1	16,7	278,89	3733,21	1020,37
апрель	4	70,4	16,2	262,44	4956,16	1140,48
май	5	63,8	13,0	169	4070,44	829,4
июнь	6	67,7	15,0	225	4583,29	1015,5
июль	7	70,6	20,8	432,64	4984,36	1468,48
август	8	78,9	16,4	268,96	6225,21	1293,96
сентябрь	9	73,2	17,4	302,76	5358,24	1273,68
октябрь	10	78,1	23,6	556,96	6099,61	1843,16
ноябрь	11	103,0	23,9	571,21	10609	2461,7
декабрь	12	133,4	34,4	1183,36	17795,56	4588,96
Σ		884,4	226,1	4667,94	71980,4	18154,6

График уравнения регрессииyнаx выглядит следующим образом:

Экономические явления обычно находятся во взаимодействии, то есть переменная yзависит от переменнойx, и наоборот, переменнаяxзависит от переменнойy. В этом случае говорят о логически обратимой регрессии. При переходе от одной зависимости к другой нельзя из уравнения

выразить xвыразить черезy, так как эмпирические точки лежат не на прямой, а подвержены рассеянию и фиксированному значениюxможет соответствовать несколько значенийyи наоборот.

Уравнения регрессии ине выводимы друг из друга. Они задают сопряженные регрессионные прямые.

Построим регрессию xнаyдля рассматриваемого нами примера.

;

График регрессии xнаyбудет выглядеть следующим образом:

Совместим графики регрессии xнаyиy наx:

Регрессионные прямые образуют «ножницы». По величине раствора ножниц можно судить приблизительно о степени зависимости обеих переменных. Чем более раскрыты ножницы, тем слабее связь. Если обе прямые регрессии пересекаются под прямым углом, то эмпирические данные не позволяют подтвердить гипотезу о существовании зависимости между переменными. Если отсутствует регрессия xнаy, то не существует также регрессииy наx, и наоборот. Приb₁= 0 обязательноb₁^*= 0 и обратно.