Тема 3. Метод наименьших квадратов (мнк) для парной линейной регрессии

Рассмотрим задачу регрессионного анализа: будем восстанавливать линейную регрессионную зависимость величины Yот величиныX в форме

Y=a+b·X+ε,

где ε-случайная величина, соответствующая ожидаемой ошибке, погрешности. Воспользуемся данными {Y _i,X _i, i=1,…,n} по проявлениям выявляемой зависимости в аналогичных условиях (приn≥ 2). Например, по даннымmпредыдущих периодов о ценах, объемах сбыта {c_j,k_j,j=1,…,m} подберем регрессионную зависимостьk= ac+b+ε. Значения параметров функции a, b, найдем, минимизируя «видимые» ошибки-отклонения «прогнозов по функции» от «факта» – по методу наименьших квадратов (МНК):

min ∑ (a+b·X _i – Y _i)²

^{a,b i=1,…,n}

(для указанного выше примера о ценах, объемах сбыта, в частности, МНК примет вид

min ∑ (k_j – (ac_j+b))²).

^{a,b j=1,…,m}

Согласно необходимому условию экстремума приравняем частные производные нулю, получим два уравнения:

∑ [2(a+b·X _i – Y _i)X _i] = 0, ∑ [2(a+b·X _i – Y _i)] = 0

^{i=1,…, n i=1,…, n}

(∑ [2(ac_j+b – k_j)c_j ] = 0, ∑ [2(ac_j+b – k_j)] = 0).

^{j=1,…,m j=1,…,m}

Откуда следует в общем случае, что

b = (n∑ X _iY _i – (∑ X _i)  (∑Y _i)) / (n∑ X _i²-(∑ X _i)²),

a = Y ₀ – b  X ₀,

где

X ₀=(1/ n) ∑ X _j, Y ₀=(1/ n) ∑ Y _i.

Второе уравнение означает, что регрессионная прямая проходит через точку со средними значениями.

Если рассмотреть отклонения от средних х_i= X_i-X ₀,у_i= Y _i-Y₀, то нетрудно убедиться, что средние величины для новых величин равны нулю. Тангенс угла наклона при этом не меняется, а значит можно пользоваться следующими формулами для расчета коэффициентов (параметров парной линейной регрессионной модели)

b = ∑ (X _j – X ₀)  (Y _j – Y ₀) / ∑ (X _j – X ₀)², a = Y ₀ – b  X ₀

^{j=1,…,n j=1,…,n}

(а = ∑ (c_j – c₀)  (k _j – k ₀) / ∑ (c_j – c₀)², b = k₀ – а  с₀).

^{j=1,…,m j=1,…,m}

Обозначим в общем случае

X ₁ Y ₁ 1 e ₁

X=[ …], Y =[ …], s=[ …], e=[ …], Y^ = a·s + b·X, e = Y - Y^

X _n Y _n 1 e _n

Y^-вектор, натянутый на единичный векторs, и вектор детерминированных величин X.

Геометрически экстремальное условие становится условием «ортогональности» вектора eвекторам s, X (здесь и ниже,’-признак транспонированности):

s’ e=0, X’ e=0.

Рассмотрим матрицу размерности (nX2)

1 X ₁ Y ₁

X=[ …… ]; Y =[ …], β=[a,b]’-векторы «фактов» и искомых параметров

1 X _n Y _n

зависимости. Тогда условие «ортогональности» примет еще более компактный вид:

X’ e=0

или

X’ (Y - X β)=0.

Откуда получим:

X’ Y - X’ X β=0.

или (здесь, А^-1-обратная матрица к матрицеА)

β = (X’ X)^-1 X’ Y.

Обобщаемая на многомерный случай форма примет в двумерном случае следующий вид

N ∑ X _i ∑ Y _i

β = (X’ X)^-1 X’ Y =[ ] ^-1[ ].

∑ X _i ∑ X _i² ∑ X _i Y _i

Упражнение (контрольное задание) № 1 (см.[3, с.41, Упр. 2.9]).

Пусть имеется таблица данных двух показателей (Y,X), требуется восстановить зависимость между ними в форме линейной модели регрессии 4-мя способами. Интерпретируя Y,X как «объем сбыта» и «цена», соответственно, выявить оптимальную цену для максимизации дохода, оценить границы варьирования опосредованно управляемого сбыта (оценить ожидаемые вариации и дохода при оптимальной цене).

№ п/п	(Y)	(X)
1	70	5+N1
2	65	11
3	55	15
4	60	17
5	50	20
6	35	22
7	40	25
8	30	27
9	25	30
10	32-N2	35

Здесь и ниже, N₁,N₂- параметры контрольных заданий, соответствующие номеру по списку в журнале группы (цифры, равные количеству десятков и количеству единиц в номере, соответственно).

РЕШЕНИЕ(при N₁=N₂=0).

В электронной таблице Excelвыполним действия, иллюстрируемые следующим образом.

Если раздел меню «Сервис/Анализ данных…» не нашёлся, то открываем (инициируем выполнение команды меню) «Сервис/Надстройки…»…

…и подключаем «Пакет анализа» (устанавливаем соответствующую «галочку»)…

После этого раздел меню «Сервис/Анализ данных…» должен найтись…

Заметим, что соответствующую эконометрическю модель принято записывать, в частности, следующим образом (применяя одинаковый способ округления):

Y = 79,95 – 1,63  X, R²=0,86.

(5,20) (0,23)

Вопросы по 3-ей теме:

1. Что собой представляет МНК для задачи регрессионного анализа применительно к восстановлению связи между двумя величинами? Какую форму МНК принимает применительно к выявлению зависимости спроса от цены, в частности?

2. Как необходимое условие экстремума позволяет найти параметры модели парной линейной регрессии в связи с применением МНК?

3. Почему регрессионная прямая проходит через точку со средними значениями?

4. Как регрессионное уравнение в отклонениях упрощает расчет коэффициента при неизвестной в искомой линейной зависимости?

5. Какова векторная форма «видимых» ошибок-отклонений «прогнозов» и «фактов»?

6. Какую форму принимает условие экстремальности по МНК для парной линейной регрессии в геометрической интерпретации?

7. Каков матричный вид условия ортогональности векторов отклонений прогноза и факта описываемой переменной, единичного вектора и вектора детерминированных величин (и почему этот вид таков)?