Глава 1. Парная регрессия и корреляция

1.1. Постановка задачи и основные понятия

Модели парной регрессии являются наиболее простыми из всех эконометрических моделей, но на их примере можно наиболее наглядно показать фундаментальные основы регрессионного анализа.

Итак, исследуется взаимосвязь между двумя переменными (показателями, признаками) х и у. Одна из них (х) является независимой (объясняющей, факторной, входной, экзогенной), другая (у) - зависимой (результирующей, выходной, эндогенной). При этом предполагается, что эта взаимосвязь является не функциональной, когда каждому значению х соответствует единственное значение у, а стохастической, когда каждому х может соответствовать, вообще говоря, целое множество значений у, образующих некоторую случайную величину Y. Эта неоднозначность соответствия обычно объясняется наличием неучтенных в модели факторов, ошибок измерений и т.д.

Модель, определяющая такого рода взаимосвязь, может быть выражена формулой:

(1.1)

и называется парной регрессией. Здесь  - некоторая случайная компонента. Наиболее часто используются два вида моделей парной регрессии, в которые компонента входит либо аддитивным

либо мультипликативным образом:

Основной задачей регрессионного анализа является максимально точное воспроизведение регулярной (неслучайной) составляющей в соответствии с имеющимся массивом из n парных статистических наблюдений переменных х и у:

х	х1	х2	…	xn
у	у1	у2	…	yn

Графическое изображение точек (х_i, у_i) (i=1,2,…,n) на координатной плоскости обычно называют корреляционным полем или диаграммой рассеяния.

Уравнение называют уравнением парной регрессии. Здесь представляет собой оцененное значение зависимой переменной у, уже однозначно определяемое по заданному значению х.

Заметим, что здесь и в дальнейшем символ ^{^} означает эмпирическую оценку переменной, функции или параметра, над которыми он проставлен, или, другими словами, наше относительное представление о переменной, функции или параметре на основе ограниченной информации.

1.2. Классическая парная линейная регрессия. Метод наименьших квадратов.

Наиболее простая модель парной регрессии соответствует случаю, когда функция f(x) в (1.1) является линейной, а случайная компонента входит аддитивным образом:

, (1.2)

где ₀, ₁ – параметры модели. При этом классический случай такой модели предполагает, что случайная компонента удовлетворяет следующим требованиям:

• математическое ожидание  равно нулю: М[]=0;

• дисперсия  постоянна по всему массиву наблюдений: D[]=const;

• случайные остатки и , относящиеся к разным наблюдениям являются независимыми (взаимно некоррелированными), что может быть выражено равенствами: при всех ij;

• случайные отклонения  не зависят от объясняющей переменной х;

• кроме того, обычно предполагают, что случайная компонента  распределена по нормальному закону.

Задача регрессионного анализа в данном случае сводится к отысканию наиболее приемлемых оценок и параметров уравнения ₀ и ₁ по известным выборочным значениям влияющей и результирующей переменных. Еще раз подчеркнем, что значения оценок и не совпадают с истинными значениями ₀ и ₁, поскольку определяются на основании ограниченной и, возможно, не вполне достоверной выборки.

Оценка параметров производится обычно с помощью метода наименьших квадратов (МНК), суть которого сводится к отысканию значений и , минимизирующих сумму квадратов отклонений фактических значений результирующей переменной от ее расчетных значений:

(1.3)

В случае парной регрессии МНК имеет наглядную геометрическую интерпретацию (рис.1.1). Параметры регрессионного уравнения ₀ и ₁ подбирают таким образом, чтобы прямая линия прошла как можно ближе ко всем имеющимся точкам.

Численная реализация МНК сводится к решению задачи минимизации (1.3). Заметим, что в данном случае x_i и y_i – известные данные (числа), так что величина Q является функцией от двух переменных - параметров и .

Воспользуемся необходимым условием экстремума функции нескольких переменных. Для этого найдем частные производные , и приравняем их к нулю:

Отсюда после несложных преобразований получим следующую систему линейных уравнений:

(1.4)

где n – объем выборки. Систему (1.4) называют системой нормальных уравнений относительно оценок параметров парной линейной регрессии.

Решая данную систему, можно получить непосредственные формулы для расчета оценок параметров:

или , (1.5)

,

где , , , .

Получаемые оценки параметров линейного уравнения парной регрессии имеют достаточно четкую экономическую или физическую интерпретацию. Оценка показывает, какое среднее значение имеет результирующая переменная y при отсутствии влияния со стороны переменной x, а оценка определяет, на сколько в среднем меняется результирующая переменная при изменении переменной x на единицу.