Выборочные уравнения регрессии

Условное математическое ожидание случайной величины Y: М(Y/X) есть функция от X, которая называется функцией регрессии и равна f(x), т. е.

M(Y/X)=f(x); (6.2)

аналогично

M(X/Y) = (6.3)

Графическое изображение f(x) или называется линией рег­рессии, а записанные уравнения (5.2) и (5.3) — уравнениями рег­рессии.

Поскольку условное математическое ожидание М случайной величины Y есть функция от (х), то его оценка , т. е. условная средняя, также является функцией от X. Обозначим эту функцию через

(6.4)

Уравнение (5.4) определяет выборочное уравнение регрессии у на х. Сама функция называется выборочной регрессией Y на X, а график — выборочной регрессией. Аналогично определя­ется для случайных величин X:

(6.5)

Функция регрессии необратима, так как речь идет о средних величинах для некоторого конкретного значения фактора.

Функция регрессии формально устанавливает соответствие между переменными X и Y, хотя такой зависимости может и не быть в экономике (ложная регрессия).

Линейная регрессия

Пусть задана система случайных величин X и Y и случайные ве­личины X и Y зависимы.

Представим одну из случайных величин как линейную функ­цию другой случайной величины X:

(6.6)

где - параметры, которые подлежат определению.

В общем случае эти параметры могут быть определены различ­ными способами, наиболее часто используется метод наименьших квадратов (МНК).

Функцию g(x) называют наилучшим приближением в смысле МНК, если математическое ожидание принимает наименьшее возможное значение.

В этом случае функцию g(x) называют средней квадратической регрессией Y на X. Можно доказать, что линейная средняя квадра­тическая регрессия имеет вид:

(6.7)

где — математические ожидания случайных величин X, Y соответственно;

— средние квадратические отклонения случайных величин X, Y соответственно;

r — коэффициент парной корреляции, который определяется по формуле:

(6.8)

где - ковариация.

(6.9)

тогда - коэффициент регрессии. Возникает проблема определения параметров и на основе выборке.

Рассмотрим определение параметров выбранного уравнения прямой линии средней квадратической регрессии по несгруппированным данным. Пусть изучается система количественных призна­ков (X, У), т. е. ведутся наблюдения за двухмерной случайной величиной (X, Y). Пусть в результате я наблюдений получено п пар чисел (x₁,y₁), (x₂,y₂),…, (x_n,y_n).

Требуется по полученным данным найти выборочное уравнение прямой линии средней квадратической регрессии:

Поскольку данные несгруппированные, т. е. каждая пара чисел встречается один раз, то можно перейти от условной средней к переменной у. Угловой коэффициент k обозначим через k = р и назовем его выборочной оценкой коэффициента регрессии .Итак, требуется найти:

(6.10)

Очевидно, параметры р и b нужно подобрать так, чтобы точки (x₁,y₁), (x₂,y₂),…, (x_n,y_n),построенные по исходным данным, ле­жали как можно ближе к прямой (5.10) (рис. 5.1).

Рис. 6.1. Динамика изменения признака Y

Уточним смысл этого требования. Для этого введем следующее понятие. Назбвем отклонением разность вида:

Y_i-y_i(i=1,2,…,n)

где Y_i - вычисляется по уравнению (6.10) и соответствует наблюдаемому значению x_i;

y_i наблюдаемая ордината, соответствующая x_i

Подберем параметры р и b так, чтобы сумма квадратов указан­ных отклонений была наименьшей:

В этом состоит требование метода наименьших квадратов (МНК).

Эта сумма есть функция F отыскиваемых параметров р и b:

или

Для отыскания min найдем частные производные и приравняем их к нулю:

Далее запишем систему:

Для простоты вместо будем писать (индекс i опускаем), тогда:

Получили систему двух линейных уравнений относительно p и b. Решая эту систему, получим:

(6.11)(6.12)

Метод наименьших квадратов применяется и для нахождения параметров множественной регрессии. В этом случае число линейных уравнений, возрастает, и такие системы уравнений решаются с помощью ЭВМ.