5. Метод наименьших квадратов. Линейная регрессия находит широкое применение в эконометрике в виду четкой экономической интерпретации ее параметров и сводится к нахождению уравнения вида:

,

где х – объясняющая (независимая) переменная – неслучайная величина;

у – объясняемая (зависимая) величина;

– случайный член (ошибка регрессии);

 и β – параметры уравнения.

Теоретические значения представляют линию регрессии. Построение линейной регрессии сводится к оценке параметров a и b уравнения .

Оценки параметров линейной регрессии могут быть найдены разными способами.

Метод наименьших квадратов (МНК) – классический подход к оцениванию параметров линейной регрессии.

Обратимся к полю корреляции.

По графику можно определить значения параметров. Параметр а – точка пересечения линии регрессии с осью Оу, а параметр b оценивается исходя из угла наклона линии регрессии , где dy – приращение фактора у, а dx – приращение фактора х.

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака у от расчетных (теоретических) значений минимальна:

Т.е. линия регрессии выбирается таким образом, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальна.

,

где .

Вычислим частные производные по каждому из параметров a и b.

Разделим обе части уравнений на n и получим систему уравнений, из которой можно вычислить оба параметра.

Из МНК можно получить две другие формулы для нахождения параметра b:

1.

2. или

Оценка параметра а находится одинаковым способом во всех случаях:

.

Параметр b называется коэффициентом регрессии и показывает, на сколько единиц в среднем изменится переменная у при увеличении переменной х на 1 единицу. Знак при коэффициенте регрессии показывает направление связи: при b < 0 – связь обратная, при b > 0 – связь прямая.

Параметр а формально представляет собой значение у при х = 0. Если х не имеет или не может иметь нулевого значения, то а не имеет смысла. Он может и не иметь экономического смысла. При а<0 экономическая интерпретация может оказаться абсурдной.

Интерпретировать можно знак при параметре а. Если а>0, то относительное изменение результата происходит медленнее, чем изменение фактора. Если а<0, то изменение результата опережает изменение фактора.

6. Показатели измерения тесноты и силы связи. Уравнение регрессии всегда дополняется показателем тесноты связи.

Качество парной регрессии определяется с помощью парного линейного коэффициента корреляции:

или

,

где ,

– среднеквадратические отклонения, которые показывают разброс значений в множестве значений х и у. Большое значение среднеквадратического отклонения показывает большой разброс значений в представленном множестве со средней величиной множества; маленькое значение, соответственно, показывает, что значения в множестве сгруппированы вокруг среднего значения.

Линейный коэффициент корреляции находится в пределах:

-1 < < 1.

Если коэффициент корреляции положительный (рис. а), то связь между признаками прямая, т.е. с увеличением (уменьшением) x признак y увеличивается (уменьшается). Если коэффициент корреляции отрицательный (рис. б), то связь между признаками обратная, т.е. с увеличением (уменьшением) x признак y уменьшается (увеличивается).

Чем ближе значение коэффициента корреляции к 1, тем теснее связь (рис. б), чем ближе к 0, тем слабее (рис. а).

Если 0 < || <0,3, то связь между признаками практически отсутствует,

если 0,3 < || <0,5, то связь слабая,

если 0,5 < || <0,7, то связь умеренная,

если 0,7 < || <1, то связь сильная.

И, наконец, при r = 0 линейная корреляционная связь отсутствует. При этом линия регрессии параллельна оси Ох.

Следует отметить, что величина линейного коэффициента корреляции оценивает тесноту связи рассматриваемых признаков в ее линейной форме. Поэтому близость абсолютной величины коэффициента корреляции к нулю еще не означает отсутствие связи между признаками. При иной спецификации модели связь между признаками может оказаться достаточно тесной.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции R², называемый коэффициентом детерминации. Он характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака.

Соответственно величина 1 – R² характеризует долю дисперсии у, вызванную влиянием остальных не учтенных в модели факторов.

В силу своего определения R² принимает значения между 0 и 1, т.е.

0 ≤ R² ≤ 1.

Если R² = 0, то это означает, что регрессия ничего не дает, т.е х не улучшает качество предсказания у по сравнению с тривиальным предсказанием .

Другой крайний вариант R² = 1 означает точную подгонку модели: все точки наблюдений лежат на регрессионной прямой (все =0). Чем ближе R² к 1, тем лучше качество подгонки модели и тем точнее .

Параметре регрессии b хотя и показывает, на сколько единиц в среднем изменится переменная у при увеличении переменной х на 1 единицу, но использовать для непосредственной оценки влияния факторного признака на результативный нельзя из-за различия единиц измерения исследуемых показателей. Для этих целей используют коэффициент эластичности. Коэффициент эластичности показывает, на сколько процентов изменяется результативный признак у при изменении факторного признака х на 1%, и вычисляется по формуле:

,

где – первая производная, характеризующая соотношение приростов результата и фактора для соответствующей формы связи.

В силу того того, что коэффициент эластичности для линейной функции не является величиной постоянной, а зависит от соответствующего значения х, то обычно рассчитывается средний коэффициент эластичности:

.

Несмотря на широкое использование в эконометрике коэффициентов эластичности, возможны случаи, когда их расчет не имеет экономического смысла. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения значений в процентах (например, на сколько процентов изменится урожайность пшеницу, если качество почвы улучшится на 1%).