10. Модель линейной регрессии.

Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Функцией регрессии называется зависимость среднего значения одной из коррелированных случайных величин от другой, то есть функция: y = (x) (регрессия Y на X) или x = (y) (регрессия X на Y).

Линейная регрессия сводится к нахождению уравнения вида = a + b  x или y = a + b  x + . Это уравнение позволяет по заданным значениям фактора x иметь теоретические значения результативного признака подстановки в него фактических значений фактора x.

Построение линейной регрессии сводится к оценке ее параметров – a и b. Оценки параметров линейной регрессии могут быть найдены разными методами. Можно обратиться к полю корреляции и, выбрав на графике две точки, провести через них прямую линию, затем по графику найти значения параметров. Параметр a определим как точку пересечения линии регрессии с осью oy, а параметр b оценим исходя из угла наклона линии регрессии как dy/dx, где dy – приращение результата y, a dx – приращение фактора x, т.е. = a + b  x

11. Оценивание параметров регрессии. Метод наименьших квадратов.

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений

результативного признака y от расчетных (теоретических) минимальна: .

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной:

Для того чтобы найти минимум функции надо вычислить частные производные по каждому из параметров a и b и приравнять к нулю.

Обозначим через S, тогда:

Преобразую формулу, получим следующую систему нормальных уравнений для оценки параметров a и b:

(система нормальных уравнений)

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

a = y - bx.

Эта формула получена из первого уравнения системы, если все его члены разделены на n: , где cov(x,y) – ковариация признаков; «знаменатель» - дисперсия признака x.

Поскольку , получим следующую формулу расчета оценки параметров b:

Эта формула получается также при решении системы методом определителей, если все элементы расчета разделить на .

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Знак при коэффициенте регрессии b показывает направление связи: при b > 0 – связь прямая, а при b < 0 – связь обратная.

12. Система нормальных уравнений мнк и ее решение.

При оценке параметров уравнения регрессии применяется метод наименьших квадратов - это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении.

См. вопрос №11

Предположим, что в ходе регрессионного анализа была установлена линейная

взаимосвязь между исследуемыми переменными х и у, которая описывается моделью

регрессии вида:

В результате оценивания данной эконометрической модели определяются оценки

неизвестных коэффициентов. Классический подход к оцениванию параметров

линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров β0 и β1,

при которых сумма квадратов отклонений фактических значений результативного

признака y от расчетных (теоретических) ỹ минимальна:

В процессе минимизации функции (1) неизвестными являются только значения

коэффициентов β0 и β1, потому что значения результативной и факторной переменных

известны из наблюдений. Для определения минимума функции двух переменных

вычисляются частные производные этой функции по каждому из оцениваемых

параметров и приравниваются к нулю. Результатом данной процедуры будет

стационарная система уравнений для функции (2):

.

Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и

привести подобные члены, то получим систему нормальных уравнений для функции

регрессии вида yi=β0+β1xi:

Если решить данную систему нормальных уравнений, то мы получим искомые оценки

неизвестных коэффициентов модели регрессии β0 и β1:

Где

– среднее значение зависимой переменной;

– среднее значение независимой переменной;

– среднее арифметическое значение произведения зависимой и независимой

переменных;

– дисперсия независимой переменной;

Gcov (x, y) – ковариация между зависимой и независимой переменными.

Таким образом, явный вид решения системы нормальных уравнений может быть

записан следующим образом: