Классические модельные предположения

П.1. Отсутствие систематических ошибок наблюдений уравнения регрессии:

Другими словами, при операции усреднения переменных моделей, влияние случайной переменной исчезает.

П.2. Наблюдения организованы так, что случайные ошибки не коррелированны между собой:

П.3. Наблюдения производятся с одинаковой точностью, т.е. дисперсии случайных переменных одинаковы во все моменты измерения = гомоскедастичность

П.4. Экзогенные переменные измеряются без ошибок, и в случае модели множественной регрессии их значения, полученные на протяжении всех моментов наблюдения, образуют линейно-независимые векторы.

П.5. Закон распределения вероятностей случайной переменной принадлежит к классу нормальных распределений с нулевым матожиданием и дисперсией, которая чаще всего неизвестна.

4. Статистическое оценивание параметров плр по методу наименьших квадратов. Свойства мнк – оценок

Самым распространенным и теоретически обоснованным является метод нахождения коэффициентов, при котором минимизируется сумма квадратов отклонений (МНК). Этот метод оценки является наиболее простым с вычислительной точки зрения. Кроме того, оценки коэффициентов регрессии, найденные МНК при определенных предпосылках, обладают рядом оптимальных свойств.

Задача: нахождение оценок параметров β0 и β1

Оценка β0 и β1 – выбрать наименьшие значения параметров, при которых линия регрессии ближе к точке наблюдения.

МНК (условие минимизации):

Минимизация функции:

Функция Q – непрерывна, выпукла, ограничена снизу, следовательно, она имеет минимум. Q – критерий качества.

Необходимое условие существования минимума функции двух переменных равенство нулю ее частных производных по неизвестным параметрам b0 и b1.

Выборочный коэффициент парной корреляции:

или

= = станд. отклонение = корень из дисперсии = станд. ошибка

=

Свойства:

1)

2) чем ближе модуль к 1, тем более тесная линейная зависимость

если – отсутствует

3) r>0 – прямая, r<0 – обратная

4) если значения переменных уменьшаются на определенную одинаковую величину, не изменяется

5) =d – функция

6) =

7) =1

8) =0, линейная зависимость отсутствует, а признакиx, y – некоррелиров. (но не независимые)

9) если x, y статистически независимы, то (но не наоборот)

10) при норм. распределении при некорр. x, y, они независимы

Проверить равенство нулю можно при помощи:

Н0: r=0 – гипотеза о нуле

Н1: r≠0 – гипотеза о не нуле

Свойства мнк-оценок:

Свойство 1. Оценки параметров иимеют нормальные вероятностные законы распределения и обладают свойством несмещенности.

Свойство 2. Фундаментальное свойство МНК формулируется в виде теоремы Гаусса-Маркова, отмечающей высокую степень близости МНК-оценок к искомым параметрам.

Теорема Гаусса-Маркова

МНК-оценки параметров линейной регрессии обладают наименьшими дисперсиями среди множества всех несмещенных и линейно-зависимых от эндогенных переменных оценок в рамках модельных предположений П1-П4.

5. Проверка качества множественной линейной регрессии: значимость параметров, доверительные интервалы, адекватность модели. Прогнозирование.

Проверка значимости параметров (того, что они не равны нулю):

критерий Стьюдента:

где P - значение параметра; S_p - стандартное отклонение параметра.

Рассчитанное значение сравнивают с табличным при выбранной доверительной вероятности (0.95) и числе степеней свободы N-k-1, где N-число точек, k-число переменных в регрессионном уравнении (например, для линейной модели Y=A*X+B подставляем k=1).

Если вычисленное значение t_p выше, чем табличное, то коэффициент регрессии является значимым

Проверка адекватности регрессионной модели - проверка обоснованности выбора принятой в соответствии с моделью регрессии взаимосвязи и

коэффициент детерминации:

.

Справедливость правой части формулы основана на тождестве (Равенство дисперсионного анализа):

TSS=ESS+RSS

Общая сумма квадратов отклонения от среднего= сумма квадратов, обусловленных регрессией+ ост. сумма квадратов

(в случае парной линейной регрессии)

а) если , то говорят, что ПЛР полностью отражает зависимостьx от y

б) если то делают вывод о том, что информация о значениях переменнойx не влияет на изменение результирующего показателя y:

1) модель абсолютно адекватна,2) следует вывод о непригодности ПЛР

в) чем ближе R2 к 1, тем точнее пр-з

Однако, значение возрастает с ростом числа переменных в регрессии, что не означает улучшения качества предсказания, и потому вводится скорректированный коэффициент детерминации

Скорректированный коэффициент детерминации (с учётом степеней свободы):

= 1-

где – число экзогенных переменных,– число наблюдений.

По модели регрессии можно осуществить прогноз зависимой переменной вида: где– параметр, указывающий на глубину прогноза,– планируемое в будущем моменте временизначение факторной переменной.

Критерий Фишера отражает, насколько хорошо эта модель объясняет общую дисперсию зависимой переменной:

где R - коэффициент корреляции; f₁ и f₂ - число степеней свободы.

Число степеней свободы объясненной дисперсии f₁ равно количеству объясняющих переменных (например, для линейной модели вида Y=A*X+B получаем f₁=1). Число степеней свободы необъясненной дисперсии f₂ = N-k-1, где N-количество экспериментальных точек, k-количество объясняющих переменных (например, для модели Y=A*X+B подставляем k=1).

Доверительный интервал для коэффициентов корреляции

Доверительный интервал прогноза переменной может быть представлен в виде

по мере увеличения горизонта прогнозирования (к >>1) увеличивается ширина доверительного интервала, что соответствует уменьшению точности прогнозируемого значения.