5. Однофакторный линейный регрессионный анализ (простая регрессия). Метод наименьших квадратов

Случай статистической зависимости двух случайных переменных наиболее простой как с точки зрения визуальной идентификации, так и с точки зрения математического анализа. Переменная, описывающая причину, называется в регрессионном анализе фактором, а зависимая переменная – откликом. Ключевой процедурой регрессионного анализа является метод наименьших квадратов.

С учетом случайного характера величин, зависимость пар X,Yв линейном регрессионном анализе задается в виде , где ,– пары точек, лежащие на искомой прямой, а – случайное возмущение. Идея метода наименьших квадратов состоит в том, чтобы минимизировать сумму квадратов случайных возмущений – отклонений значений ординат статистической зависимости от значений, лежащих на искомой прямой. В результате минимизации соответствующей целевой функции по Лагранжу, получаются формулы для определения коэффициента наклона

и свободного члена

искомой прямой.

Важно при этом понимать, что, в силу случайного характера выборок XиY, величины и сами являются случайными – эти величины суть статистики наклона и смещения (относительно нуля вдоль ординаты) регрессионной прямой. Поэтому для каждой из них возможна постановка задачи проверки гипотезы, например об отличии коэффициента наклона от 0, которая приводит к оценке степени значимости статистики.

Для оценки степени статистической значимости отклонения коэффициента от некоторого заданного значения используетсяt-распределение Стьюдента; вычисляется величина

,

где – выборочная дисперсия для коэффициента наклона и определяется, находится ли ее значение внутри или вне пределов критического интервала, задаваемого с учетом уровня доверительности (чаще всего – 0,05).

Аналогичным образом вычисляется величина tдля полученной оценки . Критические значениеtопределяются по таблицам или с помощью функции РАСПРСТЬЮДЕН с учетом числа степеней свободы для оценок.

По сути дела, в процедуре линейной регрессии производится сглаживание диаграммы рассеяния с помощью линейной зависимости. Качество такого сглаживания оценивается величиной коэффициента детерминации

.

Очевидно, что чем ближе значение коэффициента детерминации к 1, тем лучше качество сглаживания (на практике приемлемым считают >0.8).

Коэффициент детерминации тесно связан с корреляционным коэффициентом – , причем знак выбирается совпадающий со знаком .

5. Многофакторный линейный регрессионный анализ

Техника многофакторного регрессионного анализа в MSExcelпрактически не отличается от техники двухфакторного – используется тот же самый инструмент – Регрессия из пакета анализа. При этом предполагается, что в исходной таблице, описывающей случайные данные, каждый следующий столбец содержит выборку значений следующей по порядку случайной переменной; в соответствующем окошке указывается сплошная область значений влияющих переменных (факторов) многофакторной линейной модели.

Что касается сути самого анализа, в многофакторной регрессионной модели дополнительно учитываются и анализируются следующие характерные аспекты:

• коэффициент многофакторной детерминации (определение аналогично двухфакторной модели); с учетом сокращения степеней свободы, вызванным многофакторностью, применяется скорректированный коэффициент многофакторной детерминации , где - количество оцениваемых параметров;

• тест общей значимости качества регрессии; производится на основе статистики Фишера (- распределение), для чего вычисляется значение , которое сравнивается с соответствующим критическим значением. Если вычисленное значение превосходит критическое при наперед заданном уровне значимости, то принимается гипотеза, что параметры регрессии не равны 0 и существенно отличается от 0.

• парциальные (частные) коэффициенты корреляции между факторами; парциальные коэффициенты корреляции вычисляются между каждым их влияющих факторов и зависимой переменной, очищенные от влияния остальных факторов. Так, например, для 3-факторной линейной регрессионной модели и , причем коэффициенты принимаются со знаками соответствующих параметров регрессии.

Специальным приемом в многофакторном регрессионном анализе явлений и процессов с наличием в них резких изменений (шоков) является использование грубых (шоковых) переменных. Присутствие шоков в модельных данных часто можно определить визуально (например, по виду диаграммы рассеяния). Шоковые переменные обычно задаются как бинарные, т.е. могут принимать только два различных значения – чаще всего 0 и 1. С их помощью моделируются резкие изменения в модели, вызванные психологическими, социальными, экономическими и т.п. стрессами. Дополнительная шоковая переменная D= (0,1) используется в технике регрессионного анализа наравне с другими переменными.

С использованием техники многофакторного регрессионного анализа проводится также статистический анализ распределенных лаговых моделей. Лаговые (с задержками) модели часто возникают в практике анализа случайных временных рядов; в моделях такого сорта предполагается, что на зависимую переменную оказывают влияние значения некоторой однородной объясняющей переменной, но в различные моменты (периоды) времени T. Общая форма такой модели выглядит следующим образом:

Приведение к стандартному виду такой «многофакторной» модели очевидно – «смещенные во времени» переменные рассматриваются как «независимые». Принципиальное отличие лаговой модели от «чистой» многофакторной – наличие сильных корреляций между «соседними» факторами.

Самостоятельно: объяснить каково должно быть соотношение между,и с тем, чтобы 3-факторная модель указывала на реальное и независимое влияние объясняющих переменных на зависимую. Задача 1: провести 3-факторный регрессионный анализ с шоковой переменной. Задача 2: провести анализ 2-лаговой модели.