Регрессионный анализ

Введение

Линейная регрессия - первый пример использования математических моделей. Цель любой модели — помочь понять конкретную ситуацию, а, возможно, и объяснить ее путем последующего анализа. Мы можем использовать модель для того, чтобы делать какие-либо прогнозы или предсказания. Модель обычно является упрощением реальной ситуации. Мы должны сделать простейшие предположения, чтобы суметь сконструировать модель, которая давала бы возможность управления, но сама по себе модель должна быть все-таки достаточно реалистичной, чтобы заслуживать внимания. Модели линейной регрессии используются наиболее часто.

В регрессионном анализе рассматривается связь между одной переменной, называемой зависимой переменной, и несколькими другими, называемыми независимыми переменными. Эта связь представляется с помощью математической модели, т. е. уравнения, которое связывает зависимую переменную с независимыми с учетом множества соответствующих предположений. Независимые переменные связаны с зависимой посредством функции регрессии, зависящей также от набора неизвестных параметров. Если функция линейна относительно параметров, то говорят о линейной модели регрессии. В противном случае модель называется нелинейной. В каждом из этих случаев говорят о регрессии зависимой переменной по независимым переменным.

Статистическими проблемами регрессионного анализа являются:

• получение наилучших точечных и интервальных оценок неизвестных параметров регрессии;

• проверка гипотез относительно этих параметров;

• проверка адекватности предполагаемой модели; Выбор подходящей модели основывается скорее не на статистических доводах, а на основе учета физических факторов

Регрессионный анализ используется по двум причинам. Во-первых, потому, что описание зависимости между переменными помогает установить наличие возможной причинной связи. Во-вторых, для получения предиктора для зависимой переменной, так как уравнение регрессии позволяет предсказывать значения зависимой переменной, по значениям независимых переменных. Эта возможность особенно важна в тех случаях, когда прямые измерения зависимой переменной затруднены или дорого стоят.

Величина линейной зависимости между двумя переменными измеряется посредством простого коэффициента корреляции. В то время как величина линейной зависимости одной переменной от нескольких измеряется множественным коэффициентом корреляции. Другая мера зависимости — частный коэффициент корреляции — измеряет линейную зависимость между двумя переменными после устранения части линейной зависимости, обусловленной зависимостью этих переменных с другими переменными. Методы корреляционного анализа позволяют делать статистические выводы об этих трех мерах линейной зависимости.

Простая линейная регрессия

В простейшем случае регрессионного анализа исследуется связь между двумя показателями, которая устанавливается, конечно, не математическим путем, а в результате качественного анализа, позволяющего порождающих его причин. Сам же регрессионный анализ предназначен для количественного измерения выявленной связи, хотя он нередко способствует и уточнению выводов самого качественного анализа.

Таким образом, еще до математического расчета считается установленным, что связь между независимым показателем-фактором χ и зависимой переменной у существует (или может существовать) и характеризуется функцией у —f(x).

Одной из первых задач регрессионного анализа является установление вида этой функции, т. е. отыскание такого уравнения регрессии, которое наилучшим образом соответствует характеру изучаемой связи.

Уравнение регрессии является важнейшей составной частью регрессионных моделей, и его правильный подбор и расчет относятся к наиболее ответственным этапам регрессионного моделирования.

Простейшим уравнением, которое может характеризовать зависимость между двумя переменными, является уравнение прямой вида

у = а + bх

где x и у — соответственно независимая и зависимая переменные, а и b— постоянные коэффициенты.

Уравнение прямой описывает такую связь между двумя переменными, при которой с изменением независимой переменной на какую-либо постоянную величину зависимая переменная изменяется на другую постоянную величину.

Если качественный анализ изучаемой зависимости допускает прямолинейный характер связи двух переменных, то это предположение проверяется затем непосредственно на количественных данных. Для этого необходимо иметь ряд фактических значений переменной x и соответствующих ей величин зависимой переменной у.

Поскольку корреляционная связь с достаточной четкостью и полнотой проявляется лишь в массе случаев, количество наблюдений, на основании которых строится модель, должно быть достаточно велико.

Вывод о прямолинейном характере связи проверяется вначале путем простого сопоставления по имеющимся данным вариации зависимой и независимой переменных, а также графическим способом.

При графическом способе каждое наблюдение отмечается в виде точки в прямоугольной системе координат, в которой по оси абсцисс отсчитываются значения х, а по оси ординат — значения у. При достаточно большом количестве наблюдений расположение точек на графике легко позволяет убедиться в правильности или ошибочности представления о линейном характере связи между изучаемыми переменными.

Следующим этапом является выявление уравнения прямой при данной конкретной зависимости между x и у. Для этого необходимо определить численные значения постоянных величин уравнения (а и Ь), при которых прямая будет наилучшим образом соответствовать имеющимся фактическим данным. Критерий, по которому отыскивается «наилучшая» прямая, в известной мере условен. В качестве такого критерия принято брать минимум, суммы квадратов отклонений фактических значений у от вычисленных по уравнению прямой.