11)Метод наименьших квадратов

Пусть исходная информация задана таблицей наблюдений

			. . .
			. . .

Тогда

(2)

В основе метода наименьших квадратов лежит критерий минимизации суммы квадратов ошибок ., т.е.

(3)

Пусть случайные ошибки измерений имеют нулевые математические ожидания, равные дисперсии и не коррелированны.

1. Линейная регрессия.

Пусть

(4)

где и - некоторые параметры. Тогда задача (2) имеет вид

(5)

Нахождение минимума функции двух переменных сводится к решению системы уравнений

(6)

или

Раскрыв скобки, и проведя преобразования, получим

систему

. (7)

Решая эту систему, найдем, что

- коэффициент линейной регрессии (8)

, а

т.е. получим коэффициенты выборочного уравнения линейной регрессии.

Тем самым прямая линия, построенная по методу МНК, совпадает с выборочным уравнением линейной регрессии.

12)Элементы регрессионного анализа

В результате исследования влияния коэффициента корреляции на вид зависимости между переменными получено, что чем ближе к единице, тем «теснее» расположены точки наблюдений относительно выборочного уравнения линейной регрессии

В этом случае выборочное уравнение линейной регрессии может считаться приближением функции регрессии .

Расположение точек наблюдения на плоскости называется диаграммой рассеяния или корреляционным полем.

Если , то корреляционное поле может иметь вид:

Следовательно, говорит лишь об отсутствии линейной корреляционной зависимости между переменными, но не об отсутствии корреляционной зависимости между величинами.

Функция регрессии может быть нелинейной.

Основной задачей регрессионного анализа является установление вида регрессионной кривой.

В парной регрессионной модели считается, что взаимосвязь между переменными может быть описана уравнением

, (1)

где - случайная переменная, характеризующая отклонение от функции регрессии.

Для нахождения функции регрессии применяется метод наименьших квадратов (МНК-метод).

13)Доверительный интервал для линейной регрессии

Пусть - измерения величины Y при различных значениях независимой величины X.

Считаем, что Y – случайная величина, а X – неслучайная.

Yназывают также функцией отклика, результирующей переменной и результативным признаком,

а X - регрессором, факторным признаком, предсказывающей переменной.

По измерениям ищем функцию регрессии , предполагая, что она линейная.

Оценим функцию регрессии с помощью выборочной линейной функцией регрессии:

Для любых пар наблюдений можно записать соотношение

, (5)

где - случайные ошибки измерений, а

.

Пусть случайные ошибки измерений удовлетворяют условиям:

1. они независимы;

2. , что означает отсутствие систематической ошибки измерений;

3. , что означает, что разброс ошибок измерений не зависит от значения x(свойствогомоскедастичности).

4. Случайные ошибки измерений распределены по нормальному закону.

Воздействие случайных ошибок определяется с помощью остаточной дисперсии

. (6)

Выборочное линейное уравнение регрессии приближенно описывает зависимость у от x:

.