Лабораторная работа 4 Линейная регрессия

Порядок выполнения работы

1. Ознакомиться с методическими указаниями.

2. Для данного набора значений независимой переменной и зависимой переменной, построив точки на плоскости, выдвинуть гипотезу о порядке линейной модели.

3. Методом наименьших квадратов найти оценки неизвестных параметров и

построить полученную линию регрессии.

4. Построить доверительные интервалы для оценок неизвестных параметров

для доверительной вероятности . Проверить гипотезу.

5. Построить доверительные интервалы для предсказанных значений для доверительной вероятностии показать их на графике.

6. Проверить построенную модель на адекватность.

7. Составить отчет, в котором привести графики, результаты счета, выводы.

8. Ответить устно на контрольные вопросы.

Построение линии регрессии

Связь зависимой переменной с одной или несколькими независимыми пере-

менными представляют в виде уравнения регрессии .

Построение уравнения регрессии предполагает решение двух задач:

а) выбор независимых переменных, существенно влияющих на зависимую величину, и определение вида уравнения регрессии;

б) оценивание параметров (коэффициентов) уравнения.

Пусть для одной независимой переменной по расположению точекна плоскости выдвинута гипотеза о линейной зависимости между переменными, т. е.- исход-ого опыта, можно представить в виде:

, (1)

где - число опытов,- случайные добавки, при учете которых любой индивидуальныйполучает возможность не попасть на линию регрессии,- неизвестные параметры. Предполагается, чтораспределены нормально с параметрамии независимы. Начнем с предположения, что модель установлена, но на последующих стадиях будем проверять, так ли это на самом деле. Модель (1) линейна относительно неизвестных параметров, относительно неизвестной функции модель (1) первого порядка.

В соответствии с методом наименьших квадратов оценки параметров находятся из условия обращения в минимум величины

(2)

Дифференцируя равенство (2) по и приравнивая полученные частные производные нулю, для нахождения оценокполучим так называемую нормальную систему:

(3)

Решив систему (3), найдем оценки неизвестных параметров:

(4)

Замечание. Для линейной модели второго порядка

,

нормальная система для нахождения оценок неизвестных параметровбудет иметь вид

(5)

Если ввести следующие обозначения

то система (5) может быть записана в виде

. (6)

Для модели ,, где- значение–й независимой переменной, в-м опыте, нормальная система также будет иметь вид (6), если

.

Построение доверительных интервалов для коэффициентов регрессии

Для построения доверительных интервалов для необходимо знать законы распределения их оценок. Еслираспределены нормально с параметрамии независимы, то случайные величинытакже распределены нормально и независимы. После преобразования формул (4) получим

,

Оценки также имеют нормальное распределение, как линейные комбинации нормально распределенных случайных величин. Можно показать, что

(7)

где - ошибка опыта. Случайная величинараспределена нормально с параметрами. Нонеизвестно, поэтому в (7) заменимего оценкой. Тогда

. (8)

Замена неслучайной величины ее оценкой, являющейся случайной величиной, приводит к тому, что величинатолько асимптотически нормальна. Для малыхвеличинаимеет-распределение, число степеней свободы определяется способом нахождения, точнее способом нахождения.

Лучшим способом является нахождение по параллельным опытам (опытам, поставленным в одной точке). В этом случае

, (9)

где --е значениев точке,– число повторных наблюдений в точке,- число точек, в которых проводятся повторные опыты.

Тогда величина имеет-распределение сстепенями свободы. Доверительный интервал для, соответствующий доверительной вероятности, имеет вид

,

где - значение, при котором.

Замечание. Если параллельных опытов нет, то оценка может быть найдена следующим образом. Пусть- предсказанное значениеданного, когдаопределены, т. е..

В качестве оценки может быть принято следующее отношение:

. (10)

Сумма имеетстепени свободы, т. к. по данным испытаний определяются два коэффициента. Величинав этом случае имеет-распределение сстепенями свободы.

Доверительный интервал для можно использовать для проверки гипотезы. Если доверительный интервал, соответствующий доверительной вероятности, содержит значение, то гипотезане отвергается на уровне значимости. В частности доверительный интервал может быть использован для проверки гипотезы. Если гипотезаотвергается, то параметрназывается значимым. Аналогичными рассуждениями можно получить доверительный интервал для

,

где определяется способом нахождения.

Интерес для практики представляет доверительный интервал для линии регрессии. Для его построения необходимо знать оценку дисперсии ., гдеопределяется по формуле (9) или (10).

Доверительный интервал для имеет вид

. (11)

Доверительная зона (11) определяет местоположение линии регрессии, а не воз-

можных значений зависимой переменной. Доверительный интервал для значений определяется по формулам

.