- •Содержание
- •Лабораторная работа №6. Задачи оптимизации 46
- •Введение
- •Лабораторная работа №1
- •1. Обработка результатов многократных измерений одной и той же величины
- •2. Обработка результатов нескольких серий измерений одной и той же величины
- •Лабораторная работа №2
- •Корреляционно-регрессионный анализ
- •Лабораторная работа №3
- •Лабораторная работа №4
- •Варианты для парной регрессионной модели
- •Лабораторная работа №5
- •Традиционный метод наименьших квадратов (мнк)
- •Статистические свойства вектора оценок коэффициентов регрессии
- •Теорема Гаусса-Маркова
- •Несмещённые оценки дисперсии ошибок, ковариационной матрицы и дисперсии выборочных коэффициентов регрессии
- •Оценка значимости и доверительных интервалов для коэффициентов регрессии
- •Анализ вариации зависимой переменной
- •Значения сумм квадратов
- •Значения дисперсий
- •Выборочный коэффициент детерминации
- •Скорректированный коэффициент детерминации
- •Оценка значимости уравнения регрессии
- •Доверительный интервал для значений зависимой переменной
- •Пример оформления лабораторной работы
- •Задания для модели множественной регрессии
- •Варианты для множественной регрессионной модели
- •Лабораторная работа №6 Задачи оптимизации
- •Задача линейного программирования о смесях
- •Лабораторная работа №7
- •Варианты на решение задачи о продуктивности модели Леонтьева
- •Лабораторная работа №8
- •Библиографический список
- •Приложение
- •3. Критические точки распределения χ2
- •Сахабиева Галина Александровна
- •Васяйчева Вера Ансаровна
- •Орлова Людмила Викторовна
- •443084, Г. Самара, ул. Стара-Загора, 96
- •4 43080, Г. Самара, ул. Революционная, 70п
Лабораторная работа №5
Множественная регрессионная модель.
Классическая линейная модель
Классическая (нормальная) модель линейной множественной регрессии (КЛММР) имеет вид:
(1)
где - значение результирующей переменной; - значение 1-го, 2-го,…, р-го регрессора в i-ом наблюдении (i = 1,2,…,n); β0, β1, βp - числовые коэффициенты; εi - случайные (стохастические) составляющие или ошибки (возмущения).
Переписывая выражение (1) в виде системы уравнений для различных значений (i = 1,2,…,n), их можно представить в матричном виде:
, (2)
где - вектор объясняемых переменных;
ε= - вектор значений ошибки; - вектор коэффициентов;
X= - матрица объясняющих переменных размером n×(p+1), в которой первый столбец с единичными элементами соответствует в выражении (1) умножению на единицу.
Основные предпосылки (гипотезы) КЛММР:
Х – детерминированная матрица.
Математическое ожидание возмущения ε0 равно нулю:
( i = 1,2,…,n),
где М[·] знак математического ожидания.
Дисперсия возмущения постоянна для любых значений i (условие гомоскедастичности):
( i = 1,2,…,n),
где D[·] знак дисперсии;
- величина дисперсии.
Возмущения для разных наблюдений являются некоррелированными:
при ,
где - коэффициент ковариации.
Условия 3 и 4 можно объединить в одно, определяющее вид ковариационной матрицы возмущений:
Cε = =
= = = =M[ε ]= ,
где - векторное произведение векторов;
Т – знак транспонирования матрицы;
In - единичная матрица n-го порядка.
Возмущения являются нормально распределёнными случайными величинами с нулевым средним значением и дисперсией :
или .
Векторы объясняющих переменных (столбцы матрицы Х) линейно независимы (ни один из них не может быть представлен в виде линейной комбинации других), другими словами, ранг матрицы Х равен числу её столбцов:
.
Для получения уравнения регрессии достаточно первых четырёх и шестой предпосылок. Требование выполнения пятой предпосылки необходимо для оценки точности уравнения регрессии и его параметров.
Традиционный метод наименьших квадратов (мнк)
Оценкой модели (1) по выборке при (i = 1,2,…,n) является уравнение:
(3)
которое можно представить в матричном виде:
(4)
г де = - вектор аппроксимирующих значений зависимой переменной;
b= вектор выборочных оценок коэффициентов соответственно.
Согласно МНК, вектор неизвестных переменных параметров b выбирается так, чтобы сумма квадратов остатков была минимальной:
, (5)
или с учётом (4) в матричной записи ( - скалярное произведение векторов):
. (6)
Необходимые условия экстремума (6) находятся путём приравнивания вектора частных производных: .
Отсюда в результате приведения выражения (6) к более удобному для дифференцирования виду , с учётом известных из линейной алгебры правил вычисления производных по векторному аргументу (с и А – вектор и симметричная матрица соответственно) получается система нормальных уравнений для определения вектора b:
(7)
Согласно предпосылке 6 КЛММР, ранг матрицы Х равен р+1. Это означает, что ранг симметричной квадратной матрицы р+1-го порядка также равен р+1, она является невырожденной (её определитель не равен нулю), и существует обратная матрица такая, что произведение . Поэтому решение системы (7) можно представить следующим образом:
. (8)
Если записать первое уравнение системы нормальных уравнений (7) в развернутом виде:
легко получить соотношение, выражающее коэффициент через остальные коэффициенты и соответствующие выборочные средние:
. (9)