- •Е. Д. Агафонов, о. В. Шестернёва Математическое моделирование линейных динамических систем
- •© Сибирский федеральный университет, 2011
- •Оглавление
- •Предисловие
- •Глава 1 Параметрические регрессионные модели
- •1.1. Линейная регрессия
- •1.2. Метод наименьших квадратов. Критерий метода наименьших квадратов
- •1.3. Идентификация линейных по параметрам моделей с использованием метода наименьших квадратов
- •1.4. Линейный метод наименьших квадратов с использованием ортогональных полиномов
- •1.5. Рекуррентный метод наименьших квадратов
- •1.6. Линейная аппроксимация метода наименьших квадратов
- •1.7. Методы максимального правдоподобия и максимума апостериорной вероятности
- •1.8. Метод инструментальных переменных
- •1.9. Реализация метода наименьших квадратов в пакете matlab
- •1.10. Метод стохастической аппроксимации
- •Контрольные задания
- •Глава 2 Непараметрические регрессионные модели
- •2.1. Непараметрическая оценка плотности распределения вероятностей Розенблатта–Парзена
- •2.2. Непараметрическая оценка регрессии Надарая–Ватсона
- •Контрольные задания
- •Глава 3 модели линейных динамических систем
- •3.1. Способы описания линейных динамических систем
- •3.2. Модель динамической системы в виде представления Фурье (модель сигнала)
- •3.3. Частотный метод описания линейных динамических систем
- •3.4. Определение передаточной функции линейных динамических систем на основе спектральных плотностей
- •Контрольные задания
- •Глава 4 непараметрические модели линейных динамических систем
- •4.1. Постановка задачи идентификации линейных динамических систем
- •4.2. Математическое описание и построение непараметрической модели линейных динамических систем
- •4.3. Оптимизация непараметрических моделей линейных динамических систем
- •4.4. Непараметрические модели линейных динамических систем на основе уравнения Винера–Хопфа
- •Контрольные задания
- •Заключение
- •Библиографический список
- •Англо-русский словарь терминов
- •Сходимость статистических оценок
- •660041, Г. Красноярск, пр. Свободный, 79.
- •660041, Г. Красноярск, пр. Свободный, 82а.
1.6. Линейная аппроксимация метода наименьших квадратов
Построим итерационную процедуру расчета параметра модели в соответствии с критерием наименьших квадратов. На каждой итерации используем линейную аппроксимацию выхода модели (рис. 1.7) по параметру
|
(1.43) |
где – приращение параметра; l – номер итерации; , – значения параметра на соответствующих итерациях.
Рис. 1.7. Линейная аппроксимация модели
После подстановки линейной аппроксимации (1.43) в критерий МНК получаем относительно :
. |
(1.44) |
Перейдем к векторной форме МНК. Запишем уравнение для нахождения вектора приращений параметров. Полный дифференциал функции многих переменных выражается как
. |
(1.45) |
Оценка приращения функции выхода модели имеет вид
. |
(1.46) |
Сформируем вектор приращений параметров , матрицу частных производных по компонентам вектора параметров, а также вектор выходных значений модели, рассчитанные в выборочных точках:
,
,
.
Необходимое условие минимума приводит к системе линейных алгебраических уравнений:
, |
(1.47) |
решение которой записывается в виде
. |
(1.48) |
После этого находим параметры модели на -й итерации:
l = 0, 1, 2, … (1.49)
Положительный коэффициент γl > 0 выбирается по условию монотонной сходимости по функции качества. Примером выбора последовательности для служит последовательность: 1, 1/2, 1/4, ... .
Для линейного МНК расчет на первом же шаге приводит к оптимальному вектору параметров. Поэтому итерационная процедура (1.49), как правило, применяется в случае построения регрессии, когда уравнение модели нелинейно относительно вектора коэффициентов.
1.7. Методы максимального правдоподобия и максимума апостериорной вероятности
Метод максимального правдоподобия первоначально был предложен в 1912 г. Р. Фишером (1890–1962) для оценки неизвестных параметров распределения при заданном виде распределения. Этот метод широко используется и для построения моделей.
Предположим, что имеется возможность вычислить совместную плотность распределения вероятностей измерений при условии некоторых фиксированных значений параметров линейной модели. Тогда в качестве оценки по методу максимального правдоподобия (ММП) для вектора параметров выбирается такое значение, которое максимизировало бы следующую условную плотность распределения вероятностей, называемую функцией правдоподобия:
. |
(1.50) |
Примем схему «вход-выход» модели с аддитивной помехой (рис. 1.8).
Рис. 1.8. Модель с аддитивной помехой
Предположим также, что помеха некоррелирована, а вектор случайных помех в уравнении линейной регрессии распределен по нормальному закону с нулевым математическим ожиданием:
, |
(1.51) |
где – евклидова норма.
Функцию правдоподобия запишем следующим образом:
. |
(1.52) |
Отметим, что когда плотность распределения помехи в измерениях не зависит от оценки параметров регрессии , максимум функции правдоподобия (1.52) будет совпадать с максимумом плотности вероятности помехи:
. |
(1.53) |
Выразим помеху из уравнения линейной регрессии через оценки неизвестных параметров : . Тогда плотность распределения помехи с учетом формулы (1.51) можно определить следующим образом:
. |
(1.54) |
Удобно максимизировать функцию правдоподобия вида (1.43), предварительно взяв от нее натуральный логарифм, так как вследствие монотонности логарифма максимумы L и ln L достигаются при одном и том же значении . В результате имеем:
. |
(1.55) |
Максимум ln L доставляет выражение, которое называется уравнением правдоподобия:
. |
(1.56) |
Решив это уравнение относительно , получим алгоритм оценивания параметров линейной регрессии по методу максимального правдоподобия:
|
(1.57) |
Этот результат полностью совпадает с полученной ранее МНК-оценкой параметров линейной регрессии. Следовательно, в случае нормального распределения помех измерений метод максимального правдоподобия позволяет получить оценки с минимальной дисперсией. Отметим, что при рассмотрении МНК-оценок никаких предположений о виде распределения помех измерений не делалось.
Что касается наиболее вероятных оценок по критерию метода максимума апостериорной вероятности (МАВ), то они связаны с ММП-оценками через формулу Байеса:
. |
(1.58) |
Из формулы (1.58) следует, что максимальное значение по будет соответствовать максимальному значению только в том случае, когда не будет вносить в максимизацию никакого вклада. Подобный эффект может иметь место в том случае, если является плотностью равномерного распределения в соответствующем диапазоне допустимых параметров. Тогда оценки по критериям МАВ и ММП будут совпадать. Если же распределение ошибок измерений при этом будет гауссовским (нормальным), то тогда оценки параметров линейной регрессии по всем трем критериям: МНК, ММП и МАВ – совпадут и будут вычисляться по формуле (1.57).
Отметим также, что выражение (1.57) может быть представлено в рекуррентной форме путем добавления еще одного измерения к уже имеющимся n, подобно тому, как уже делалось выше для обычного МНК (см. п. 1.5).