- •Методы обработки экспериментальных данных
- •Введение
- •1.1. Введение
- •Области применения анализа экспериментальных данных
- •1.2. Основные этапы анализа данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •Вопросы ?
- •КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ
- •Схема системы распознавания
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Прямые методы восстановления решающей функции
- •НЕЙРОННЫЕ СЕТИ: еще один подход к классификации
- •Интересные данные
- •Персептроны
- •Формальный нейрон
- •Нелинейное преобразование
- •Перцептрон Розенблата
- •Обучение сети
- •Обучение перцептрона
- •STATISTICA Neural Networks
- •ВОПРОСЫ ?
- •ПЛАНИРОВАНИЕ
- •Что такое планирование эксперимента
- •Эксперименты в науке и промышленности
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Что такое планирование эксперимента
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Крутое восхождение по поверхности
- •Полный факторный эксперимент
- •Полный факторный эксперимент
- •Дробные реплики
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Планы Плаккета – Бермана
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ротатабельное планирование
- •Метод случайного баланса
- •Метод случайного баланса
- •ВОПРОСЫ ?
- •МЕТОДЫ
- •Оценивание функционалов
- •Оценивание функционалов
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Полиграммы
- •Полиграммы
- •Метод "К ближайших соседей"
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка условной плотности вероятности
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Адаптивное управление при априорной неопределенности
- •ВОПРОСЫ ?
- •ДИСПЕРСИОННЫЙ
- •Постановка проблемы
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при
- •Планирование эксперимента при дисперсионном анализе
- •ВОПРОСЫ ?
- •АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ
- •Введение
- •Введение
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ
- •Общие понятия
- •Постановка задачи подстройки параметров нелинейных моделей
- •Критерий наименьших квадратов
- •Критерий наименьших квадратов
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод последовательной линеаризации при подстройке параметров на основе критерия
- •Робастные оценки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Подстройка параметров с использованием функций чувствительности
- •Подстройка параметров с использованием функций чувствительности
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Адаптивные системы обработки информации
- •Постановка задачи адаптивного управления
- •Примеры синтеза устройств управления
- •Примеры синтеза устройств управления для простейших линейных систем
- •Синтез алгоритмов управления для линейных систем
- •Алгоритмы адаптивного управления для нелинейных систем
- •Управление динамическими системами с чистыми запаздываниями
- •Управление динамическими системами
- •ВОПРОСЫ ?
Критерий наименьших квадратов
Считаем, что в каждый момент времени ti (момент измерения входа и выхода объекта) помехи ξi, являются центрированными случайными
величинами с дисперсиями σi2. Если дисперсии различны, то измерения называются неравноточными.
Тогда критерий наименьших квадратов имеет вид:
n |
1 |
* |
2 |
|
|
|
I |
|
( ) |
|
min, |
(u , ) |
|
2 |
|
|||||
|
i i |
|
|
i |
i |
|
i 1 |
i |
|
|
|
|
|
При равноточных измерениях весовые коэффициенты 1/σi2, характеризующие информативность измерений, одинаковы. Тогда критерий имеет вид:
|
1 |
n |
* |
2 |
|
|
I |
|
|
|
( ) |
|
min |
|
2 |
|
||||
|
|
i i |
|
|
||
|
|
i 1 |
|
|
|
Критерий наименьших квадратов
Если все помехи ξi коррелированны, т. е:
|
12 k12 k1n |
|
|
1 |
|
|
|
|
|
|
|
K |
|
M{ T }, ,K 1 (cij ) |
|||
|
2 |
|
|
|
|
kn1 kn2 n |
|
|
n |
то критерий наименьших квадратов базируется на элементах cij матрицы, обратной корреляционной:
n |
n |
|
I ( ) ( *i |
i )cij ( *j j ) min |
|
i 1 |
j 1 |
|
|
Это общая форма критерия. Она включает в себя (при соответствующих упрощениях) все предыдущие формы. Запишем критерий в матричной форме.
|
1* |
|
(u1 |
, ) |
|
1 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
H * , H ( ) |
|
|
|
, |
|
|||||
|
* |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
n |
|
||
|
n |
|
(un , ) |
|
n |
|
|
I ( ) (H * H ( ))T K 1 (H * H ( )) min
Метод наименьших квадратов при линейной параметризации модели
Модель объекта задана в виде линейной комбинации известных (базисных) функций φ1(u),…, φm(u):
|
|
m |
|
|
|
|
|
|
|
|
|
|
1 |
|
1 |
(u) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(u, ) j (u) j |
T (u) T (u), |
|
|
, (u) |
|
|||||||||||
|
j 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
m (u) |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
T |
(u1 ) |
|
T (u1 ) |
1 (u1 ) 2 |
(u1 ) m (u1 ) |
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
H ( ) |
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
T |
|
|
|
|
T |
|
|
|
1 |
(un ) 2 |
|
|
|
|
|
|
(un ) |
|
|
(un ) |
|
(un ) m (un ) |
|
|
Параметры α находим по критерию наименьших квадратов:
I ( ) (H * ) T K 1 (H * ) min
Метод наименьших квадратов при линейной параметризации модели
Пример расчета параметров:
* |
(u, ) c D (u, ) |
|
|
(u, ) c D (u, ) |
1* |
(u, ) 1 2 (u u ) |
u1 |
u |
u |
Метод последовательной линеаризации при подстройке параметров на основе критерия
наименьших квадратов
Построим итерационную процедуру расчета параметров α модели в соответствии с критерием наименьших квадратов. Так как функционал квадратичный, то первая стадия метода не реализуется и на каждой итерации используется только линейная аппроксимация выхода модели по параметрам:
H ( ) H ( l ) dH ( l ) |
l 1 |
l 1 l |
|
|
||
|
|
d |
|
|
|
|
|
|
( l 1 ) (H * H ( l ) |
dH ( l ) |
l 1 )T K 1 (H * H ( l ) |
dH ( l ) |
l 1 ) min |
I |
||||||
|
|
|
d |
|
d |
l 1 |
|
|
|
|
|
|
Необходимое условие минимума приводит к системе линейных алгебраических уравнений:
dH T |
1 |
dH |
|
l 1 |
dH T |
1 |
(H |
* |
l |
)) |
||||
|
|
K |
|
|
|
|
|
K |
|
|
H ( |
|||
d |
|
|
d |
|
|
d |
|
|
|
|
|
|
αl+1=αl+γl Δαl+1 , |
l=0, 1, 2, |
Робастные оценки параметров
Параметры модели (которые являются оценками параметров объекта), полученные на основе критерия наименьших квадратов, сильно реагируют на выбросы помех. Аномальные отклонения в измерениях очень редки, но амплитуда их велика.
n |
|
|
|
|
|
I1 ( ) | *i |
| min |
|
|
||
i 1 |
|
|
|
|
|
|
|
|
|
|
|
Так же существуют другие критерии вида: |
|||||
n |
|
|
|
|
|
I ( ) pi 1 (ei ) min, |
ei *i |
|
|||
i 1 |
|
|
|
|
|
|
a (e) |
|
|
||
Примеры функции ψ(e): |
|
|
|||
|
|
|
|
||
|
|
|
0 |
e |
|
|
|
|
|
|
(ui , ) |
|
|
|
б (e) |
в (e) |
|
|
|
0.8 |
|
|
0 |
e |
0 |
e |
Простейший адаптивный алгоритм подстройки параметров
Линейная параметризация модели: (u, ) T (u)
На каждой итерации, например n и n-1, параметры модели находим из условия равенства выходов модели и объекта:
* |
T (u |
n |
) |
n |
, * |
T (u |
n 1 |
) |
n 1 |
|
|
|
||||
|
n |
|
|
n 1 |
|
|
|
|
|
|||||||
Каждому уравнению в пространстве параметров соответствует своя линия |
||||||||||||||||
2 |
n |
|
|
|
|
|
|| n ||2 min |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
n |
|
|
|
|
|
|
* |
|
T |
(un ) n 1 ) |
|
|
||
|
|
|
|
n 1 |
n n 1 |
|
( n |
|
(un ) n 1 ( *n T (un ) n 1 )( T (un )) |
|||||||
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
n 1 |
|
|
|
T (un ) (un ) |
n |
|
|||||||
|
|
|
|
n a |
|
(un ) |
||||||||||
|
|
|
|
|
|
|
||||||||||
a |
|
|
|
|
|
|
|
T (un ) (un ) |
||||||||
|
|
|
|
|
|
|
n |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
n n 1 n 1 ( n n 1 ), n 1,2, ... .
Простейший адаптивный алгоритм подстройки параметров
Нелинейная модель: На каждом шаге линеаризуем модель и приращения параметров отыскиваем из равенства выхода модели и линеаризованной модели:
* |
(u |
n |
, |
n 1 |
) T |
(u |
n |
, |
n 1 |
) |
n |
n |
|
|
|
|
|
|
В итоге получаем алгоритм перестройки параметров нелинейной модели:
|
|
|
|
|
|
( * |
|
(u , |
n 1 |
)) |
|
|
(u |
, |
|
) |
||
|
|
|
n 1 |
|
|
n |
|
|
n |
|
|
|
n 1 |
|||||
|
T |
(u , |
|
) (u , |
|
|
||||||||||||
|
n |
|
|
n 1 |
n 1 |
) |
n |
|
|
|||||||||
|
|
|
|
|
|
n |
|
|
n |
|
|
|
|
|
|