- •Методы обработки экспериментальных данных
- •Введение
- •1.1. Введение
- •Области применения анализа экспериментальных данных
- •1.2. Основные этапы анализа данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •Вопросы ?
- •КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ
- •Схема системы распознавания
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Прямые методы восстановления решающей функции
- •НЕЙРОННЫЕ СЕТИ: еще один подход к классификации
- •Интересные данные
- •Персептроны
- •Формальный нейрон
- •Нелинейное преобразование
- •Перцептрон Розенблата
- •Обучение сети
- •Обучение перцептрона
- •STATISTICA Neural Networks
- •ВОПРОСЫ ?
- •ПЛАНИРОВАНИЕ
- •Что такое планирование эксперимента
- •Эксперименты в науке и промышленности
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Что такое планирование эксперимента
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Крутое восхождение по поверхности
- •Полный факторный эксперимент
- •Полный факторный эксперимент
- •Дробные реплики
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Планы Плаккета – Бермана
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ротатабельное планирование
- •Метод случайного баланса
- •Метод случайного баланса
- •ВОПРОСЫ ?
- •МЕТОДЫ
- •Оценивание функционалов
- •Оценивание функционалов
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Полиграммы
- •Полиграммы
- •Метод "К ближайших соседей"
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка условной плотности вероятности
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Адаптивное управление при априорной неопределенности
- •ВОПРОСЫ ?
- •ДИСПЕРСИОННЫЙ
- •Постановка проблемы
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при
- •Планирование эксперимента при дисперсионном анализе
- •ВОПРОСЫ ?
- •АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ
- •Введение
- •Введение
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ
- •Общие понятия
- •Постановка задачи подстройки параметров нелинейных моделей
- •Критерий наименьших квадратов
- •Критерий наименьших квадратов
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод последовательной линеаризации при подстройке параметров на основе критерия
- •Робастные оценки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Подстройка параметров с использованием функций чувствительности
- •Подстройка параметров с использованием функций чувствительности
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Адаптивные системы обработки информации
- •Постановка задачи адаптивного управления
- •Примеры синтеза устройств управления
- •Примеры синтеза устройств управления для простейших линейных систем
- •Синтез алгоритмов управления для линейных систем
- •Алгоритмы адаптивного управления для нелинейных систем
- •Управление динамическими системами с чистыми запаздываниями
- •Управление динамическими системами
- •ВОПРОСЫ ?
Робастные оценки регрессии
Запишем критериальную форму получения оценки:
I |
|
|
|
|
n |
| y |
|
|
|
| min |
|
|
|
|
|
|
|
||||
2 |
|
m |
2 |
|
|
|
|
|
|
|
|||||||||||
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
i 1 |
|
|
|
|
|
|
|
m2 |
|
|
|
|
|
|
|
|
|
I21 |
|
|
n |
|
|
m21 ) |
2 |
|
1 |
|
|
|
|
|
|
|
|||||
( yi |
|
|
|
|
min |
|
|||||||||||||||
|
| y |
m0 | |
|
||||||||||||||||||
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|
m21 |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
2 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
n |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
dI2 |
|
2 |
( yi |
m21 ) |
|
|
|
|
|
0 |
|
||||||||
|
|
dm1 |
| y |
m0 |
| |
|
|||||||||||||||
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|||||||||
|
|
|
2 |
|
|
|
|
|
|
|
|
|
i |
|
|
2 |
|
|
|
|
|
1 |
|
|
n |
|
|
|
0 1 |
n |
|
|
|
|
|
0 1 |
|
||||||
m2 |
|
| yi m2 |
| |
|
| y j |
m2 | |
yi |
||||||||||||||
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
j 1 |
|
|
|
|
|
|
|
l 1 |
n |
|
l |
1 |
n |
l |
| |
1 |
|
m2 |
|
| yi m2 | |
| y j m2 |
|
yi , l 0, 1, 2, |
||||
|
i 1 |
|
|
|
j 1 |
|
|
|
|
|
| m2l 1 m2l |
| |
|
|
|
|
|
Робастные оценки регрессии
Модульный критерий не является единственным для получения робастных оценок. Более общий критерий имеет вид :
n |
(x |
xi ) |
|
|
I (x) F( yi )K |
h |
|
min |
|
i 1 |
|
|
|
Некоторые виды функций F(v):
F(v)
F(v) | v |
0 v
|
|
F(v) |
|
|
a |
0 |
v |
a |
v2 2, |
|
| v | a; |
F(v) |
2 |
2, a | v | |
a | v | a |
|
F(v)
|
a |
0 |
v |
a |
F(v)
|
a |
0 |
v |
a |
F(v)
0v
v2 2, | v | a;
F(v)
a2 2, a | v |
| v |, | v| a; |
|
F(v) |
a | v| |
a, |
F(v) | v|p ,1 p 2
Адаптивное управление при априорной неопределенности
Адаптацией природа наделила все живое. Она представляет собой приспособление к различным изменениям. Эти изменения происходят как внутри живого организма, так и во внешней среде.
Свойством адаптации человек наделил и созданные им устройства. Управление в этих устройствах осуществляется таким образом, чтобы как можно быстрее и лучше нейтрализовать влияние непредвиденных изменений или приспособиться к ним.
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
ИУ |
|
||||||||||||
u |
|
|
|
|
|
|
|
|
|
y |
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Объект |
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ИУ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
Управляющее |
|
|
|
|
|
y |
|||||||||||||
|
|
|
|
|
|
||||||||||||||||
|
|
|
устройство |
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
y* |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
ВОПРОСЫ ?
ДИСПЕРСИОННЫЙ
АНАЛИЗ
Постановка проблемы
Дисперсионный анализ является статистическим методом анализа результатов наблюдений, зависящих от различных одновременно действующих факторов, с целью выбора наиболее значимых факторов и оценки их влияния на исследуемый процесс.
Методами дисперсионного анализа устанавливается
наличие влияния заданного фактора на изучаемый процесс (на выходную переменную процесса) за счёт статистической обработки наблюдаемой совокупности выборочных данных.
Однофакторный дисперсионный анализ
Предположим, что анализируется влияние на
случайную величину X фактора A, изучаемого на |
k |
|||||||
уровнях (A1, A2,…, Ak). На каждом уровне Ai |
|
|||||||
проведены n наблюдений (xi1, |
xi2,…,xin) случайной |
|||||||
величины X. |
Номер |
|
|
Уровни фактора A |
|
|||
наблюдения |
A1 |
A2 |
… |
Ai |
… |
Ak |
||
|
|
|||||||
Расположим |
1 |
x11 |
x21 |
… |
xi1 |
… |
xk1 |
|
эксперимен- |
||||||||
2 |
x12 |
x22 |
… |
xi2 |
… |
xk2 |
||
тальные |
||||||||
…. |
… |
… |
… |
… |
… |
… |
||
данные в |
||||||||
j |
x1j |
x2j |
… |
xij |
… |
xkj |
||
виде таблицы |
||||||||
… |
… |
… |
… |
… |
… |
… |
||
|
||||||||
|
n |
x1n |
X2n |
… |
xin |
… |
xkn |
|
|
|
X |
X |
… |
X |
… |
X |
Однофакторный дисперсионный анализ
Рассмотрим оценки различных дисперсий, возникающие при анализе таблицы результатов наблюдений. Для оценки дисперсии, характеризующей изменение данных на уровне Ai (по строкам таблицы), имеем:
2 |
|
1 |
n |
|
|
|
2 |
|
1 |
|
|
n |
2 |
|
1 |
|
n |
|
2 |
|
|
|
|
(xij |
xi ) |
|
|
|
|
|
|
|
|
|
|
. |
|||||||
Si |
|
|
|
|
|
|
|
xij |
|
|
|
|
|||||||||
|
|
n |
|
|
|
|
xij |
|
|||||||||||||
|
|
n 1 j 1 |
|
|
|
|
|
1 j 1 |
|
|
n j 1 |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Из предпосылок дисперсионного анализа следует, что должно иметь место равенство всех дисперсий. При выполнении этого условия находим оценку дисперсии, характеризующей рассеяние значений xij вне влияния фактора A, по формуле:
|
1 |
k |
1 |
k n |
|
1 |
k n |
1 |
k |
|
n |
|
2 |
|||
S02 |
Si2 |
(xij |
xi |
)2 |
|
xij2 |
|
xij |
|
|
||||||
|
k(n 1) |
|
||||||||||||||
|
k i 1 |
k(n 1) i 1 j 1 |
|
i 1 j 1 |
n i 1 |
|
j 1 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Однофакторный дисперсионный анализ
Для упрощения вычислений приведем алгоритм их выполнения. Вычисляем последовательно суммы:
k n |
2 |
|
|
1 |
k |
2 |
|
|
1 |
k |
|
2 |
|
|
|
|
|
|
|||||||
Q1 xij |
Q2 |
|
|
X i |
Q3 |
|
|
X i |
|
|||
|
|
|
||||||||||
i 1 j 1 |
|
|
|
n i 1 |
|
|
|
kn i 1 |
|
|
2 |
|
Q1 Q2 |
2 |
Q Q |
|||
S0 |
k(n |
1) |
S A |
2 |
3 |
||
|
|
|
k 1 |
|
|||
Сравниваем SA2 |
и S02 |
устанавливаем наличие влияния фактора A. |
|||||
Если |
k(n 1) Q2 |
Q3 |
F [k 1; k(n 1)] , то влияние A – значимо. |
||||
|
k 1 Q1 |
Q2 |
|
|
|
Двухфакторный дисперсионный анализ
Рассмотренный ранее однофакторный дисперси- онный анализ обладает информативностью, не большей, чем методы множественного сравнения
средних. Информативность дисперсионного анализа возрастает при одновременном изучении влияния
нескольких факторов.
Рассмотрим случай, когда анализируется влияние одновременно двух факторов A и B.