- •Методы обработки экспериментальных данных
- •Введение
- •1.1. Введение
- •Области применения анализа экспериментальных данных
- •1.2. Основные этапы анализа данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •Вопросы ?
- •КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ
- •Схема системы распознавания
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Прямые методы восстановления решающей функции
- •НЕЙРОННЫЕ СЕТИ: еще один подход к классификации
- •Интересные данные
- •Персептроны
- •Формальный нейрон
- •Нелинейное преобразование
- •Перцептрон Розенблата
- •Обучение сети
- •Обучение перцептрона
- •STATISTICA Neural Networks
- •ВОПРОСЫ ?
- •ПЛАНИРОВАНИЕ
- •Что такое планирование эксперимента
- •Эксперименты в науке и промышленности
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Что такое планирование эксперимента
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Крутое восхождение по поверхности
- •Полный факторный эксперимент
- •Полный факторный эксперимент
- •Дробные реплики
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Планы Плаккета – Бермана
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ротатабельное планирование
- •Метод случайного баланса
- •Метод случайного баланса
- •ВОПРОСЫ ?
- •МЕТОДЫ
- •Оценивание функционалов
- •Оценивание функционалов
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Полиграммы
- •Полиграммы
- •Метод "К ближайших соседей"
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка условной плотности вероятности
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Адаптивное управление при априорной неопределенности
- •ВОПРОСЫ ?
- •ДИСПЕРСИОННЫЙ
- •Постановка проблемы
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при
- •Планирование эксперимента при дисперсионном анализе
- •ВОПРОСЫ ?
- •АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ
- •Введение
- •Введение
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ
- •Общие понятия
- •Постановка задачи подстройки параметров нелинейных моделей
- •Критерий наименьших квадратов
- •Критерий наименьших квадратов
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод последовательной линеаризации при подстройке параметров на основе критерия
- •Робастные оценки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Подстройка параметров с использованием функций чувствительности
- •Подстройка параметров с использованием функций чувствительности
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Адаптивные системы обработки информации
- •Постановка задачи адаптивного управления
- •Примеры синтеза устройств управления
- •Примеры синтеза устройств управления для простейших линейных систем
- •Синтез алгоритмов управления для линейных систем
- •Алгоритмы адаптивного управления для нелинейных систем
- •Управление динамическими системами с чистыми запаздываниями
- •Управление динамическими системами
- •ВОПРОСЫ ?
Обработка результатов эксперимента
2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию адекватности):
2 |
1 |
n |
|
2 |
|
ад |
|
|
|
( yi yi ) |
|
|
|
|
|||
|
|
n m 1i 1 |
|
|
На основе дополнительного эксперимента объема n0 в одной из точек плана (например в центре плана) строим оценку для дисперсии выхода объекта. Число степеней свободы для оценки n0 -1. По статистике Фишера проверяем гипотезу о равенстве
дисперсий, которая совпадает с гипотезой об адекватности модели.
F 2 / 2ад y
Если статистика не превосходит порогового значения, то принимается гипотеза об адекватности модели. В противоположном случае эта гипотеза отвергается. Надо заново строить модель, например, усложняя ее за счет введения дополнительных факторов, либо отказываться от линейной модели и переходить к квадратичной модели.
Обработка результатов эксперимента
3. Проверка значимости коэффициентов заключается в проверке гипотезы H: bj = 0 для каждого j=1,…,m.
Вычисляется статистика Стьюдента:
t / j ny
Если |t|<c, где с – пороговое значения из таблицы Стьюдента, то принимается гипотеза о том, что коэффициент модели βj
незначимо отличается от нуля. В этом случае данный член модели можно опустить, но после этого упрощения модели ее надо проверить на адекватность.
Обработка результатов эксперимента
4. Интерпретация модели. Производится качественное сопоставление поведения полученной модели с реальными процессами объекта. При этом привлекается информация от экспертов (например технологов), детально изучивших объект. Знак коэффициентов βj , линейной модели
показывает характер влияния входа объекта на выход. Знак "+" свидетельствует о том, что с увеличением входа (фактора) растет величина выхода объекта и наоборот. Величина коэффициентов βj –
количественная мера этого влияния.
Если характер связи между входами и выходом объекта на основе построенной модели не соответствует реальным связям (на базе информации от экспертов) в объекте, то такую модель надо поставить под сомнение либо полностью отказаться от нее.
Ортогональное планирование второго порядка
Построение планов второго порядка – задача в математическом отношении значительно более сложная, чем в случае построения планов первого порядка. Модель второго порядка при m=3 имеет вид:
y 0 1 x1 2 x2 3 x3 12 x1 x2 23 x2 x3 13 x1 x3 11 x12 22 x22 33 x33
Для вычисления коэффициентов модели второго порядка необходимо варьировать переменные не менее чем на трех уровнях. Это вызывает необходимость постановки большого числа опытов. Полный факторный эксперимент содержит 3m точек.
m |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
3m |
3 |
9 |
27 |
81 |
243 |
729 |
2187 |
Композиционный план n0=1 |
5 |
9 |
15 |
25 |
43 |
77 |
143 |
Ортогональное планирование второго порядка
В 1951 году Бокс и Уилсон предложили составлять композиционные планы. Число точек плана равно величине n=n1+2m+n0 . Здесь n1– число точек полного факторного эксперимента или дробной реплики 2m – число парных точек, расположенных на осях координат; n0 – число опытов в центре плана.
|
x2 |
|
|
x3 |
|
|
Точки на осях координат называют звездными |
||
|
* |
|
|
* |
* |
|
точками. Их количество равно удвоенному |
||
|
|
x1 |
|
x1 |
числу факторов. Расстояние от центра плана |
||||
* |
* |
* |
|
* |
до звездной точки одинаково. Его обозначают |
||||
|
|
|
* |
* |
|
|
буквой α и называют звездным плечом. |
||
|
* |
|
|
|
|
|
|
||
|
|
x2 |
|
|
|
|
|
|
|
Композиционные |
планы |
имеют |
следующие |
положительные |
свойства: |
1.Они могут быть получены в результате достройки планов первого порядка.
2.Дополнительные точки на осях координат и в центре плана не нарушают ортогональности для столбцов, соответствующих факторам xj и эффектам
взаимодействия xixj .
Ортогональное планирование второго порядка
Пример композиционного плана:
n x |
x |
x |
x x |
2 |
x 2 |
x 2 |
x ’ |
x |
’ |
|
|
0 |
1 |
2 |
1 |
1 |
2 |
1 |
2 |
|
|
1 |
+ |
+ |
+ |
+ |
|
+ |
+ |
◊ |
◊ |
|
2 |
+ |
– |
+ |
– |
|
+ |
+ |
◊ |
◊ |
|
3 |
+ |
+ |
– |
– |
|
+ |
+ |
◊ |
◊ |
|
4 |
+ |
– |
– |
+ |
|
+ |
+ |
◊ |
◊ |
|
5 |
+ |
α |
0 |
0 |
|
α2 |
0 |
|
□ |
|
6 |
+ |
-α |
0 |
0 |
|
α2 |
0 |
|
□ |
|
7 |
+ |
0 |
α |
0 |
|
0 |
α2 |
□ |
|
|
8 |
+ |
0 |
-α |
0 |
|
0 |
α2 |
□ |
|
|
9 |
+ |
0 |
0 |
0 |
|
0 |
0 |
□ |
□ |
|
xl xl2 |
|
1 |
n |
|
|
||||
|
xli2 xl2 xl2 |
|||
|
|
n i 1 |
С учетом новых переменных xl’ получаем
следующее уравнение модели (для случая m=2):
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
x |
x x (x x |
2 |
) |
|
|
(x x |
2 |
) |
|||||||||||||||||||||
y |
0 |
|
22 |
|
|||||||||||||||||||||||||||||
|
|
|
|
1 |
1 |
2 |
|
|
2 |
|
12 |
1 |
2 |
|
11 |
1 |
1 |
|
|
|
2 |
|
|
2 |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
||||||||||||||||||||
|
0 |
x2 |
|
22 |
x2 |
x |
x x x x |
|
22 |
||||||||||||||||||||||||
|
|
|
11 |
1 |
|
|
|
2 |
|
1 |
1 |
2 |
|
2 |
12 |
1 |
2 |
11 |
1 |
|
|
|
2 |
||||||||||
|
|
x |
2 |
x |
2 |
x x |
2 |
x |
22 |
x |
|
|
|
|
|
|
|||||||||||||||||
|
|
0 |
|
1 |
|
1 |
|
|
|
12 |
1 |
|
11 |
1 |
|
|
|
2 |
|
|
|
|
|
|
Ротатабельное планирование
Если эта дисперсия одинакова на равном удалении от центра плана, то такой план называется ротатабельным.
Ортогональный план первого порядка является ротатабельным.
Построение ротатабельного плана второго порядка из
симплексных планов:
x2
x1
Метод случайного баланса
Часто влияние факторов на выходную координату объекта имеет затухающий экспоненциальный вид:
|
|
|
y |
|
|
|
|
|
|
|
|
|
|
В |
1956 году |
Сатерзвайт |
предложил |
метод |
||
100% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
случайного баланса для отсеивания небольшого |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
80% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
числа значимых |
факторов |
на шумовом |
поле. |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
60% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Метод базируется на постановке экспериментов |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
40% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
по |
плану, содержащему |
координаты |
точек, |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
20% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
выбранных случайным образом. |
|
||||
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
x1 |
x2 |
x3 x4 |
x5 x6 x7 x8 |
x9 x10 |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
Построение матрицы планирования осуществляют следующим образом. Все факторы разбивают на группы. Затем для каждой группы строят матрицы планирования, беря за основу полный факторный эксперимент или дробные реплики. План проведения эксперимента образуется путем случайного смешивания строк соответствующих базовых планов (для групп факторов). Полученный план реализуется на объекте, и результаты анализируются с помощью диаграмм рассеяния.
Метод случайного баланса
Пример: |
|
|
|
|
2 9 |
y |
|
|
|
|
|
|
|
2 8 |
|
|
|
||
|
|
|
|
|
|
3 |
|
0 |
|
n |
x1 |
x2 |
x1x2 |
y |
y1 |
2 7 |
2 |
||
|
|
|
|
|
|
2 6 |
|
|
|
1 |
+ |
+ |
+ |
24 |
27 |
2 5 |
|
|
|
2 |
– |
+ |
– |
27 |
27 |
2 4 |
|
|
|
3 |
+ |
– |
– |
26 |
29 |
|
x1 |
x2 |
x1 x2 |
4 |
– |
– |
+ |
29 |
29 |
|
Каждая из диаграмм содержит точки, соответствующие результатам эксперимента. Эти точки разбиты на две группы. Одна из них соответствует тем опытам, когда исследуемый фактор находился на нижнем уровне, вторая – тем опытам, когда фактор находился на верхнем уровне. Для каждой из групп находятся оценки медианы и вычисляется их разность (из оценки медианы правой группы вычитается оценка медианы левой).
Разность между оценками медиан количественно оценивает линейное влияние фактора на выход объекта.