- •Методы обработки экспериментальных данных
- •Введение
- •1.1. Введение
- •Области применения анализа экспериментальных данных
- •1.2. Основные этапы анализа данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.3. Структуры данных
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.4. Что такое переменная?
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.5. Основные законы распределения случайных величин и их назначение
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •1.6. Краткий обзор современных программных средств для проведения анализа данных.
- •Вопросы ?
- •КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ
- •Схема системы распознавания
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при дискретных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Байесовская теория принятия решений при непрерывных признаках
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Идеи классификации
- •Прямые методы восстановления решающей функции
- •НЕЙРОННЫЕ СЕТИ: еще один подход к классификации
- •Интересные данные
- •Персептроны
- •Формальный нейрон
- •Нелинейное преобразование
- •Перцептрон Розенблата
- •Обучение сети
- •Обучение перцептрона
- •STATISTICA Neural Networks
- •ВОПРОСЫ ?
- •ПЛАНИРОВАНИЕ
- •Что такое планирование эксперимента
- •Эксперименты в науке и промышленности
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Общие идеи
- •Что такое планирование эксперимента
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Построение линейной статической модели объекта
- •Крутое восхождение по поверхности
- •Полный факторный эксперимент
- •Полный факторный эксперимент
- •Дробные реплики
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Симплекс
- •Насыщенные планы. Планы Плаккета – Бермана
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Разбиение матрицы планирования на блоки
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Обработка результатов эксперимента
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ортогональное планирование второго порядка
- •Ротатабельное планирование
- •Метод случайного баланса
- •Метод случайного баланса
- •ВОПРОСЫ ?
- •МЕТОДЫ
- •Оценивание функционалов
- •Оценивание функционалов
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Простейшие оценки функции и плотности распределения вероятности
- •Полиграммы
- •Полиграммы
- •Метод "К ближайших соседей"
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка Розенблатта – Парзена
- •Оценка условной плотности вероятности
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Оценка регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Робастные оценки регрессии
- •Адаптивное управление при априорной неопределенности
- •ВОПРОСЫ ?
- •ДИСПЕРСИОННЫЙ
- •Постановка проблемы
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Однофакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Двухфакторный дисперсионный анализ
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при дисперсионном анализе
- •Планирование эксперимента при
- •Планирование эксперимента при дисперсионном анализе
- •ВОПРОСЫ ?
- •АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ
- •Введение
- •Введение
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Анализ трендов и сезонности
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ
- •Общие понятия
- •Постановка задачи подстройки параметров нелинейных моделей
- •Критерий наименьших квадратов
- •Критерий наименьших квадратов
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод наименьших квадратов при линейной параметризации модели
- •Метод последовательной линеаризации при подстройке параметров на основе критерия
- •Робастные оценки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •Простейший адаптивный алгоритм подстройки параметров
- •ВОПРОСЫ ?
- •ИДЕНТИФИКАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Дискретные динамические модели стохастических объектов
- •Подстройка параметров с использованием функций чувствительности
- •Подстройка параметров с использованием функций чувствительности
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Применение простейшего адаптивного алгоритма
- •Адаптивные системы обработки информации
- •Постановка задачи адаптивного управления
- •Примеры синтеза устройств управления
- •Примеры синтеза устройств управления для простейших линейных систем
- •Синтез алгоритмов управления для линейных систем
- •Алгоритмы адаптивного управления для нелинейных систем
- •Управление динамическими системами с чистыми запаздываниями
- •Управление динамическими системами
- •ВОПРОСЫ ?
Полный факторный эксперимент
Полным факторным экспериментом называется эксперимент, в котором реализуются все возможные сочетания уровней факторов. Если число факторов равно m, а число уровней каждого фактора равно p. то имеем полный факторный эксперимент типа pm.
При построении линейной модели объекта используется полный факторный эксперимент типа 2m. Условия эксперимента записываются в таблицы, в которых строки соответствуют различным опытам, а столбцы – значениям факторов. Такие таблицы называются матрицами планирования эксперимента.
|
|
|
|
n |
x1 |
x2 |
x3 |
x4 |
yi |
|||
|
|
21 |
|
1 |
|
|
|
|
|
|
|
y1 |
|
|
|
|
2 |
|
|
|
|
|
|
|
y2 |
|
|
|
|
3 |
|
|
|
|
|
|
|
y3 |
|
|
22 |
|
4 |
|
|
|
|
|
|
|
y4 |
|
|
|
|
5 |
|
|
|
|
|
|
y5 |
|
|
|
|
|
6 |
|
|
|
|
|
|
y6 |
|
|
|
|
|
7 |
|
|
|
|
|
|
y7 |
|
|
23 |
|
|
8 |
|
|
|
|
|
|
|
y8 |
|
|
|
|
9 |
|
|
|
|
|
y9 |
||
|
|
|
|
10 |
|
|
|
|
|
y10 |
||
|
|
|
|
11 |
|
|
|
|
|
y11 |
||
24 |
|
|
12 |
|
|
|
|
y12 |
||||
|
|
13 |
|
|
|
y13 |
||||||
|
|
|
|
|
|
|
||||||
|
|
|
|
14 |
|
|
|
|
|
y14 |
||
|
|
|
|
15 |
|
|
|
|
|
y15 |
||
|
|
|
|
16 |
|
|
|
|
|
|
|
y16 |
Полный факторный эксперимент
С использованием ортогонального плана первого порядка можно определять не только коэффициенты βi, но и коэффициенты βij перед факторами взаимодействия xixj (i≠j)
Например, при m=2 можно рассчитать и коэффициенты модели:
y 0 1x1 2 x2 12x1x2
n |
x0 |
x1 |
x2 |
x1x2 |
yi |
1 |
+ |
+ |
+ |
+ |
y1 |
2 |
+ |
– |
+ |
– |
y2 |
3 |
+ |
+ |
– |
– |
y3 |
4 |
+ |
– |
– |
+ |
y4 |
Дробные реплики
При большом числе входов объекта полный факторный эксперимент 2m содержит большое число экспериментов. Можно этот план разбивать на блоки (дробные реплики) с сохранением ортогональности плана. При этом по меньшему числу точек определяются (также независимо друг от друга) все
коэффициенты линейной модели. |
n |
x1 |
x2 |
x3 |
X4=x1x2 |
|
|
||||||
Чтобы получить дробную реплику, необходимо |
1 |
+ |
+ |
+ |
+ |
|
2 |
– |
+ |
+ |
– |
||
за основу взять полный факторный эксперимент |
||||||
3 |
+ |
– |
+ |
– |
||
(например 23) и в качестве новой переменной |
||||||
взять один из столбцов (например x4), |
4 |
– |
– |
+ |
+ |
|
соответствующий фактору взаимодействия |
5 |
+ |
+ |
– |
– |
|
(например x4=x1x2). Для данного примера |
6 |
– |
+ |
– |
+ |
|
дробная реплика обозначается как 24-1. |
7 |
+ |
– |
– |
+ |
|
|
8 |
– |
– |
– |
– |
Определяющий контраст (или определяющие контрасты, когда их несколько) позволяет установить разрешающую способность дробной реплики. Разрешающая способность будет максимальной, если линейные эффекты будут смешаны с эффектами взаимодействия наибольшего возможного порядка.
Насыщенные планы. Симплекс
Иногда исследователь ставит цель получения линейного уравнения модели по планам, содержащим минимум точек (количество точек равно числу коэффициентов). Такие планы называют насыщенными.
Ортогональный план проводится в вершинах правильного симплекса. Правильным симплексом называется выпуклая правильная фигура в многомерном пространстве, число вершин которой превышает размерность этого пространства на единицу.
x1 |
|
|
|
x1 |
|
x2 |
|
|
x |
x |
x |
|
|
|
|
|
|
|
3a |
a |
|
|
1 |
2 |
3 |
|
|
|
|||
|
|
|
1 |
1 |
1 |
|
|
|
|||||||
|
1 |
|
|
|
|
|
|
||||||||
|
|
|
|
3a |
|
a |
|
1 1 1 |
1 |
|
|||||
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
2a |
|
1 1 |
1 |
4 |
|
||||
|
1 |
|
|
|
|
|
|
|
|
x3 |
|||||
|
|
|
|
|
x2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
x |
( 3a;a) |
( |
3a;a) |
|
1 1 |
1 |
3 |
x |
||||
1 |
0 |
1 |
2 |
|
|
1 |
x1 |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
2 |
|
x2 |
|||||||
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
3 (0; 2a) |
|
|
|
|
|
|
|
|
||
Эти планы центральные и ортогональные. |
|
|
|
|
|
|
|
Насыщенные планы. Симплекс
Один из общих способов построения планов:
|
x1 |
|
|
a1 |
|
|
a1 |
|
|
||
|
0 |
|
|
0 |
|
|
||
|
|
|
|
||
|
||
|
0 |
|
|
x2
a2
a2
2a2
0
0
x3 a3 a3 a3
3a3
0
xm
am
am
|
am |
|
|
|
|||
|
am |
|
|
|
|
|
|
|
|||
|
|
||
|
|
|
|
mam |
Насыщенные планы. Планы Плаккета – Бермана
Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67, 71, ... .
Задаются базовые строки. Каждая следующая строка матрицы планирования образуется из исходной циклическим сдвигом вправо. Получается матрица размером m x m. Последняя (m+1) -я строка матрицы планирования состоит из минус единиц.
Пример базисных строк:
m |
n |
Строка |
11 |
12 |
+ + – + + + – – – + – |
19 |
20 |
+ + – – + + + – + – + – – – – + + – |
23 |
24 |
+ + + + + – + – + + – – + + – – + – + – – – – |
31 |
32 |
– – – – + – + – + + + – + + – – – + + + + + – – + + – + – – + |
35 |
36 |
– + – + + + – – – + + + + + – + + + – – + – – – – + – + – + + – – + – |
Разбиение матрицы планирования на блоки
При проведении эксперимента выход объекта дрейфует. Если этот дрейф кусочно-постоянный, то его можно нейтрализовать, изменяя порядок проведения эксперимента во времени. Для этого разбивают матрицу планирования на блоки и последовательно реализуют (во времени) эту матрицу: вначале один блок, затем другой и т. д.
В качестве примера рассмотрим ортогональный план 23 . Считаем, что выход объекта имеет аддитивный дрейф на величину 1 (когда
проводятся эксперименты с номерами 1, 2, 3, 4) и на величину 2
(когда проводятся эксперименты № 5, 6, 7, 8). Этот дрейф приводит к смещению на величину (4Δ1-4 2)/8 параметра β3.
Разбиение матрицы планирования на блоки
Пример эксперимента в котором выход объекта дрейфует.
n |
x1 |
x2 |
x3 |
xдр=x1x2x3 |
yi |
1 |
+ |
+ |
+ |
+ |
y1=y1ист+Δ1 |
2 |
– |
+ |
+ |
– |
y2=y2ист+Δ1 |
3 |
+ |
– |
+ |
– |
y3=y3ист+Δ1 |
4 |
– |
– |
+ |
+ |
y4=y4ист+Δ1 |
5 |
+ |
+ |
– |
– |
y5=y5ист+Δ2 |
6 |
– |
+ |
– |
+ |
y6=y6ист+Δ2 |
7 |
+ |
– |
– |
+ |
y7=y7ист+Δ2 |
8 |
– |
– |
– |
– |
y8=y8ист+Δ2 |
Номер блока
1
2
2
1
2
1
1
2
Разбиение матрицы планирования на блоки
Для устранения этого недостатка изменим порядок проведения эксперимента, разбив план на 2 блока.
n |
x1 |
x2 |
x3 |
xдр |
yi |
Номер блока |
1 |
+ |
+ |
+ |
+ |
y1=y1ист+Δ1 |
|
2 |
– |
– |
+ |
+ |
y2=y2ист+Δ1 |
Блок 1 |
3 |
– |
+ |
– |
+ |
y3=y3ист+Δ1 |
|
4 |
+ |
– |
– |
+ |
y4=y4ист+Δ1 |
|
5 |
– |
+ |
+ |
– |
y5=y5ист+Δ2 |
|
6 |
+ |
– |
+ |
– |
y6=y6ист+Δ2 |
Блок 2 |
7 |
+ |
+ |
– |
– |
y7=y7ист+Δ2 |
|
8 |
– |
– |
– |
– |
y8=y8ист+Δ2 |
|
Обработка результатов эксперимента
1. Проверка однородности дисперсий. Если при реализации ортогонального плана остается неизвестным, на самом ли деле дисперсии выходов (ошибок измерения) одинаковы в каждой точке плана, то необходимо в каждой точке плана осуществить несколько дополнительных измерений выхода, найти оценку дисперсии (в каждой точке) и проверить гипотезу о равенстве дисперсий.
Проверка однородности дисперсий производится с помощью различных статистик. Простейшей из них является статистика Фишера, представляющая собой отношение наибольшей из оценок к наименьшей:
F2
max
2min
Так же можно выполнить проверку с |
2 |
n |
2 |
использованием статистики Кочрена: |
Gmax max / j |
||
|
|
j 1 |
|