- •Введение
- •1. Системы поддержки принятия решений
- •1.1. Задачи систем поддержки принятия решений
- •1.2 OLTP-системы
- •1.3 Неэффективность использования OLTP-систем для анализа данных
- •2 Хранилище данных
- •2.1 Концепция хранилища данных
- •2.2 Организация хранилища данных
- •2.3 Метаданные в хранилищах данных
- •2.3.1. Функции метаданных в хранилище данных
- •2.3.2 Состав метаданных в хранилище данных
- •2.3.3 Стандарты метаданных
- •2.4 Очистка данных
- •2.5 Концепция хранилища данных и анализ
- •3. Архитектура хранилищ данных
- •3.1 Факторы, определяющие архитектуру ХД
- •3.2 Основные типы программно-аппаратной архитектуры хранилища данных
- •3.3 Организация работ по созданию хранилища данных
- •3.4 Характеристика решений ведущих производителей
- •3.5 Типовые программно-аппаратные решения реализации ХД
- •3.5 Области применения технологии хранилищ данных
- •4 Основные бизнес-функции процесса разработки и проектирования хранилища данных.
- •4.1 Задачи процесса проектирования хранилища данных
- •4.2 Модель жизненного цикла хранилища данных
- •4.2.1 Планирование
- •4.2.2 Разработка требований.
- •4.2.3 Анализ
- •4.2.4 Проектирование
- •4.2.5 Построение хранилища данных
- •4.2.6 Внедрение
- •4.2.7 Поддержка
- •5.1. Многомерная модель данных
- •5.2 Двенадцать правил Кодда
- •5.3 Дополнительные правила Кодда
- •5.4 Тест FASMI
- •5.5. Архитектура OLAP-систем
- •6. Интеллектуальный анализ данных
- •6.1. Добыча данных — Data Mining
- •6.2. Задачи Data Mining
- •6.3. Практическое применение Data Mining
- •6.4. Модели Data Mining
- •6.5. Методы Data Mining
- •6.6. Процесс обнаружения знаний
- •Заключение
- •Глоссарий
1
ХРАНИЛИЩА ДАННЫХ учебное пособие
Томск – 2015
2
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
«ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ» (ТУСУР)
Кафедра автоматизации обработки информации (АОИ)
УТВЕРЖДАЮ
Зав. Кафедрой АОИ
Д.т.н., профессор
_________________
Ю. П. Ехлаков
«___»
__________________ 2015 г.
УЧЕБНОЕ ПОСОБИЕ
по дисциплине «Хранилища данных» для студентов направления 230102 – Бизнес информатика
Разработчик Доцент каф. АОИ К.т.н., с.н.с.
О.И. Жуковский
Томск 2015
3
Аннотация
«Хранилища данных» (ХД) – учебная дисциплина, в которой изучаются современные технологии, методы и средства проектирования и построения автоматизированных информационных систем, ориентированных на анализ данных. Специалисты в области ХД должны владеть знаниями и умениями, позволяющими принимать обоснованные решения на всех стадиях и этапах проектирования и построения автоматизированных информационных систем, ориентированных на анализ данных.
Пособие подготовлено в соответствии с требованиями Государственного образовательного стандарта высшего профессионального образования.
Учебное пособие предназначено для студентов факультета дистанционного обучения ТУСУР.
4
Оглавление
Введение ............................................................................................................................................. |
6 |
|
1. Системы поддержки принятия решений ..................................................................................... |
7 |
|
1.1. Задачи систем поддержки принятия решений................................................................. |
7 |
|
1.2 OLTP-системы.................................................................................................................... |
10 |
|
1.3 |
Неэффективность использования OLTP-систем для анализа данных.......................... |
20 |
2 Хранилище данных...................................................................................................................... |
25 |
|
2.1 |
Концепция хранилища данных......................................................................................... |
25 |
2.2 |
Организация хранилища данных...................................................................................... |
32 |
2.3 |
Метаданные в хранилищах данных................................................................................. |
38 |
2.4 |
Очистка данных.................................................................................................................. |
52 |
2.5 |
Концепция хранилища данных и анализ......................................................................... |
59 |
3. Архитектура хранилищ данных.................................................................................................. |
61 |
|
3.1 |
Факторы, определяющие архитектуру ХД...................................................................... |
61 |
3.2 |
Основные типы программно-аппаратной архитектуры хранилища данных............... |
63 |
3.3 |
Организация работ по созданию хранилища данных..................................................... |
67 |
3.4 |
Характеристика решений ведущих производителей...................................................... |
69 |
3.5 |
Типовые программно-аппаратные решения реализации ХД......................................... |
72 |
3.5 |
Области применения технологии хранилищ данных..................................................... |
77 |
4 Основные бизнес-функции процесса разработки и проектирования хранилища данных..... |
87 |
|
4.1 |
Задачи процесса проектирования хранилища данных................................................... |
87 |
4.2 |
Модель жизненного цикла хранилища данных.............................................................. |
90 |
4.2.1 Планирование.................................................................................................................. |
92 |
|
4.2.2 Разработка требований................................................................................................... |
96 |
|
4.2.3 Анализ............................................................................................................................ |
100 |
|
4.2.4 Проектирование ............................................................................................................ |
100 |
|
4.2.5 Построение хранилища данных................................................................................... |
103 |
|
4.2.6 Внедрение...................................................................................................................... |
104 |
|
4.2.7 Поддержка ..................................................................................................................... |
104 |
|
5.1. Многомерная модель данных........................................................................................ |
107 |
|
5.2 |
Двенадцать правил Кодда ............................................................................................... |
113 |
5.3 |
Дополнительные правила Кодда.................................................................................... |
115 |
5.4 |
Тест FASMI....................................................................................................................... |
117 |
5.5. Архитектура OLAP-систем............................................................................................ |
119 |
|
6. Интеллектуальный анализ данных........................................................................................... |
128 |
|
6.1. Добыча данных — Data Mining ..................................................................................... |
128 |
|
5 |
|
6.2. Задачи Data Mining.......................................................................................................... |
129 |
6.3. Практическое применение Data Mining........................................................................ |
139 |
6.4. Модели Data Mining........................................................................................................ |
143 |
6.5. Методы Data Mining........................................................................................................ |
146 |
6.6. Процесс обнаружения знаний........................................................................................ |
153 |
Заключение............................................................................................................................. |
161 |
Глоссарий................................................................................................................................ |
163 |
6
Введение
«Хранилища данных» (ХД) – учебная дисциплина, в которой изучаются современные технологии, методы и средства проектирования и построения автоматизированных информационных систем, ориентированных на анализ данных. Специалисты в области ХД должны владеть знаниями и умениями, позволяющими принимать обоснованные решения на всех стадиях и этапах проектирования и построения автоматизированных информационных систем, ориентированных на анализ данных.
В пособии представлены такие базовые темы, относящиеся к области проектирования и использования Хранилищ Данных как:
Основные принципы построения систем, ориентированных на анализ данных;
Модели данных, используемые для построения хранилищ; Особенности построения систем на основе хранилищ данных;
Основные бизнес-функции процесса разработки и проектирования хранилища данных;
Основные принципы OLAP.
Назначение и область применения методов интеллектуального анализа данных;