- •Лекция 1 (db_l01.Ppt)
- •1.2. Компоненты банка данных
- •1.3. Цель, задачи и структура курса (Слайд 11)
- •Классификация бд. Фактографические и документальные бд.
- •2.2. Фактографические и документальные бд
- •2.3. Бд оперативной и ретроспективной информации. Хранилища данных
- •Лекция 3 (db_l03.Ppt)
- •3.2. Типология свойств и связей объекта
- •3.3. Многоуровневые модели предметной области
- •3.4. Идентификация объектов и записей
- •Лекция 4 (db_l04.Ppt) Теоретические основы фактографических бд. Реляционная алгебра и реляционное исчисление. Основные операции реляционной алгебры и реляционного исчисления при обработке данных
- •4.1. Основные понятия реляционной модели данных
- •4.2. Основы реляционной алгебры
- •4.3. Реляционное исчисление
- •5.1. Документальные информационные системы, основанные на концепции бд
- •5.2. Теоретико-множественная модель индексирования и поиска (слайд 4)
- •5.3. Линейное описание информационных массивов (слайд 5)
- •5.5. Критерий смыслового соответствия (ксс)
- •5.6. Логическая структура документальной аипс.
- •5.7. Документо-ориентированная база данных Lotus Domino/Notes
- •5.8. Модель полнотекстовых документов
- •Лекция 7 (db_l07)
- •7.2. Типология моделей
- •7.3. Этапы проектирования и объекты моделирования
- •7.4. Подходы к проектированию базы данных
- •7.5. Инфологические модели (системный анализ) предметной области
- •7.6. Даталогические модели
- •7.7. Физические модели
- •7.8. Средства автоматизации проектирования
- •Лекция 8 (db_l08) Инфологическое (концептуальное) моделирование предметной области (ПрО). Анализ предметной области. Синтез концептуальной модели предметной области.
- •8.1. Инфологическое проектирование и семантическая модель
- •8.2. Анализ ПрО - Определение информационных потребностей пользователей
- •8.3. Критерии оценки модели
- •Лекция 9 (db_l09) Модель «сущность-связь». Основные понятия: Сущность, Свойства, Связи. Представление сущностей, свойств, связей
- •9.1. Модель «Сущность-Связь»
- •9.2. Er- диаграмма
- •Лекция 10 (db_l10.Ppt). Методы и языки моделирования. Структурный подход и методика idef. Диаграммы потоков данных Объектно-ориентированная методология. Язык uml
- •10.1. Структурная методология
- •10.1.1. Функциональная модель idef0
- •10.1.2. Метод моделирования idef3
- •10.1.3. Диаграммы потоков данных (Data Flow Diagrams - dfd)
- •10.2. Объектно-ориентированная методология
- •10.2.1. Язык uml
- •10.2.2. Диаграммы uml
- •Лекция 11 (db_l11.Ppt). Даталогические модели (логические модели данных). Иерархические, сетевые, реляционные модели данных. Принципы построения. Преимущества и недостатки.
- •Итак, модель данных – модель логического уровня проектирования бд. Ее можно рассматривать как сочетание трех компонентов (слайд 2):
- •11.3. Сетевая модель данных
- •11.4. Иерархическая модель данных
- •11.5. Преимущества и недостатки моделей (слайд 13)
- •11.6. Документальные системы и интеграция моделей.
- •Лекция 12 (db_l12.Ppt).
- •12.1.2. Управляющий компонент реляционной модели
- •12.1.3. Целостность данных (слайд 5)
- •12.1.4. Правила Кодда
- •12.2. Нормализация.
- •12.2.1. Функциональные зависимости
- •12.2.2. Нормальные формы
- •12.3. Процедура нормализации (слайд 14)
- •12.4. Получение реляционной схемы из er-диаграммы (слайд 17)
- •Лекция 13 (db_l13.Ppt). Восходящее проектирование и нисходящее проектирование. Пример проектирования реляционной бд
- •13.1. Постановка задачи
- •13.2. Нисходящее проектирование
- •13.2.1. Построение инфологической модели
- •13.2.2. Построение реляционной схемы
- •13.2.3. Нормализация таблиц
- •13.2.4. Физическая модель
- •Лекция 14 (db_l14.Ppt).
- •14.1.2. Демонстрация постреляционной модели данных на примере задачи «Сессия»
- •14.1.3. Обзор распространенных постреляционных субд
- •UniVerse
- •Postgres (слайд 5)
- •14.1.4. Достоинства и недостатки постреляционной модели данных (слайд 6)
- •14.2. Объектно-ориентированная модель данных
- •14.2.1. Основы объектно-ориентированного подхода
- •14.2.2. Объектно-ориентированный подход в сфере баз данных
- •14.2.3. Пример структуры оо базы данных
- •14.2.4. Обзор распространенных оо субд (слайд 13)
- •14.2.5. Достоинства и недостатки объектно-ориентированной модели данных
- •14.3. Технологии интеграции распределенных данных на основе xml
- •14.3.1. Технологии xml (слайд 15)
- •14.3.2. Основы xml
- •3) Элементы xml должны быть правильно вложены друг в друга
- •4) Xml-документы должны иметь единственный корневой элемент
- •5) Значения атрибутов всегда должны быть заключены в кавычки
- •14.3.3. Xml и реляционная модель данных
- •14.3.4. Представление связей с помощью xml
- •Лекция 15 (db_l15.Ppt). Управление реляционными базами данных. Языки определения данных и языки манипулирования данными. Способы выражения запросов: процедурный и форм-ориентированный. .
- •15.1. Язык определения данных — ddl (слайд 3)
- •15.2. Язык управления данными — dml
- •15.2.1. Процедурные языки dml
- •15.2.2. Непроцедурные языки dml
- •15.3. Языки 4gl
- •15.3.1. Генераторы форм
- •15.3.2. Генераторы отчетов
- •15.3.3. Генераторы графического представления данных
- •15.3.4. Генераторы приложений
- •15.4. Sql
- •15.5. Использование средств qbe для создания запросов на выборку данных
- •Лекция 16 (db_l16.Ppt). Основы sql. Описание отношений, доменов, ограничений целостности, представлений данных. Реализация операций реляционной алгебры в sql.
- •16.1.1. Инструкции и имена
- •16.1.2. Типы данных
- •16.1.3. Встроенные функции
- •16.1.4. Значения null
- •16.2. Ограничения целостности
- •16.2.2. Внешний ключ таблицы
- •16.2.3. Определение уникального столбца
- •16.2.4. Определение проверочных ограничений
- •16.2.5. Определение значения по умолчанию
- •16.3. Реализация операций реляционной алгебры в sql (слайд 11)
- •Лекция 17 (db_l17.Ppt). Построение баз данных с помощью sql. Манипулирование данными в sql
- •17.1. Построение баз данных с помощью sql
- •17.1.1. Команда создания таблицы – create table
- •17.1.2. Изменение структуры таблицы – команда alter table
- •17.1.3. Удаление таблиц – команда drop table
- •17.2. Управление данными
- •17.2.1. Извлечение данных – команда select
- •Лекция 18 (db_l18.Ppt).
- •18.1.2. Ключевое слово inner
- •18.1.3. Ключевое слово left [outer]
- •18.2. Раздел group by
- •18.3. Раздел compute
- •18.4. Раздел into. Использование команды select...Into
- •18.5. Добавление данных – команда insert
- •18.5.1. Вставка одной строки
- •18.5.2. Вставка результата запроса
- •18.6. Изменение данных – команда update
- •18.7. Удаление данных – команда delete
- •19.1. Организация данных на машинных носителях
- •19.1.2. Организация файлов - способ размещения записей
- •19.1.3. Способы адресации и методы доступа к записям
- •19.2. Схемы организации данных на внешних носителях
- •19.3. Методы включения записей, основанные на резервировании
- •19.4. Физическое представление иерархических структур
- •19.5. Физическое представление сетевых структур
- •19.6. Физическое представление с разделением данных и связей
- •19.7. Архитектура файловой организации баз данных (слайд 18)
- •19.7.1. Файл-ориентированная организация данных
- •19.7.2. Страничная организация данных
- •19.7.3. Модели распределения данных по физическим носителям
- •Время чтения
- •Лекция 20 (db_l20.Ppt). Примеры моделей хранения и организации доступа к бд (dBase, ms sql Server, Oracle)
- •20.1. Физическая структура данных в dBase
- •20.1.1. Структура основного файла базы данных (типа .Dbf)
- •20.1.2. Структура memo-файла (тип .Fpt)
- •20.1.3. Структура индексного файла (тип .Idx)
- •20.2. Физическая структура данных в ms sql Server
- •20.2.1. Страницы размещения (слайд 12)
- •20.2.2. Карты распределения экстентов
- •20.2.3. Карты свободного пространства
- •20.2.4. Карты размещения
- •20.2.5. Страницы данных (слайд 13)
- •20.2.6. Строки данных
- •20.2.7. Текстовые страницы
- •20.2.8. Индексы (слайд 14)
- •20.3. Организация и оптимизация доступа к данным
- •20.4. Физическая структура данных в субд Oracle
- •20.4.1. Сегменты
- •20.4.2. Экстенты
- •20.4.3. Блоки данных
- •20.4.4. Типы индексов (слайд 17)
- •20.4.5. Кластеры
- •Лекция 21 (db_l21.Ppt). Логическая и физическая схема организации пространства в документальных бд. Примеры моделей хранения и организации доступа.
- •21.1. Модель организации данных системы поиска документов stairs
- •21.2. Логическая и физическая структура бд ипс irbis
- •Лекция 22 (db_l22.Ppt).
- •22.2. Архитектура распределенной обработки данных
- •22.2.1. Архитектура «файл-сервер» (слайд 6)
- •20.2.2. Архитектура «выделенный сервер базы данных» (слайд 8)
- •22.2.3. Архитектура «активный сервер баз данных» (слайд 10)
- •22.2.4. Архитектура «сервер приложений» (слайд 12)
- •Лекция 23 (db_l23.Ppt). Схемы распределения данных и запросов. Обработка распределенных данных и запросов. Многопотоковые и многосерверные архитектуры. Типы параллелелизма при обработке запросов.
- •23.1. Архитектура сервера баз данных
- •23.1.1. Архитектура «один к одному» (слайд 3)
- •23.1.2. Многопотоковая односерверная архитектура (слайд 4)
- •23.1.3. Мультисерверная архитектура (слайд 5)
- •23.1.4. Серверные архитектуры с параллельной обработкой запроса
- •23.2. Технологии и средства доступа к удаленным бд
- •23.2.1. Программное обеспечение распределенных приложений
- •23.2.2. Доступ к базам данных в двухзвенных моделях «клиент-сервер»
- •23.3. Технологии межмодульного взаимодействия
- •23.3.1. Спецификация вызова удаленных процедур
- •23.3.2. Мониторы обработки транзакций (слайд 12)
- •23.3.3. Корпоративные серверы приложений (слайд 13)
- •Лекция 24 (db_l24.Ppt). Многомерная и реляционная модель хранилища. Кубы фактов. Схемы «звезда», «снежинка».
- •24.1. Многомерные схемы данных
- •24.2. Запросы к многомерным данным (слайд 12)
- •Лекция 25 (db_l25.Ppt).
- •Транзакции. Понятие целостности базы данных. Условия целостности.
- •Обработка транзакций. Свойства транзакций. Модель ansi/iso.
- •Назначение и использование журнала транзакций. Откат и восстановление.
- •25.1. Модели транзакций
- •Автоматическое выполнение транзакций
- •Управляемое выполнение транзакций
- •25.2. Журнал транзакций (слайд 8)
- •Лекция 26 (db_l26.Ppt). Параллельное выполнение транзакций. Типы конфликтов. Захваты и блокировки.
- •26.1. Параллельное выполнение транзакций
- •Пропавшие обновления
- •Чтение несогласованных данных (слайд 5)
- •26.2. Сериализация транзакций (слайд 7)
- •26.3. Захват и освобождение объекта
- •27.1. Планирование бд
- •27.2. Управление доступом (слайд 6)
- •27.2.1. Тип подключения к sql Server
- •27.2.2. Пользователи базы данных
- •Права доступа (слайд 8)
- •27.2.3. Роли
- •27.3. Управление обработкой.
- •27.3.1. Представления (слайд 11)
- •27.3.2. Хранимые процедуры (слайд 11)
- •27.4. Управление транзакциями
- •27.5. Резервное копирование и восстановление (слайд 14)
- •Лекция 28 (db_l28.Ppt). Средства создания и управления базами данных на примере субд ms sql Server
- •28.1. Создание бд «Сессия»
- •28.2. Резервное копирование базы данных
- •28.3. Восстановление базы данных
- •Лекция 30 (db_l30.Ppt). Средства и технологии разработки приложений баз данных. Компоненты управления доступом к бд (на примере Delphi)
- •30.1. Средства и технологии разработки приложений баз данных
- •30.2. Набор данных
- •30.3. Разработка приложений доступа к внешним источникам данных
- •Лекция 31 (db_l31.Ppt). Доступ к записям, изменение данных, поиск, фильтрация. Параметризованные запросы. Визуальные компоненты для отображения данных из бд
- •31.1. Доступ к записям
- •31.2. Поиск, фильтрация записей
- •31.3. Изменение данных
- •Параметризованные запросы (слайд 8)
- •Визуальные компоненты для отображения данных из базы данных
- •Лекция 32 (db_l32.Ppt). Настройка драйверов и системной информации. Создание таблиц. Работа с запросами. Примеры
- •32.1. Настройка драйверов и системной информации
- •32.2. Создание таблиц
- •32.3. Работа с запросами
Лекция 24 (db_l24.Ppt). Многомерная и реляционная модель хранилища. Кубы фактов. Схемы «звезда», «снежинка».
На сегодняшний день термин OLAP (Online Analytical Processing) используется для обозначения автоматизированных технологий сложного (многомерного) анализа данных (слайд 2). Чаще всего они применятся в крупных коммерческих компаниях для анализа бизнес-информации (продажи, маркетинг и т.п.) и составления так называемых бизнес-отчетов. Основной задачей OLAP-технологий является анализ динамики переменных (показателей) одновременно по нескольким измерениям. Неформальный анализ такой динамики помогает выявить скрытые закономерности, тренды.
Совместно с термином OLAP часто используется другой термин – data mining (извлечение данных, интеллектуальный анализ данных). Он используется для обозначения автоматизированных технологий выявления скрытых закономерностей между переменными (обычно на основе большого массива данных). Если OLAP-технологии представляют собой инструмент для неформальной обработки данных, то data mining напротив ориентирован на формализацию анализа данных. В его основе лежат статистические и другие методы (в том числе методы машинного обучения). Типовыми задачами data mining являются: классификация, кластеризация, регрессия, ассоциация, прогнозирование, анализ отклонений.
24.1. Многомерные схемы данных
В основе OLAP лежат понятия факта, параметра, измерения (слайд 3). Под фактом понимаются:
факты, связанные с транзакциями (например, выставление оценки студенту преподавателем при приеме экзамена);
общие фактографические данные – «мгновенные снимки» (например, результаты сессии);
частные фактографические данные (например, домашний адрес преподавателя);
события или состояния объекта (например, успешная сдача сессии студентом).
Под параметром понимается значение факта (обычно, числовое или иное формальное). Например, отличная оценка для факта транзакции или средний балл за сессию для студента. Под измерением понимается: шкала, по которой выстраиваются факты (например, шкала оценок за экзамены или шкала семестров). Измерения могут образовывать иерархии. Это используется при выполнении таких операций, как drill-down и roll-up (подробнее об этом – ниже).
На основе таких данных строится специальная многомерная структура данных, именуемая OLAP-кубом. На слайде 4 приведен пример такого OLAP-куба для задачи «Сессия». Он позволяет узнать: оценки студента по дисциплинам, средний балл студента по дисциплине (в семестре), средний балл студентов в семестре (по всем дисциплинам) и так далее. Можно ввести такие иерархии измерений (см. Error: Reference source not found), как: курс – семестры, вид дисциплины (технические, гуманитарные и т.п.) – названия дисциплин, учебная группа – студенты (этой группы).
При этом одной из наиболее сложных проблем является организация (представления) данных для анализа таким образом (в таком виде), чтобы оптимизировать сам процесс анализа (составление и обработку запросов к данным). Хранение данных реализуется одним из трех способов (слайд5):
реляционным (Relational OLAP – ROLAP);
многомерным (Multidimensional OLAP – MOLAP);
гибридным (Hybrid OLAP – HOLAP).
В первом случае (ROLAP - слайд 6) исходные данные и их многомерное представление хранятся в реляционной базе данных. При этом необходимо специальным образом спроектировать (перепроектировать) структуру базы данных. Обработке запроса предшествует подготовка данных. Она может проводиться в оперативном или в «регулярном» режиме. В оперативном режиме (R-ROLAP – Real-time ROLAP - слайд 7) перед обработкой запроса делается «снимок» реляционной базы данных. Затем данные структурируются и представляются в виде, удобном для обработки запросов (создается OLAP-куб). В «регулярном» режиме новые данные (а также изменения), сразу копируются и в специальную структуру. Этот подход считается масштабируемым решением. Его недостатком является сложность проектирования структуры, а также сложность и невысокая эффективность запросов на языке SQL.
Во втором случае (MOLAP – слайд 8) данные и их многомерное представление хранятся в специальной многомерной базе данных в оптимизированном многомерном формате (так называемая схема-снежинка). Этот подход хорошо работает в условиях небольшого набора данных. Его недостатком является дороговизна решения и возможная неэффективность выполнения «обычных» запросов к базе данных (в рамках повседневного функционирования предприятия).
Третий случай (HOLAP – слайд 9) предполагает хранение данных в реляционной базе данных, а их многомерное представление – в специальной многомерной базе данных. Этот подход занимает промежуточное положение между двумя предыдущими. В настоящее время он получил широкое распространение. Он не требует специального изменения структуры исходной базы данных. Его недостатком является необходимость поддержки обеих баз в синхронном состоянии.
В OLAP-системах на основе реляционной модели данных (ROLAP) чаще всего используются две схемы: «звезда» и «снежинка». Они отличаются способами поддержки иерархии измерений.
Схема «звезда» (слайд 10) предполагает создание отдельной таблицы для каждого измерения. Она обладает некоторой избыточностью данных, но ее структура достаточно прозрачна.
Схема «снежинка» (слайд 11) – отдельной таблицы для каждого уровня измерения. Ее структура более сложная, но практически не обладает излишней избыточностью.
Выбор схемы зависит от задач анализа. Очевидно, что во всех случаях за оперативность обработки данных приходится расплачиваться объемами самой базы данных. Кроме того, проблема заключается в обеспечении полноты и непротиворечивости самих исходных данных (OLAP-технологии особенно к ним чувствительны).