- •Основы современных баз данных
- •1.1. Файловые системы
- •1.1.1. Структуры файлов
- •1.1.2. Именование файлов
- •1.1.3. Защита файлов
- •1.1.4. Режим многопользовательского доступа
- •1.2. Области применения файлов
- •1.3. Потребности информационных систем
- •2.1. Основные функции субд
- •2.1.1. Непосредственное управление данными во внешней памяти
- •2.1.2. Управление буферами оперативной памяти
- •2.1.3. Управление транзакциями
- •2.1.4. Журнализация
- •2.1.5. Поддержка языков бд
- •2.2. Типовая организация современной субд
- •2.3. Пример: System r
- •3.1. Основные особенности систем, основанных на инвертированных списках
- •3.1.1. Структуры данных
- •3.1.2. Манипулирование данными
- •3.1.3. Ограничения целостности
- •3.2. Иерархические системы
- •3.2.1. Иерархические структуры данных
- •3.2.2. Манипулирование данными
- •3.2.3. Ограничения целостности
- •3.3. Сетевые системы
- •3.3.1. Сетевые структуры данных
- •3.3.2. Манипулирование данными
- •3.3.3. Ограничения целостности
- •3.4. Достоинства и недостатки
- •4.1. Базовые понятия реляционных баз данных
- •4.1.1. Тип данных
- •4.1.2. Домен
- •4.1.3. Схема отношения, схема базы данных
- •4.1.4. Кортеж, отношение
- •4.2. Фундаментальные свойства отношений
- •4.2.1. Отсутствие кортежей-дубликатов
- •4.2.2. Отсутствие упорядоченности кортежей
- •4.2.3. Отсутствие упорядоченности атрибутов
- •4.2.4. Атомарность значений атрибутов
- •4.3. Реляционная модель данных
- •4.3.1. Общая характеристика
- •4.3.2. Целостность сущности и ссылок
- •5.1. Реляционная алгебра
- •5.1.1. Общая интерпретация реляционных операций
- •5.1.2. Замкнутость реляционной алгебры и операция переименования
- •5.1.3. Особенности теоретико-множественных операций реляционной алгебры
- •5.1.4. Специальные реляционные операции
- •5.2. Реляционное исчисление
- •5.2.1. Кортежные переменные и правильно построенные формулы
- •5.2.2. Целевые списки и выражения реляционного исчисления
- •5.2.3. Реляционное исчисление доменов
- •6.1. Проектирование реляционных баз данных с использованием нормализации
- •6.1.1. Вторая нормальная форма
- •6.1.2. Третья нормальная форма
- •6.1.3. Нормальная форма Бойса-Кодда
- •6.1.4. Четвертая нормальная форма
- •6.1.5. Пятая нормальная форма
- •6.2. Семантическое моделирование данных, er-диаграммы
- •6.2.1. Семантические модели данных
- •6.2.2. Основные понятия модели Entity-Relationship (Сущность-Связи)
- •6.2.3. Нормальные формы er-схем
- •6.2.4. Более сложные элементы er-модели
- •6.2.5. Получение реляционной схемы из er-схемы
- •7.1. Используемая терминология
- •7.2. Основные цели System r и их связь с архитектурой системы
- •7.3. Организация внешней памяти в базах данных System r
- •7.4. Интерфейс rss
- •7.5. Синхронизация в System r
- •7.6. Журнализация и восстановление в System r
- •8.1. История субд Ingres
- •8.2. Ingres как unix-ориентированная субд. Динамическая структура системы: набор процессов
- •8.3. Структуры данных, методы доступа, интерфейсы доступа к данным
- •8.4. Общая характеристика языка quel. Язык программирования equel
- •8.5. Общий подход к организации представлений, ограничениям целостности и контролю доступа
- •9.1. Хранение отношений
- •9.2. Индексы
- •9.2.1. B-деревья
- •9.2.2. Хэширование
- •9.3. Журнальная информация
- •9.4. Служебная информация
- •10.1. Транзакции и целостность баз данных
- •10.2. Изолированность пользователей
- •10.3. Сериализация транзакций
- •11.1. Синхронизационные захваты
- •11.1.1. Гранулированные синхронизационные захваты
- •11.1.2. Предикатные синхронизационные захваты
- •11.1.3. Тупики, распознавание и разрушение
- •11.2. Метод временных меток
- •12.1. Журнализация и буферизация
- •12.2. Индивидуальный откат транзакции
- •12.3. Восстановление после мягкого сбоя
- •12.4. Физическая согласованность базы данных
- •12.5. Восстановление после жесткого сбоя
- •13.1. Sequel/sql субд System r
- •13.1.1. Запросы и операторы манипулирования данными
- •13.1.2. Операторы определения и манипулирования схемой бд
- •13.1.3. Определения ограничений целостности и триггеров
- •13.1.4. Представления базы данных
- •13.1.5. Определение управляющих структур
- •13.1.6. Авторизация доступа к отношениям и их полям
- •13.1.7. Точки сохранения и откаты транзакции
- •13.1.8. Встроенный sql
- •13.1.9. Динамический sql
- •13.2. Язык sql в коммерческих реализациях
- •13.3. Стандартизация sql
- •14.1. Типы данных
- •14.2. Средства определения схемы
- •14.2.1. Оператор определения схемы
- •14.2.2. Определение таблицы
- •14.2.3. Определение столбца
- •14.2.4. Определение ограничений целостности таблицы
- •14.2.5. Определение представлений
- •14.2.6. Определение привилегий
- •15.1. Структура запросов
- •15.1.1. Спецификация курсора
- •15.1.2. Оператор выборки
- •15.1.3. Подзапрос
- •15.2. Табличное выражение
- •15.2.1. Раздел from
- •15.2.2. Раздел where
- •15.2.3. Раздел group by
- •15.2.4. Раздел having
- •15.3. Агрегатные функции и результаты запросов
- •15.3.1. Семантика агрегатных функций
- •15.3.2. Результаты запросов
- •16.1. Язык модулей или встроенный sql?
- •16.2. Язык модулей
- •16.2.1. Определение процедуры
- •16.3. Встроенный sql
- •16.4. Набор операторов манипулирования данными
- •16.4.1. Операторы, связанные с курсором
- •16.4.2. Одиночные операторы манипулирования данными
- •16.5. Динамический sql в Oracle V.6
- •16.5.1. Оператор подготовки
- •16.5.2. Оператор получения описания подготовленного оператора
- •16.5.3. Оператор выполнения подготовленного оператора
- •16.5.4. Работа с динамическими операторами sql через курсоры
- •17.1. Оператор выделения памяти под дескриптор
- •17.2. Оператор освобождения памяти из-под дескриптора
- •17.3. Оператор получения информации из области дескриптора sql
- •17.4. Оператор установки дескриптора
- •17.5. Оператор подготовки
- •17.6. Оператор отказа от подготовленного оператора
- •17.7. Оператор запроса описания подготовленного оператора
- •17.8. Оператор выполнения подготовленного оператора
- •17.9. Оператор подготовки с немедленным выполнением
- •17.10. Оператор объявления курсора над динамически подготовленным оператором выборки
- •17.11. Оператор определения курсора над динамически подготовленным оператором выборки
- •17.12. Оператор открытия курсора, связанного с динамически подготовленным оператором выборки
- •17.18. Подготавливаемый оператор позиционной модификации
- •17.19. Сводка новых возможностей sql-3
- •17.19.1. Типы данных
- •17.19.2. Некоторые другие свойства sql-3
- •18.1. Общая схема обработки запроса
- •18.2. Синтаксическая оптимизация запросов
- •18.2.1. Простые логические преобразования запросов
- •18.2.2 Преобразования запросов с изменением порядка реляционных операций
- •18.2.3 Приведение запросов со вложенными подзапросами к запросам с соединениями
- •18.3. Семантическая оптимизация запросов
- •18.3.1. Преобразования запросов на основе семантической информации
- •18.3.2. Использование семантической информации при оптимизации запросов
- •18.4. Выбор и оценка альтернативных планов выполнения запросов
- •18.4.1. Генерация планов
- •18.4.2. Оценка стоимости плана запроса
- •18.4.3. Более точные оценки
- •19.1. Открытые системы
- •19.2. Клиенты и серверы локальных сетей
- •19.3. Системная архитектура "клиент-сервер"
- •19.4. Серверы баз данных
- •19.4.1. Принципы взаимодействия между клиентскими и серверными частями
- •19.4.2. Преимущества протоколов удаленного вызова процедур
- •19.4.3. Типичное разделение функций между клиентами и серверами
- •19.4.4. Требования к аппаратным возможностям и базовому программному обеспечению клиентов и серверов
- •20.1. Разновидности распределенных систем
- •20.2. Распределенная система управления базами данных System r*
- •20.2.1. Именование объектов и организация распределенного каталога
- •20.2.2. Распределенная компиляция запросов
- •20.2.3. Управление транзакциями и синхронизация
- •20.3. Интегрированные или федеративные системы и мультибазы данных
- •21.1. Ориентация на расширенную реляционную модель
- •21.2. Абстрактные типы данных
- •21.3. Генерация систем баз данных, ориентированных на приложения
- •21.4. Оптимизация запросов, управляемая правилами
- •21.5. Поддержка исторической информации и темпоральных запросов
- •22.1. Связь объектно-ориентированных субд с общими понятиями объектно-ориентированного подхода
- •22.2. Объектно-ориентированные модели данных
- •22.3. Языки программирования объектно-ориентированных баз данных
- •22.3.1. Потеря соответствия между языками программирования и языками запросов в реляционных субд
- •22.3.2. Языки программирования ообд как объектно-ориентированные языки с поддержкой стабильных (persistent) объектов
- •22.3.3. Примеры языков программирования ообд
- •22.4. Языки запросов объектно-ориентированных баз данных
- •22.4.1. Явная навигация как следствие преодоления потери соответствия
- •22.4.2. Ненавигационные языки запросов
- •22.4.3. Проблемы оптимизации запросов
- •22.5. Примеры объектно-ориентированных субд
- •22.5.1. Проект orion
- •22.5.2. Проект o2
- •23.1. Экстенсиональная и интенсиональная части базы данных
- •23.2. Активные базы данных
- •23.3. Дедуктивные базы данных
8.1. История субд Ingres
По своей значимости для развития и распространения реляционного подхода к управлению базами данных СУБД Ingres (Interactive Graphics and Retrieval System) находится близко к System R, хотя история и организация этой системы во многом отличается от System R. Для начала коротко рассмотрим историю Ingres.
Проект и экспериментальный вариант СУБД Ingres были разработаны в университете Беркли под руководством одного из наиболее известных в мире ученых и специалистов в области баз данных Майкла Стоунбрейкера (Michael Stonebraker). С самого начала СУБД Ingres разрабатывалась как мобильная система, функционирующая в среде ОС UNIX. Первая версия Ingres была рассчитана на 16-разрядные компьютеры и работала главным образом на машинах серии PDP. Это была первая СУБД, распространяемая бесплатно для использования в университетах. Впоследствии группа Стоунбрейкера перенесла Ingres в среду ОС UNIX BSD, которая также была разработана в университете Беркли. Семейство СУБД Ingres из университета Беркли принято называть "университетской Ingres".
В начале 80-х была образована компания RTI (Relational Technology Inc.) для доведения университетских прототипов до уровня коммерческих продуктов. С этого момента стали различать университетскую и коммерческую СУБД Ingres. В настоящее время коммерческая Ingres поддерживается, развивается и продается компанией Computer Associates. Сейчас это одна из развитых коммерческих реляционных СУБД.
Хотя во многих отношениях коммерческие варианты Ingres являются более развитыми, чем университетские, в учебных целях гораздо интереснее говорить про университетские разработки. Во-первых, как в случае любого коммерческого продукта, информация о внутренней организации коммерческой Ingres в основном носит закрытый характер. В то же время, по поводу университетской Ingres имеется много высококачественных публикаций. Во-вторых, университетскую Ingres можно опробовать на практике и даже посмотреть ее исходные тексты. Наконец, в-третьих, именно в университетской Ingres были опробованы многие оригинальные идеи, используемые в настоящее время во многих других системах. С использованием этой системы в университете Беркли (и других университетах) проводились многие учебные и исследовательские работы.
Поэтому в данной лекции мы будем рассматривать организацию университетской версии СУБД Ingres, которая тесно связана с особенностями языка QUEL (в такой же степени, в какой System R тесно связана с особенностями языка SQL). Далее, говоря о СУБД Ingres, мы будем в этой лекции иметь в виду университетскую Ingres.
8.2. Ingres как unix-ориентированная субд. Динамическая структура системы: набор процессов
СУБД Ingres проектировалась в расчете на использование в среде ОС UNIX. Эта система играла роль своего рода виртуальной машины. Ориентация на использование UNIX наложила существенный отпечаток на общую организацию Ingres, на статическую и динамическую структуру СУБД.
Прежде всего, все базы данных, обслуживаемые СУБД Ingres на данном UNIX-компьютере, хранятся в одном поддереве файловой системы. Каждой базе данных соответствует отдельный справочник, каждое отношение базы данных (включая служебные отношения) хранится в отдельном файле ОС UNIX. Защита программных компонентов системы от несанкционированного выполнения и баз данных от несанкционированного доступа основывается главным образом на общем механизме защиты файлов ОС UNIX. При установке СУБД Ingres автоматически заводится специальный "пользователь" ОС UNIX с именем Ingres, от имени которого работают все системные процессы Ingres, и только ему разрешается запускать эти системные процессы и обращаться к файлам баз данных. Более точное управление доступом берет на себя Ingres.
Существуют две возможности вызова Ingres - в интерактивном режиме командой языка Shell или из прикладной программы, написанной на языке EQUEL и преобразованной прекомпилятором языка EQUEL к программе на языке Си. В первом случае создается следующая структура процессов:
Во втором случае структура процессов выглядит следующим образом:
Процесс 1 - это интерактивный терминальный монитор, позволяющий пользователю формулировать, редактировать и выполнять наборы команд Ingres (операторов языка QUEL).
В процессе 2 выполняется лексический и синтаксический анализ операторов QUEL, модификация операторов с целью обеспечения целостности баз данных, контроля доступа, подстановки представлений, а также синхронизация параллельного доступа к базе данных.
Процесс 3 является ответственным за выполнение операторов выборки, занесения и удаления кортежей. В нем выполняется оптимизация запросов на основе техники декомпозиции сложных запросов. Кроме того, для операторов модификации кортежей производится предварительная выборка модифицируемых кортежей и подготовка их новых образов для реального выполнения модификации в процессе 4.
Наконец, в процессе 4 выполняются так называемые команды-утилиты - создания и уничтожения отношений, индексов и т.д., а также упомянутая отложенная модификация кортежей.
Процессы связаны программными каналами (pipes) ОС UNIX. Прямая информация при обработке операторов передается по каналам A, B и C. Результаты, включая сообщения об ошибках, передаются по обратным каналам D, E и F. Процессы работают строго синхронно: после посылки прямого сообщения каждый процесс дожидается получения ответного сообщения, а после посылки ответного сообщения - ждет получения очередного прямого.
Как видно, динамическая структура системы примерно одинакова в случаях интерактивного использования системы и в случае обращения к системе из прикладной программы. В последнем случае по естественным причинам отсутствует лишь процесс 1, осуществляющий функции терминального монитора.
Следует отметить, что на описанную структуру оказал большое влияние тот факт, что первый вариант Ingres реализовывался для 16-разрядных компьютеров, в которых размер виртуальной памяти процесса был весьма ограничен. Поскольку процессы системы функционировали синхронно, принципиальной выгоды от наличия нескольких процессов не было. Но подход к разбиению системы на несколько процессов позволил выработать разумную статическую структуризацию системы, в ряде компонентов которой не используются общие данные. Кроме того, с развитием системы стали использоваться и реальные возможности распараллеливания.