40. Постреляционные базы данных.

Постреляционная модель данных представляет собой расширенную реляционную модель, в которой отменено требование атомарности атрибутов. Поэтому постреляционную модель называют "не первой нормальной формой" или "многомерной базой данных". Она использует трехмерные структуры, позволяя хранить в полях таблицы другие таблицы. Тем самым расширяются возможности по описанию сложных объектов реального мира. В качестве языка запросов используется несколько расширенный SQL, позволяющий извлекать сложные объекты из одной таблицы без операций соединения.

Поскольку постреляционная модель допускает хранение в таблицах ненормализованных данных, возникает проблема обеспечения целостности и непротиворечивости данных. Эта проблема решается включением в СУБД соответствующих механизмов.

Достоинством постреляционной модели является возможность представления совокупности связанных реляционных таблиц одной постреляционной таблицей. Это обеспечивает высокую наглядность представления информации и повышение эффективности ее обработки.

Недостатком постреляционной модели является сложность решения проблемы обеспечения целостности и непротиворечивости хранимых данных.

Рассмотренная постреляционная модель данных поддерживается СУБД uniVers. К числу других СУБД, основанных на постреляционной модели данных, относятся также системы Bubba и Dasdb.

OLAP - системы аналитической обработки, также известны как системы поддержки принятия решения (Decision Support System, DSS), ориентированы на предоставлении пользователям мощных механизмов для быстрого и многостороннего анализа данных. В современных условиях корпорациям нужно быстро получить информацию о наиболее перспективных направления торговли или направления производства, которая обеспечит максимальную отдачу от вложенных средств.

OLTP - системы оперативной обработки транзакций, характеризуются большим количеством изменений, одновременным обращением множества пользователей к одним и тем же данным для выполнения разнообразных операций - чтения,  записи, удаления или  модификации данных. Для нормальной работы множества пользователей применяются блокировки и транзакции. Эффективная обработка транзакций и поддержка блокировок входят в число важнейших требований к системам оперативной обработки транзакций.

Типичным примером транзакционной системы является система ведения счетов в банках.

Для решения вышеописанных задач используются различные методы и алгоритмы Data Mining. Data Mining – это процесс обнаружения в "сырых" данных ранее неизвестных нетривиальных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Ввиду того, что Data Mining развивалась и развивается на стыке таких дисциплин, как статистика, теория информации, машинное обучение, теория баз данных, вполне закономерно, что большинство алгоритмов и методов Data Mining были разработаны на основе различных методов из этих дисциплин. Например, процедура кластеризации k-means была просто заимствована из статистики. Большую популярность получили следующие методы Data Mining: нейронные сети, деревья решений, алгоритмы кластеризации, в том числе и масштабируемые, алгоритмы обнаружения ассоциативных связей между событиями и т.д

Классификация – это отнесение объектов (наблюдений, событий) к одному из заранее известных классов.

Регрессия, в том числе задачи прогнозирования. Установление зависимости непрерывных выходных от входных переменных.

Кластеризация – это группировка объектов (наблюдений, событий) на основе данных (свойств), описывающих сущность этих объектов. Объекты внутри кластера должны быть "похожими" друг на друга и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация.

Ассоциация – выявление закономерностей между связанными событиями. Примером такой закономерности служит правило, указывающее, что из события X следует событие Y. Такие правила называются ассоциативными. Впервые эта задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis).

Последовательные шаблоны – установление закономерностей между связанными во времени событиями, т.е. обнаружение зависимости, что если произойдет событие X, то спустя заданное время произойдет событие Y.

Анализ отклонений – выявление наиболее нехарактерных шаблонов.

Транзакции (transaction) - операции над данными в БД, которые либо выполняются, либо отменяются ВСЕ. Такой подход очень удобен в случае различных сбоев системы. Для возможности отмены транзакции используют журнал изменений.

Пример: перевод денег с одной банковской карточки на другую. Пусть необходимо перевести 100 рублей со счёта Васи на счёт Ирины.

Начать транзакцию

1. Прочесть баланс на счету Васи.

2. Уменьшить баланс на 100 рублей.

3. Сохранить новый баланс на счету Васи.

4. Прочесть баланс на счету Ирины.

5. Увеличить баланс на 100 рублей.

6. Сохранить новый баланс на счету Ирины.

Закончить транзакцию

Транзакции обладают четырьмя важными свойствами: Атомарность. Выполняется ВСЁ или НИЧЕГО.

Согласованность. Транзакции переводят одно согласованное состояние БД в другое.

Изоляция. Транзакции отделены друг от друга. Это означает что при запуске множества конкурирующих друг с другом транзакций, любое обнвление определенной транзакции будет скрыто от остальных, пока эта транзакция не будет выполнится.

Долговечность. Когда транзакция выполнена, её обновления сохраняются, даже если в следующий момент произойдёт сбой системы.

Грубо говоря, транзакция представляет собой БЛОК операторов, которые работают как единый оператор.