В Хранилище данных могут производиться следующие операции с данными:
Загрузка данных – это помещение данных в хранилище, производится путем добавления новых фактов или корректировкой существующих.
Извлечение данных – это перемещение информации от источников данных в отдельную Базу данных, приведение источников данных к единому формату.
Преобразование данных – это подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
Анализ данных – OLAP, Data Mining, сводные отчёты.
Витрины данных. Назначение Витрины данных.
Витрина данных (data mart) – это специализированное хранилище данных, содержащее данные по одному из направлений деятельности предприятия. Витрины данных - это комплекс тематически связанных баз данных, относящихся к конкретным аспектам деятельности компании. В этом случае аналитики видят и работают не со всеми имеющимися в компании данными, а только с реально необходимыми данными. Это максимально приближает их к конечному пользователю.
Витрина данных представляет собой срез хранилища данных, представляющий собой массив тематической, узконаправленной информации, ориентированный на пользователей одной конкретной рабочей группы. Часто витрины еще называют киосками данных.
В большинстве случае Витрина данных - это аналитическая структура, которая обычно поддерживает область работы одного приложения, бизнес-процесса или отдела. Сотрудники отдела обобщают требования к информации и приспосабливают каждую витрину к своим нуждам. Затем они обеспечивают персонал, работающий с информацией, средствами интерактивной отчетности (например, инструментами OLAP, средствами формирования незапланированных запросов или параметризованных отчетов).
Достоинства Витрин данных:
Витрина данных максимально приближена к пользователю - аналитики работают только с теми данными, которые им необходимы для принятия решения.
Витрины Данных значительно меньше по размеру, чем Хранилища данных.
Создавать Витрины данных просто, наполнять их и работать с ними также просто.
Витрины Данных содержат агрегированные данные по определенным темам, что упрощает их проектирование.
Недостатки Витрин данных:
сложно контролировать избыточность, целостность и непротиворечивость данных в витрине данных, т.к. одни и те же данные могут храниться сразу в нескольких витринах.
сложно работать с витриной, если для наполнения витрины используется очень большое количество источников данных.
информация накапливается в различных витринах, но дальнейшее объединение информации (т.е. ее консолидация) не предусматривается.
каждая витрина содержит информацию о конкретном аспекте деятельности компании, что не дает возможность руководству компании увидеть как работает его бизнес в целом.
Разница в хранении данных в Базах Данных и Хранилищах данных.
OLAP. Цели, задачи. Основные функции. Достоинства.
OLAP (OnLine Analytical Processing) – это оперативная аналитическая обработка больших объемов данных в режиме реального времени. Цель OLAP-систем – облегчение решения задач анализа больших объемов данных и быстрая обработка сложных запросов к базе данных. Задача аналитика - находить закономерности в больших массивах данных. Аналитик не будет обращать внимания на отдельно взятый факт, ему нужна информация о нескольких десятках подобных событий.
OLAP – это:
не программный продукт
не язык программирования
не технология
OLAP – это совокупность концепций, принципов и требований, облегчающих аналитикам доступ к данным. Это инструмент для многомерного динамического анализа больших объемов данных в режиме реального времени.
С внедрением OLAP производительность и эффективность управления предприятием значительно возрастает. Главным лицом в процессе анализа данных является эксперт – специалист в предметной области. Эксперт выдвигает гипотезы (предположения) и для их анализа либо просматривает некие выборки различными способами, либо строит модели для проверки достоверности гипотез.
Аналитические средства позволяют конечному пользователю, не имеющему специальных знаний в области ИТ, работать с большими объемами данных. Цель аналитических бизнес-систем: поддержка принятия решений на всех уровнях управления предприятием.
Аналитические системы оперативного уровня обеспечивают управление предприятием в "режиме функционирования", т.е. выполнения определенной производственной программы. Аналитические системы стратегического уровня помогают руководству предприятия вырабатывать решения в "режиме развития". Системы стратегического управления – это аналитические ИС, поддерживающие решение ключевых задач стратегического управления компанией.
Технологии добычи данных Data Mining.
Data Mining – это технология анализа информации с целью нахождения в уже накопленных предприятием данных ранее неизвестных, но практически полезных знаний, необходимых для принятия решений в различных областях человеческой деятельности.
Это процесс нахождения скрытых закономерностей в существующих данных.
Знания должны описывать новые связи между свойствами, предсказывать значения одних признаков на основе других.
Интеллектуальный анализ данных или «добыча данных» (Data Mining) позволяет проводить глубокие исследования данных, включающие:
выявление скрытых зависимостей между данными
выявление устойчивых бизнес-групп
прогнозирование поведения бизнес-показателей
оценку влияния решений на бизнес компании
поиск аномалий и пр.
Типы закономерностей, которые позволяют выявлять методы Data Mining
Выделяют пять стандартных типов закономерностей, которые позволяют выявлять методы Data Mining: ассоциация, последовательность, классификация, кластеризация и прогнозирование
Аналитические системы оперативного и стратегического уровня управления.
Уровни знаний, извлекаемых из данных.
Поверхностный
Скрытый (OLAP)
Неглубокий (Data mining)