Метаданные

Слово «метаданные» буквально переводится как «данные о данных». Метаданные в широком смысле необходимы для описания значения и свойств информации с целью лучшего ее понимания, использования и управления ею.

Пример

В любой книге, помимо текста, содержится значительное количество дополнительной информации. Цель ее заключается в том, чтобы, во-первых, помочь читателю быстрее ознакомиться с содержимым книги и осмыслить его, во-вторых, описать структуру книги для более эффективного поиска нужной информации. Для решения первой задачи служат такие элементы, как аннотация, комментарии, глоссарий, примечания и т.д. Для поиска нужной информации используются оглавление, названия глав, параграфов и разделов, номера страниц, колонтитулы, предметный указатель и т.д. Кроме этого, читателю могут понадобиться сведения об авторах или об издательстве. Вся эта информация, которая не является частью книги, а служит для повышения эффективности работы с ней, и представляет собой метаданные.

С точки зрения IT-технологий метаданные — любая информация, необходимая для анализа, проектирования, построения, внедрения и применения компьютерной информационной системы. Одно из основных назначений метаданных — повышение эффективности поиска. Поисковые запросы, использующие метаданные, делают возможным выполнение сложных операций по фильтрации и отбору данных.

Если рассматривать понятие «метаданные» в контексте технологии ХД, то метаданные должны содержать описание структуры данных хранилища и структуры данных импортируемых источников. Метаданные хранятся отдельно от данных в репозитарии метаданных. Они содержат всю информацию, необходимую для извлечения, преобразования и загрузки данных из различных источников, а также для последующего использования и интерпретации данных, содержащихся в ХД.

Можно выделить два уровня метаданных — технический (административный) и бизнес-уровень.

Технический уровень содержит метаданные, необходимые для обеспечения функционирования хранилища (статистика загрузки данных и их использования, описание модели данных и т.д.).

Бизнес-метаданные описывают объекты предметной области, информация о которых содержится в ХД, — атрибуты объектов и их возможные значения, соответствующие поля в таблицах и т.д. Бизнес-метаданные образуют так называемый семантический слой. Пользователь оперирует близкими ему терминами предметной области: товар, клиент, продажи, покупки и т.д., а семантический слой транслирует бизнес-термины в низкоуровневые запросы к данным в хранилище.

Управление жизненным циклом информации

Изменение ценности информации с течением времени.

Например, в заказе на покупку ценность информации меняется с момента размещения заказа до истечения срока гарантии. В момент получения заказа на покупку и его обработки для доставки товара значимость информации максимальна. После выполнения заказа данные по заказу или клиенту перестают быть востребованными. Компания может перенаправить эти данные на более дешевое вспомогательное запоминающее устройств с более низким уровнем доступности, пока не возникнет обращение к гарантийным обязательствам и эти данные не потребуются вновь. По истечении срока гарантии можно переместить информацию о заказе в архив или удалить.

Управление жизненным циклом информации (Information Lifecycle Management - ILM)

Проблемы клиента

· • В настоящее время расходы на хранение составляют более 15% ИТ-бюджетов

· • Ежегодно объемы данных растут более чем на 50%

· • В большинстве случаев дисковые устройства хранения используются менее чем на 50%, 40% из них являются избыточными

· • В мире существуют более 20 тысяч нормативных актов, включающих требования к хранению данных

Многоуровневое хранение – подход к определению различных уровней хранения для снижения затрат на хранение. Каждый уровень имеет различные степени защиты, производительности, частоты доступа к данным и пр. Информация хранится и передается между уровнями, исходя из ее ценности с течением времени.

Процесс реализации ILM-стратегии состоит из 4 видов деятельности:

Легче всего классифицировать информацию на уровне приложений. Так, если предприятие ведет финансовый учет в системе SAP, то информация SAP-системы относится к важной или даже критической для бизнеса.

Для классов информации следует задать уровень обслуживания с точки зрения производительности (количество операций ввода/вывода в секунду IOPS), доступности (например, 99.999%, ежедневный backup, ежечасное создание «снимков» — snapshot), катастрофоустойчивости или специальных требований как WORM (WriteOnce Read Many – не стираемый архив).

Помимо уровня обслуживания указывается политика жизненного цикла информации. Подобную классификацию следует производить с участием заинтересованных пользователей-специалистов в предметной сфере, так как только они могут определить ценность информации для компании и требуемые уровни ее обслуживания.

С другой стороны, пользователи могут переоценить предъявляемые требования. В этом случае лучше провести статистический анализ с помощью инструментов класса Storage Resource Management (Управление ресурсами хранения). Например, сотрудники финансового департамента просят предоставить скорость доступа к финансовым отчетам за последний год не ниже 1 сек. реакции приложения, мотивируя необходимостью в частом использовании данных за текущий финансовый год, в то время как статистика их доступа показывает, что около 70% их доступа приходится на данные текущего квартала и лишь 20% доступа – на другие кварталы финансового года. В описанной ситуации лучше разделить данное требование на два класса информации в зависимости от даты последнего доступа.