Хранилище данных

В настоящее время проблема использования большого объема накопленных данных является ключевой во многих организациях. Много усилий и средств прилагается для регистрации различных видов деятельности организации и хранения этой информации, но при этом ее большая часть не может быть использована теми, кому она более всего нужна - аналитиками и руководителями. Чаще всего эта информация доступна лишь тем подразделениям, в которых она собирается. До недавнего времени схема использования накапливаемых данных была следующей:

"База данных -> Средство Анализа"

При применении этой схемы проблемы использования накапливаемых данных лежат в обеих областях. Концепция Хранилищ данных (ХД) предлагает изменить эту схему, добавив еще одно звено, в котором концентрируется решение части указанных проблем:

"База данных -> Объекты Хранилища данных <-> Средство Анализа"

Средства Создания и Развития

Создание и развитие Хранилища данных требует следующих компонент ПО:

• СУБД хранилища данных. СУБД хранилища данных должна быть ориентирована на особенности технологии ХД - работать с большими объемами данных, обеспечивать необходимую безопасность данных, позволять создавать очень сложные структуры данных (такие как многомерные базы данных), осуществлять быстрый многопользовательский доступ к данным.

• Средства управления структурой данных ХД. Для быстрой реализации логической структуры данных необходимо иметь удобное интерактивное средство управления структурой ХД. Качество этого средства определяет скорость разработки и развития ХД, поэтому является очень важным фактором. Средство используется не только разработчиками, но и конечными пользователями (аналитиками) для построения своих структур данных в Витринах данных и должно иметь удобный и понятный интерфейс.

• Средства задания источников данных. Служит для задания источников данных, загружаемых в Хранилище, определения связи между структурами ХД и источников, создания процедур трансформации, очистки, автоматического анализа, задания регламента загрузки.

• Средства построения витрин данных. Витрины данных служат важной частью технологии ХД, и с развитием ХД часто бывает необходимо переносить Витрины данных на другое техническое оборудование, поэтому средство должно иметь гибкий интерфейс работы с Витринами данных.

Следует отметить, что технология ХД хотя и помогает решать многие проблемы, само по себе не является панацеей от всех бед, а лишь улучшает уже давно используемый механизм, позволяя существенно увеличить объем и улучшить качество получаемых результатов. Поэтому не имеет смысла рассматривать концепцию ХД в отрыве от остальных компонент схемы

Кластерные технологии

Часто выделяют три технологии обеспечения параллельной работы: симметричные многопроцессорные системы (SMP - symmetrical multiprocessing), кластерные конфигурации и распределенные вычислительные системы (Grid). SMP требует поддержки как со стороны аппаратуры, так и со стороны операционной системы, а кластеры и Grid-среды больше зависят от организации сетевого взаимодействия.

С точки зрения ядра операционной системы поддержка кластеров и распределенных систем заключается в эффективной работе с сетью. С некоторым упрощением любую современную высокопроизводительную вычислительную систему можно представить как множество многопроцессорных вычислительных узлов, связанных одной или несколькими коммуникационными сетями. Важная общая характеристика таких систем - логическая организация оперативной памяти, с которой работают вычислительные узлы. Оперативная память может быть: разделяемой для всех узлов; распределенной - доступной только для процессоров своего узла; распределенной разделяемой - доступной для процессоров своего узла и из других узлов, но с применением специальных программно-аппаратных средств.

Важные преимущества кластеров - доступность технологий сборки и возможность экономически эффективного получения достаточно высокой производительности. Но насколько высока их производительность по отношению к тем системам, которые принято называть суперкомпьютерами? Сегодня наивысший уровень производительности суперкомпьютеров измеряется десятками терафлоп, достигаемых на многопроцессорных векторно-конвейерных системах (NEC Earth Simulator System на базе SX-6 и Cray XI), массово-параллельных системах, в том числе, и системах кластерного типа от HP, IBM, Intel и Cray. Кластерные системы с числом процессоров в несколько тысяч и производительностью около 1 TFLOPS можно со всем основанием считать суперкомпьютером. Кластерные системы с производительностью от нескольких десятков до нескольких сотен GFLOPS будем называть просто высокопроизводительными системами. Именно этот класс машин широко используется в современных высокотехнологичных отраслях промышленности, а также в социально-экономической сфере и представляет наибольший практический интерес.

================================================Облачные вычисления

Облачные вычисления (англ. cloud computing), в информатике — это модель обеспечения повсеместного и удобного сетевого доступа по требованию к общему пулу конфигурируемых вычислительных ресурсов (например сетям передачи данных, серверам, устройствам хранения данных, приложениям и сервисам — как вместе, так и по отдельности), которые могут быть оперативно предоставлены и освобождены с минимальными эксплуатационными затратами и/или обращениями к провайдеру.

Потребители облачных вычислений могут значительно уменьшить расходы на инфраструктуру информационных технологий (в краткосрочном и среднесрочном планах) и гибко реагировать на изменения вычислительных потребностей, используя свойства вычислительной эластичности (англ. Elastic computing) облачных услуг.

По оценке IDC рынок публичных облачных вычислений в 2009 году составил $17 млрд — около 5 % от всего рынка информационных технологий.