Параллельные вычислени в грид. Пакет g2.

Для выполнения параллельных вычислений на кластерах используется библиотека MPI. Пакет MPICH-G2 есть Грид ориентированная полная реали-

зация стандарта MPI-1, которая использует службы Globus Toolkit для прозрач-

ной работы в среде Грид.

MPICH-G2:

• позволяет программисту соединять компьютеров различной архитектуры;

• планирует распределение ресурсов;

• автоматически преобразовывает данные в сообщениях между компьютерами различной архитектуры;

• освобождает пользователя от работы по изучению специфики конкретных машин и позволяет пользователю запускать многопроцессорное приложе-

ние одной командой mpirun.

• Из всех возможных ресурсов выбирает только такие, которые могут работать с MPI.

• Выбранные ресурсы разнесены в пространстве, различаются по характеристикам (быстродействие процессоров, объем памяти, скорость передачи

данных по каналам связи и др.), поэтому времена выполнения локальных

вычислений могут оказаться разными. Следовательно, неоходимо устано-

вить факт окончания всех локальных работ и обменов данными, прежде

чем запускать следующие отрезки локальных вычислений. Это достигается

с помощью операторов синхронизации, например, MPI_Barrier.

• Оптимизирует выбор путей обмена данными с учетом их пропускной способности и последовательности обменов, чтобы сократить общее время

передачи данных. Каналы отличаются по пропускной способности: intramachine

messaging, short (LAN) and long (WAN). По этой стратегии

MPICH-G2 упорядочивает различные коммуникационные методы.

Порядок запуска проложения таков:

• Чтобы запустить MPICH-G2 приложение, пользователю нужно получить открытый ключ, который используется для аутентификации пользователя

на каждом удаленном сайте.

• Когда идентификация произведена, пользователь использует стандартную mpirun команду, чтобы запросить создание MPI вычислений. Реализация

mpirun использует скрипты RSL, которые пишут пользователи. В них

идентифицируются ресурсы (то есть компьютеры), описывают требования

(количество CPU, памяти, требуемого времени и т. д.) и параметры (раз-

мещение программ, аргументы командной строки, переменные среды и

т.д.) для каждого ресурса.

• На основе этой информации MPICH-G2 вызывает DUROC, чтобы спланировать и запустить приложение на различных компьютерах. DUROC реа-

лизует операцию размещения через множественные RM (ресурсные ме-

неджеры) в рамках Globus.

• Для каждого подвычисления DUROC генерирует GRAM запрос к удаленному GRAM серверу, который распознает пользователя, выполняет ло-

кальную авторизацию и затем взаимодействует с локальным планировщи-

ком, чтобы инициировать вычисления. DUROC и связанные с MPICH-G2

библиотеки связывают различные подвычисления в единое MPI вычисле-

ние.

DUROC и GRAM также взаимодействуют при мониторинге и выполнении приложения. Каждый GRAM сервер следит за жизненным циклом его вы-

числений на всех стадиях: задержка, выполнение, окончание.

Пакет gLite

gLite - европейский пакет middleware для Грид. Основное отличие пакета

gLite от GT4 состоит в том, что помимо инструментальных средств, в него

входит более широкий набор служб. gLite существенно опирается на опыт ряда

крупных европейских проектов и создается коллективно – в его разработке уча-

ствуют много исследовательских центров Европы. Все это проекты, включая

gLite, имеют много общего, поскольку в той или иной степени основаны на од-

ной базе – системе Globus Toolkit. gLite является основой проекта EGEE (Enabling Grids for E-SciencE – "Развёртывание гридов для е-науки").

Вопросы для самоконтроля.

1. Состав пакета GT4.

2. Параллельные вычисления в ГРИД. Пакет G2.

85