2.2. Блок схема алгоритма

Настройка среды окружения

Тест по топологии звезда

Расчёт и вывод

результатов

Вывод результатов

Тест полный граф

Тест кольцо

Глава 3. Разработка программного обеспечения

3.1 Описание и состав суперкомпьютера «эск-е»

В состав суперкомпьютера «ЭСК-Е» входят вычислительные модули, размещаемые в вычислительных стойках (8шт.) СК и блок управления, технические средства которого размещаются в стойках управления (2шт.).

Структура суперкомпьютера «ЭСК-Е» представлена на Рисунке 3.1

Рисунок 3.1 - Структура СК

В состав СК ГВК входят:

• вычислительный модуль – 64 шт.;

• сервер загрузки/метаданных (СЗ/М) – 1 шт.;

• сервер мониторинга (СМ) – 1шт.;

• сервер системы хранения (ССХ) – 2 шт.;

• RAIDсистемы хранения – 2 шт.;

• вычислительная сеть Infiniband;

• сеть загрузки и управления GigabitEthernet/(СЗУ);

• сеть PCI-E;

• сеть мониторинга GigabitEthernet;

• сервер управления (СУ) – 1 шт.;

• центральный коммутатор СЗУ – 1 шт.;

• центральный коммутатор мониторинга – 1 шт. ;

• АРМ администратора – 1 шт.;

• АРМ мониторинга – 1 шт.;

• сервер Backup.

Вычислительная сеть СК выполнена на базе сети QDRInfiniband. Она объединяет ВМ (64шт.), СУ,CЗ/М, ССХ1, ССХ2 и серверbackupв единую сеть.

Сеть загрузки и управления основана на технологии Gigabit Ethernet.

ВМ подключаются к служебным серверам посредством 48 портовых коммутаторов по сети Gigabit Ethernet через центральный коммутатор СЗУ.

Cервер управления СК подключается к АРМ администратора и внешней сети пользователей.

Сеть мониторинга также выполнена по технологии Gigabit Ethernet. Технические средства СК подключаются к серверу мониторинга посредством 48 портовых коммутаторов сети мониторинга и центрального коммутатора мониторинга.

Сервер мониторинга связан с подсистемой бесперебойного питания и АРМ мониторинга.

Система хранения данных базируется на технологии Lustre.

Конструктивно вычислительные модули и блок управления размещаются в стойках высотой 42Uс системой распределения питания и мониторинга шкафа.

Вычислительная сеть обеспечивает коммуникации между процессорами, выполняющими параллельные программы на ВМ и доступ всех ВМ к системе хранения.

Все кабельные соединения вычислительной сети выполнены с использованием разъемов QSFP.

В качестве базового коммутатора сети используется центральная фабрика, построенная на базе управляемого модульного коммутатора Qlogicсерии 12800.

Коммутатор выполнен на базе шасси высотой 5U, устанавливаемого в типовой шкаф 19” (Шасси содержит модуль управления, блоки питания и вентиляторы системы охлаждения с горячей заменой и резервированиемN+1).

Корневой модуль двойной плотности (Spine) поддерживает до 4 граничных модулей (Leafs).

72 порта QDRInfiniBand4х модуляSpine, выведенных на объединительную панель (backplane), обеспечивают создание полносвязной обьединительной решетки для модулей решающего поля.

4 граничных модуля, каждый из которых имеет 18 портов QDRInfiniBand4х, выведенных на объединительную панель (backplane) и 18 внешних портовQDRInfiniBand4х с разьемамиQSFPпозволяют подключить к вычислительной сети все ВМ решающего поля и управляющие сервера.

Между любыми двумя устройствами, подключенными к портам коммутатора, находятся не более 3-х коммутирующих элементов.

Сеть загрузки и управления состоит из коммутаторов для подключения ВМ вычислительного кластера (КВК) и центрального коммутатора.

Для унификации коммуникационного оборудования в качестве коммутаторов КВК и центрального коммутатора сети загрузки и управления используются коммутаторы 3Com Switch 4200G 48-Port.

Сеть мониторинга обеспечивает серверу мониторинга, входящему в состав блока управления, доступ ко всем элементам оборудования СК.

Сеть мониторинга построена на базе технологии GigabitEthernet. Она обеспечивает инфраструктуру для управления следующими компонентами:

ВМ;

служебные серверы;

коммутаторы вычислительной сети и сети загрузки и управления;

источники бесперебойного питания.

Сеть мониторинга состоит из :

центрального коммутатора мониторинга;

граничных коммутаторов мониторинга.

К граничным коммутаторам подключаются порты мониторинга ВМ (по порту IPMI), системы распределения электропитания и мониторинга шкафа. В качестве базовой модели граничного коммутатора используется коммутатор 3Com Switch 4200G 48-Port.

К центральному коммутатору мониторинга подключаются порты мониторинга служебных серверов и RAIDмассивов, коммутаторов коммуникационных сетей, источников бесперебойного питания, системы распределения электропитания и мониторинга шкафа стойки управления. В качестве базовой модели центрального коммутатора используется коммутатор 3Com Switch 4200G 48-Port.

Сервер загрузки/метаданных обеспечивает сетевую загрузку операционной системы (ОС) в ВМ и поддержку её работоспособности. В дополнение к этому он обеспечивает работоспособность необходимых базовых системных сервисов. Кроме того, СЗ/М выполняет роль NFS-сервера и обеспечивает обращение из ВМ к файлам, расположенным на RAID – массиве, входящем в состав сервера. Кроме того он обеспечивает доступ к служебной информации файловой системы Lustre и её хранение.

Сервер управления контролирует процесс распределения задач на ВМ решающего поля и осуществляет сбор результатов вычислений и их окончательную обработку.

Серверы системы хранения обеспечивают доступ к данным файловой системы Lustre.

Сервер мониторинга обеспечивает динамический контроль за состоянием технических средств, входящих в состав СК.

В качестве серверной платформы СУ, СЗ/М, СМ и ССХ используются серверы, выполненные на базе серверной платформы SuperServer 6026T-URF. Высота сервера составляет 2U.

RAID – массивы системы хранения данных (RAID СХ1, RAID СХ2) являются основным хранилищем данных в файловой системе Lustre. Объемы RAID массивов составляют 12 Тбайт.

Сервер Backup, требующийся для хранения контрольных точек состояния ГВК должен иметь объем не менее 36 Тбайт. В качестве серверной платформы используется шасси SuperChassis 847E26-R1400UB.

Следующие разделы описывают функции NTB, поддерживаемую IntelXeonC5500/C3500.