Технології розподільних систем та паралельних обчислень.
Лабораторна робота 1. Дослідження побудови обчислювального кластеру та принципів роботи з ним.
Загальні положення.
Мета лабораторної роботи:
Дослідження апаратної та програмної складової обчислювального кластеру.
Придбання практичних навичок з використання основних команд що до управління обчислювальним кластером.
Вдосконалення практичних навичок з розробки програмного забезпечення для платформи Linux.
Придбання практичних навичок запуску власних додатків на обчислювальному кластері.
Перед виконанням лабораторної роботи студент повинен знати:
Основи ОС Linux.
Після виконання лабораторної роботи студент повинен вміти:
Розробляти прості додатки, запускати їх на виконання на обчислювальному кластері, та аналізувати результати роботи обчислювального кластеру.
Загальні відомості про принципи побудови та роботи обчислювального кластеру.
Програмна складова обчислювального кластеру Torque.
Об'єднання ресурсів у систему управління розподіленими обчисленнями (Portable Batch System – PBS) зазвичай зменшує технічне управління ресурсами, пропонуючи одноманітний підхід до користувачів. Після правильного налаштування, система абстрагується від багатьох деталей пов'язаних з роботою та управлінням завданнями, що дозволяє підвищити рівень використання ресурсів. Наприклад, користувачам потрібно вказати тільки мінімальні обмеження на завдання і не потрібно знати окремі імена машин кожного вузла, на якому запущене це завдання.
Torque – менеджер ресурсів, є однією з версій PBS, відповідає за відстеження доступної кількості ресурсів на вузлах кластеру та запуск завдань. Він керує завантаженням обчислювальних комплексів, що складаються з певної кількості обчислювальних вузлів, що працюють під управлінням операційної системи сімейства Linux.
Менеджер ресурсів Torque має вбудований планувальник завдань, реалізований у вигляді демона pbs_sched (аналог служби у операційній системі Windows). Він забезпечує режим пакетного запуску завдань. Менеджер ресурсів забезпечує низькорівневі функціональні можливості, такі як запуск, утримування (тимчасове припинення), скасування і контроль виконання завдання. Без цих можливостей менеджера ресурсів, планувальник не зможе самостійно контролювати завдання.
Кластер складається з головного сервера, та багатьох обчислювальних вузлів. На головному сервері працює демон PBS серверу pbs_server. А на обчислювальних вузлах запускається демон pbs_mom, який взаємодіє з демоном PBS серверу. Клієнтські команди для подання і управління завданнями можуть бути встановлені на будь-якому комп'ютері (в тому числі на вузлах, де відсутні демони pbs_server або pbs_mom).
На головному вузлі також працює і демон планувальника. Демон планувальника pbs_sched взаємодіє з демоном PBS серверу pbs_server для прийняття рішень пов'язаних з локальними політиками використання ресурсів і виділенню вузлів для виконання завдань. Простий FIFO планувальник завдань, а також код для побудови більш складних планувальників наданий у дистрибутиві вихідного коду. У більшості випадків користувачі Torque використовують планувальники з більш широким функціоналом, такі як Maui або Moab.
Користувачі відправляють завдання на демон PBS серверу pbs_server за допомогою команди qsub. Коли демон pbs_server отримує нове завдання, він інформує про це планувальник. Коли планувальник знаходить вільні вузли для виконання завдання, він посилає інструкції для виконання завдання на вузлі зі списку вузлів PBS серверу. Потім pbs_server посилає нову роботу, на перший вузол у списку вузлів і дає йому інструкції по запуску завдання. Нижче наведена структура системи управління розподіленими обчисленнями.
