Параллельные
компьютерные
архитектуры
Ч.3
Мультипроцессоры и мультикомпьютеры
•В любой параллельной компьютерной системе процессоры, выполняющие разные части единого задания, должны как-то взаимодействовать друг с другом, чтобы обмениваться информацией
•Для обмена информацией предложено и реализовано две стратегии: мультипроцессоры и мультикомпьютеры.
•Ключевое различие между стратегиями состоит в наличии или отсутствии общей памяти
•Это различие сказывается как на конструкции, устройстве и программировании таких систем, так и на их стоимости и размерах
Мультикомпьютеры
•Во втором варианте параллельной архитектуры каждый процессор имеет собственную память, доступную только этому процессору
•Такая схема называется мультикомпьютером, или системой с распределенной памятью
•Каждый процессор в мультикомпьютере имеет собственную локальную память, к которой этот процессор может обращаться, но никакой другой процессор не может получить доступ к локальной памяти данного процессора
•Мультипроцессоры имеют одно физическое адресное пространство, разделяемое всеми процессорами, а мультикомпьютеры содержат отдельные физические адресные пространства для каждого процессора
•Поскольку процессоры в мультикомпьютере не могут взаимодействовать друг с другом простыми обращениями к общей памяти, процессоры обмениваются сообщениями через связывающую их коммуникационную сеть
•Примеры мультикомпьютеров - IBM BlueGene/L, Red Storm, кластер Google
Недостатки
мультипроцессоров
•мультипроцессоры плохо масштабируются
•на производительность мультипроцессора может серьезно сказываться конкуренция за доступ к памяти
Схема мультикомпьютера
Коммуникационные сети
•мультикомпьютеры связываются друг с другом через коммуникационные сети
•сходство коммуникационных связей в мультипроцессоре и мультикомпьютере - передача сообщений
•обмен сообщениями: инициатор посылает запрос и ждет ответа
Топология
•Топология коммуникационной сети определяет схему размещения линий связи и коммутаторов
•Топологию сетей принято изображать в виде графов, в которых дуги соответствуют линиям связи, а узлы — коммутаторам
•С каждым узлом в сети связан определенный набор линий связи
•Число линий - степень узла, коэффициент разветвления
•Чем больше степень, тем больше вариантов маршрута и тем выше отказоустойчивость
Характеристики
•Диаметром графа является расстояние между двумя узлами, расположенными дальше всех друг от друга
•Диаметр сети определяет самую большую задержку при передаче пакетов от одного процессора к другому или от процессора к памяти
•Чем меньше диаметр, тем выше производительность
•Пропускная способность - объем данных, которые сеть способна передавать в секунду
Пропускная способность
сечения
• Нужно мысленно разделить коммуникационную сеть на две равные (с точки зрения числа узлов) несвязанные части путем удаления ряда дуг из графа, а затем посчитать общую пропускную способность удаленных дуг
• Пропускная способность сечения — это минимальная (для всех доступных вариантов) пропускная способность
• Например, пропускная способность сечения, равная 800 бит/с, означает, что если между двумя частями сети много связей, общая пропускная способность в худшем случае составит только 800 бит/с