khor32

4.3. Конвейерные системы типа арегистр регистр»

воздyшные потоки для каждого из двух крыльев самолета или при составлении прогноза погоды можно обрабатывать данные для каждого из двух полушарий Земли.

Вычислительная система Cray У-МР создана в 1988 г., ее архитектур-

ные характеристики заметно превосходят Cray X-МР. Количество процессо-

ров в системе Cray Y-МР составляло от одного до восьми, максимальное быстродействие ВС 2,65 GFLOPS, быстродействие одного процессора 333 MFLOPS, стандартная и максимальная емкости оперативной памяти

256 Мбайт и 32 Гбайт.

Максимальная производительность 1 GFLOPS (т. e. 109 опер./c над

64-разрядными данными c плавающей запятой) была достигнута в ВС

Cray Y-MP в 1989 г.

C 1994 г. фирма Cray Research начала производить системы Cray 390, совместимые c Cray Y-МР, но обладавшие большими возможностями по «масштабированию» (от 4 до 32 процессоров), более компактные и дешевые

(c воздушным охлаждением). Система Cray 390 была наиболее популярной в

мире (было выпущено свыше 400 шт.).

Вычислительные системы Cray С90 и Cray Т90.

С и с т е м а С r а у С90 («Сгау for the 90s» ВС для 90-x годов ХХ в.) была построена в 1991 г., ее максимальное быстродействие достигало 16 GFLOPS. для формирования данной системы были впервые применены

процессоры c быстpодействием 1 GFLOPS. допустимое количество процес-

соров в конфигурациях ВС 2, 4, 8 и 16; емкость оперативной памяти

512 Мбайт. . .8 Гбайт.

Архитектура ВС Cray С90 в целом относится к классу MI D; это

мультипроцессорная система c общей памятью. B ее состав входят: подсистема процессоров, подсистема межпроцессорньх взаимодействий, общая память и подсистема ввода-вывода информации.

Функциональная структура процессора ВС Cray С90 близка к структуре Стау-1 (композиция секции управления, конвейеров, регистров и сети связей). Конвейеры и регистры предназначаются для обработки и хранения

данных трех типов: адресов (A- и B-регистpы), скалярных операндов (S- и T-регистpы) и векторных операндов (V-регистpы). Конвейеры подразделя-

ются на четыре группы: адресные, скалярные, векторные и для операций c плавающей запятой. Последняя группа конвейеров предназначается для выполнения как скалярных, так и векторных команд. Общее число конвейеров составляет 14-16. Регистры трех основных наборов (A, S, V) имеют связи как с конвейерами, так и с оперативной памятью. Регистры В и Т играют

роль буферных ДЛЯ ОСНОВНЫХ A- и s-регистров (см. разд. 4.3.1).

Восемь адресных 32-разрядных A-рeгистpoв предназначаются для хране-

ния и вычисления адресов, индексации, указания величинысдвигов и числа

6* 163

4. Конвейерные вычислительные системы

итераций циклов и т. д. B Cray С90 64 32-разряд оных В-peгиcтpoв . Восемь ска-

лярньх 64-разрядных S-региcтpов применяются для хранения данныx и резуль- татов операций скaляpной арифмeтики; их также можно использовать для хранения элементов векторов данных при векторных вычислениях. B системе б4

б4-pазpяд нъх Т-регистpов . Восемь векторных р ^гистров ( V-регистры) рассчи-

тaны для хранения 128-компонентных векторов данных, причем каждый компонент представляeт собой 64-разрядное слово. Эти регистры используются только для выполнения векторных команд. Наряду c названньпиiи имеются также регистр длины вектора (8 разрядов) и регистр маски вектора (128 разрядов).

При функционировании процессор способен в каждом такте (каждые 4,1 нс)

выдавать результаты двух операций. Если выпот :няется операция «зацепления» сложения и умножения, то процессор фактически за такт реализует четыре арифметических операции. Следовательно, пик Свая производительность процессора достигает почти 1 GFLOPS (10 9 опер./c).

Подсистема межпроцессорных взаимодействий предназначена для организации и реализации передач данных и управляющей информации между процессорами. Это, по сути, композиция общедоступных регистров, в которой выделены одинаковые кластеры (группы). Каждый кластер содер-

жит 8 32-разрядных общедоступных адресныа . регистров (О), 8 64-разряд- ных общедоступных скaлярных регистров (К) и 32 1 -разрядных регистра

для однобитовых семафоров.

Оперативная память Cray С90 является общедоступной для всех процессоров и подсистемы ввода-вывода информации. Каждый процессор имеет доступ к памяти через четыре порта, про пускная способность любого порта составляет два слова за один такт (за 4,1 нс). При этом один из портов всегда связан c подсистемой ввода-вывода и, это крайней мере, еще один из портов всегда выделен под операцию записи.. Лчейки памяти способны хранить 80-разрядные слова (64 разряда для х ранения операнда и 16 разрядов для коррекции ошибок).

B максимальной конфигурации память разделена на восемь секций,

каждая секция на восемь подсекции и, наконец, каждая подсекция на 16 банков. Ячейкам памяти присвоены адреса таким образом, что имеет ме-

сто их чередование по секциям, подсекциям i банкам. При этом возможны конфликты при одновременном обращении, N: какой-либо части памяти из разных портов. Так, при одновременном обращении к одной и той же секции возникает задержка на 1 такт, и при обраi цениях к одной и той же подсекции в пределах одной секции задержка варьируется от 1 до б тактов. При выборке последовательно расположенных данных или при выборке c любым нечетным шагом конфликтов не возникает.

Подсистема ввода-вывода информациz ВС Cray С90 представлена тремя типами каналов, которые различаются п з скорости передачи:

164

4.3.Конвейерные системы типа «регистр регистр»

•низкоскоростные каналы (Low-speed channels) 6 Мбайт/с;

•высокоскоростные каналы (High-speed channels) 200 Мбайт/с;

•сверхскоростные каналы (Vety high-speed channels) 1800 Мбайт/с.

Архитектурные особенности системы Cray С90 связаны прежде всего c тем, что эта ВС по своей производительности относится к диапазону

GigaFLOPS (2...16 GFLOPS) и в ней достаточно полно внедрены принципы

параллелизма и конвеиеризации.

В системе реализованы следующие режимы многопроцессорной обработки: выполнения несколько независимых программ на различных про-

цессорах (Multiprogramming) и одной (параллельной) программы на нескольких процессорах (Multitasking).

Вычислительная система Cray С90 может выполнять векторную обработку информации. При этом скорость обработки возрастает за счет того, что некоторая (арифметическая) операция * над двумя векторами A и В данных (т. e. над двумя одномерными массивами данных) выполняется одной командой. B скaлярном режиме для выполнения этой же операции * над массивами A и в потребуется выполнить п-краткий цикл команд: вы-

брать элемент А1 Е A (i = 1, n) , выбрать элемент В1 Е В , выполнить операцию «*» , записать результат С1 = А1 * В1, увеличить параметр i цикла, проверить условие i < n цикла. Скорость выполнения операций в векторном

режиме приблизительно в 10 раз выше скорости скaлярной обработки.

Архитектура ВС Cray С90 допускает реализацию режима зацепления

конвейеров (или векторных операций). Это означает, что результаты, вычисляемые одним конвейером, могут передаваться на вход другого. Точнее, в данной ВС допустимо использовать регистр, в который занесен результат векторной операции, в качестве входного регистра для конвейера, в котором будет выполняться последующая векторная операция. Вообще говоря, глубина зацепления может быть достаточно большой, например, может быть осуществлено зацепление операции в таков последовательности: чтение, сложение, умножение и запись векторов данных.

Векторные операции, реализуемые на различных конвейерах и использующие различные регистры, могут выпотдшпься параллельно. Допустимо так-

же параллельное выполнение скалярньх операций на независимых конвейерах.

Для архитектуры ВС Cray С90 характерна конвейеризация всех основ-

ных команд, выполняемых процессором, обращения к памяти, обработки команд и выполнения операций.

Вычислительная система Cray Т90 была создана в 1995 г.,

максимальное быстpодействие достигало 64 GFLOPS. Промышленные модели данной ВС: Cray Т94, Cray Т916 и Cray Т932, состояли соответственно из 4, 16 и 32 процессоров. Емкость оперативной памяти ВС Cray Т932 со-

165

4. Конвейерные вычислительные системы

ставляла 512 Мбайт...8 Гбайт, скорость обмене. информацией c памятью

800 Мбод.

Время процессорного цикла ВС Cray Т90 составляло 2,2 нс, однако за счет конвейеризации процессор имел быстрод;йствие 2 GFLOPS (вычислительные средства c такой производительностi ю даже в начале 90-x годов ХХ в. относились к суперкомпьютерам).

Система Cray Т90 по своей архитектуре относилась к классу MIMD.

Кроме того, в ней была предусмотрена возможность построения макросистем, как объединений нескольких ВС Cray Т90.

Вычислительные системы Cray-2 и Сгау-3. Параллельно-векторная

вычислительная система Cray-2 была разработана под руководством

C. Крея и построена в 1985 г. в корпорации Cray Research. Эта ВС имела че-

тырехпроцессорную конфигурацию и самые лучшие технические характеристики для 80-x годов ХХ столетия. Так, пиковое быстродействие ВС составляло 1,95 GFLOPS (т. e. 1,95 • 10 9 опер./c над операндами c плавающей запятой, составлявшими векторы) и 250 MIPS (т. e. 2,5 10 8 опер./c над скалярными величинами c фиксированной запятс ой) . Емкость оперативной па-

мяти ВС Cray-2 достигала 512 Мбайт...32 Гбайт. При этом цена ВС Cray-2

превышала в 2 раза цену ВС Cray-1.

По архитектуре ВС Cray-2 резко отличалась от ВС Cray-1, она имела

новый набор команд и новую операционную систему. B ней каждому процессору помимо векторных регистров была придана локальная оперативная память емкостью не менее 16 K б4-разрядных с лов.

Вычислительная система Cray-2 была построена на быстродействующей элементной базе, что позволило достичь длительности цикла в 4,1 нс

(вместо 12,5 нс, как это имело место в Cray-1). Быстродействие одного про-

цессора Cray-2 составляло 488 MFLOPS.

Конструкция ВС Cray-2 оригинальна и достаточно компактна, ее

можно было разместить в цилиндре c основанием 1,35 м и высотой 1,15 м.

Компактность конструкции позволила приме Нить для охлаждения Cray-2

метод полного погружения в инертную жидкость.

Система Сrау-3 разрабатывалась также :iод руководством C. Крея, но

уже в фирме Cray Computer. B Сгау-3 входило до 16 процессоров, время

цикла процессора составляло 2,11 нс, ожидаемое быстродействие 16-процес-

сорной конфигурации ВС 7,3 GFLOPS. B 1 )89 г. была построена конфигypация Сгау-3 c быстродействием 5 GFLOPS и емкостью оперативной па-

мяти до 33 Гбайт.

По своей архитектуре ВС Сгау-3 была достаточно близка к ВС Cray-2.

B качестве элементной базы для системы Сга у -3 были использованы арси-

нид-галиевые интегральные схемы. Эта элементная база была более быстродействующей, но и более дорогой, чем кремниевая.

166

4.4.Массово-парaллельные вычислительные системы Cray

Вфирме Cray Computer Corp. велись работы He только no системе

Cray-3, uo и no Cray-4, однако эти системы He имели коммерческого успеха.

4.4. Массово-парaллeльные вычислительные системы Cray

B конце 80-x roдoв XX в. ряд кoмпaний (Thinking Machines, Kendal Square, NCube, MasPar и Mieko) ycпeшнo пpoвoдили иccлeдoвaния и paзpaбoтки нoвыx архитектур cynepBC (Massively Parallel Processing Systems), в кoтopыx высокая эффективность достигалась зa счет применения большого элементарных (пpocтыx) пpoцeccopoв. Системы c массовым пa-кoличecтвa paллeлизмoм (MPP-cиcтeмы) стали альтернативой для вeктopнo-пapaллeль- ньnг BC (РУР-систем). Было paзpaбoтaнo семейство массово-параллельных

BC, включающее вoзмoжныe конфигурации мoдeлeй: Cray ТЗD , Cray TЗE, Cray XTЗ и Cray XT4. Эти BC oбecпeчивaют oбpaбoткy информации c про десятков GigaFLOPS дo coтeн TeraFLOPS и пpeдoc-извoдитeльнocтьюoт

тaвляют память емкостью от Гиraбaйт до сотен Tepaбaйт.

4.4.1. Вычислительная система Cray ТЗD

Вычислительная система Cray ТЗD первaя МРР-система корпора-

ции Cray Research, ее разработка была завершена в 1993 г. Это позволило фирме Cray Research Inc. быстро захватить лидерство на рынке МРР-систем.

Количество элементарных процессоров в конфигурациях системы Cray ТЗD достигало 32.. .2048, a диапaзоны производительности и емкости памяти были соответственно равны 5...300 GFLОPS и 512 Мбайт...128 Гбайт. Сис-

тема в максимальной конфигурации никогда не выпускалась; обычнaя кон-

фигypация Cray Т3D 64-процессорная, она обеспечивaла быстродействие, равное 10 GFLOPS.

Архитектура системы Cray ТЗD MIMD, a сама ВС принaдлежит к

виду распределенных. B системе достаточно полно воплощены принципы модели коллектива вычислителей (см. рaзд. 3.1.1). Последнее позволило, в

частности, достичь в ВС Cray ТЗD высокой надежности и живучести, a также масштабируемости (варьиpуемоcти числа процессоров в пределах от

32 до 2048 c шагом 32). Следовательно, архитектура ВС Cray ТЗD

приспособлена к формированию конфигураций c заданной производительностью и/или стоимостью.

Система Cray ТЗD работает под управлением хост-системы (Host

System управляющая ВС). Одной из функций хост-системы является

производительная подготовка программ (включающая компиляцию) и ввод-

вывод данных для Cray ТЗD. B качестве хост-системы могут быть использо-

167

4. Конвейерные вычислительные системы

			DEC	nn
			Alpha
		+Y
(для Cray ТЗЕ)
	-z		УУП
				эп
-X		лк		+X
эП			+z
	ууп
		–Y
nfl	DEC
	Alpha
1		^

Рис. 4.6. Вычислительный узел системы Cray ТЗD (Cray ТЗЕ):

УВВ — устройство ввода-вывода; ЛП — локальная пам: [ть; УУП — устройство управления памятью; ЭП — элементарный процессор; ЛК — локальный коммутатор

ванн, в частности, конфигурации BC Cray Y-:VIP и Cray C90. Между хостBC и системой Cray ТЗD предусмотрен ВЬ] сокоскоростной канал связи

(200 Мбайт/c).

Вычислительная система Cray ТЗD представляет собой композицию

множества вычислительных узлов, комм никац ионной сети (или сети межуз- ловьх связей), каналов ввода-вывода информации и средств синхронизации.

Вычислительный узел Cray ТЗD. Всe вычислительные узлы (ВУ), составляющие BC Cray ТЗD, однородные. Каждый узел (Processing Element

Node) системы включает в себя (рис. 4.6) два одинаковых ЭП и ЛК.

Элементарный процессор (Processing Element процессорный эле-

мент) представляется композицией из микропроцессора, локальной памяти

(ЛП) и устройства управления памятью (YYП) , Микропроцессор это DEC 21064 Alpha chip (или просто DEC Alpha), т. с. RISC-пpoцeccop типа Alpha фирмы DEC (Reduced Instruction Set Computer компьютер c сокращенным

набором команд). Микропроцессор имеет кэпi-память для команд и кэшпамять для данных. Набор команд предусматривает и логические, и арифме-

тические операции целочисленной и веществе iнoй арифметики. Характери-

стики архитектуры DEC Alpha:

168

4.4. Массово-парaллельные вычислительные системы Cray

Разрядность	64
Тактовая частота, МГц	150
Производительность (3 инструкции за цикл)	150 MFLOPS, 300 MIPS
Емкость кэш-памяти для команд и данных, K байт	8и8
Технология	КМОП (комплементарная
	<aкетaлл—oкисел—про-
	водник»)
Технологические нормы, мкм	0,75

Локальная память ЭП представляет собой ДААМ-память емкостью

16...64 Мбайт (Dynamic Random Access Метогу динамическая память c

произвольной выборкой). Каналы связи микропроцессора c локальной памя-

тью ЭП характеризyются малой задержкой и высокой пропускной способ-

ностью. Устройство управления памятью ЭП (Suppo rt Circuitry) осуществля-

ет поддержку обмена данными между элементарными процессорами. Локальный коммутатор обеспечивает непосредственную связь ВУ c

соседними узлами и представляет собой шестиполюсник. В состав ЛК входят: сетевой маршрутизатор, сетевой интерфейс и контроллер для пересылки блоков данных.

Сетевой маршрутизатор (Network Router) ВУ основной элемент управления коммуникационной сетью Cray T3D. Он способен работать c

тремя парами двунаправленньх межyзловых связей (Coтmunication links), что позволяет создавать трехмерные структуры ВС. Маршрутизатор каждо-

го ВУ определяет путь перемещения каждого пакета данных и можетосу-

., ществлять параллельный транзит данных по всем трем межузловым связям.

Сетевой интерфейс (Network Interface) вычислительного узла специ-

aльным образом кодирует информацию перед ее пересылкой по коммуникационной сети другому ВУ или в канал ввода-вывода. Сетевой интерфейс служит также для приема данных от других ВУ или из канала ввода-вывода

и распределяет их между элементарными процессорами данного ВУ.

Контpоллер для пересыпки блоков данных (Block Transfer Engine)

осуществляет асинхронное перераспределение данных в пределах всей рас-

пределенной памяти ВС Cray T3D, т. e. перераспределение информации,

находящейся в локальной памяти разных ЭП системы, без прерывания рабо-

ты самих элементарных процессоров.

Следует подчеркнуть, что в системе Cray ТМ) память распределенная,

точнее, она физически распределенная, но логически общая. Каждый ЭП имеет непосредственный доступ к своей локальной памяти, но он может обратиться и к локальной памяти другого ЭП, не прерывая его работы. Такие возможности поддерживаются аппаратурой ВУ и коммуникационной сетью

Cray T3D. Очевидно, что обращение элементарного процессора к памяти

другого ЭП осуществляется медленнее, чем обращение к собственной ло-

169

4. Конвейерные вычислительны e системы

Рис. 4.7. Фрагмент структуры коммуникационной сети Cray ТЗD (Cray ТЗЕ):

— вычислительный узел; ® — узел ввода; О — узел :3ывода

кaльной памяти. Величина задержки при так ом обращении определяется количеством линков, соединяющих взаимодействующие процессоры.

Коммуникационная сеть Cray ТЗD. Коммуникационная сеть (Interconnect Network) системы Cray ТЗD предназначается для реализации

обменов информацией между ВУ, a также между ВУ и каналами ввода-

вывода. Она образуется из связей (Communiation Links) и сетевых маршрутизаторов (Network Routers) как ВУ, так и каналов ввода-вывода ин-

формации (рис. 4.7).

Ориентация ВС на решение трехмерны. сложных задач предопределила ее структуру, именно трехмерную структуру коммуникационной сети.

В системе Cray Т3 D каждый ВУ связан c соседними по трем направлениям

X, Y и Z, причем по каждому направлению вершины образуют замкнутое

кольцо. Говоря точнее, структура коммуникационной сети Cray Т3 D являет-

ся циркулянтным графом c тремя образующил%:и (см. разд. 3.1.2 и 7.2.1) или трехмерным (3D) тором (см. рис. 4.7). Каждая связь между двумя соседними узлами представляется двумя однонаправленными каналами передачи данных, что допускает одновременный обмен информацией в противоположных направлениях.

Быстpодействие коммуникационной сети Cray Т3 D по каждому из

двух направлений передачи информации состав ляет 140 Мбайт/c.

170

4.4. Массово-парaллельные вычислительные системы Cray

двунаправленный трехмерный тор имеет преимущества перед <незамкнyтыми» трехмерными топологиями:

• повышенная живучесть структуры возможность выбора маршрутов для обхода поврежденных узлов и связей;

• возможность быстрой связи граничных узлов и небольшая латентность (задержка) при передаче информации между вершинами (диаметр максимальное расстояние из кратчайших между любы и двумя вершинами для конфигурации из 128 ЭП он равен 6, a для 2048 ЭП 12).

Следует подчеркнуть, что в 3D-тope каждый ВУ непосредственно свя-

зан c шестью соседними узлами, и он входит в три кольца ВУ, соответствующих направлениям X, Y, Z. Трехмерный тор может быть представлен в

виде N(х х y x z) , где N общее число узлов, a x, у, г количество узлов в

кольцах по направлениям соответственно X, Y, Z. Например, в 3D-тope 8

(2 x 2 x 2) имеется 8 вычислительных узлов, причем каждый из них входит в

три кольца из двух ВУ (см. рис. 4.7), a в 3D-тope 64 (4 х 4 x 4) 64 узла, ка-

ждый из которых входит в три кольца из четырех ВУ.

Адресация (нумерация) вычислительных узлов Cray ТЗD разделена на физическую, логическую и виртуальную. Каждому ВУ присвоен свой физический адрес, определяющий его абсолютное расположение в системе; этот

адрес используется непосредственно аппаратурой. Вычислительному узлу может быть присвоен также логический адрес, определяющий его расположе-

ние в логической конфигурации системы, которая уже и будет представлять собой трехмерный тор. Например, 512-пpoцeccopнaя конфигурация системы Cray ТЗD реально содержит 260 физических ВУ, четыре из которых составляют резерв. Следовательно, логические конфигурации ВС, по сути, являются

физическц-пии системами c повышенной надежностью. Виртуальная адресац ия ВУ введена для того, чтобы пользователю предоставлять дополнительный

сервис: он не должен учитывать при программировании физические и логиче-

ские адреса ВУ, a может вводить свои (виртуальные) адреса ВУ. При этом каждой программе пользователя из трехмерного тора будет выделен вполне

определенный прямоугольный парaллелепипед, на котором и будет исполняться данная программа (не учитывая средств операционной системы).

Любой из адресов ВУ представляется тpехкомпонентным вектором: (x, y, г), который однозначно определяет расположение узла в трех изме-

рениях коммуникационной сети Cray T3D. Физический адрес ВУ это абсолютный неизменяемый номер узла в сети, a логический и виртуальный адреса ВУ являются относительными адресами (относительно абсолютного).

Относительные адреса получают операцией смещения исходного адреса. Поясним смысл относительной адресации на примере ЗД-тора вида

64 (4 x 4 x 4), вершины в каждом из колец которого пронумерованы 0, 1, 2, 3 (по модулю 4). Смещение в направлении увеличения номера имеет знак «+»,

171

4. Конвейерные вычислительные системы

a в обратном знак «–». Пусть заданы следующие исходный и относительные адреса:

x	у	z	— исхс дный адрес
2	0	3
3	2	0	— отнс сительный адрес
+1	+2	—3	— смеi дения

Легко заметить, что требуемый относите гiьный адрес в рассматривае- мом торе может быть получен и при помощи смещения (-3, – 2, + 1). При-

веденный пример демонстрирует простоту ме: ►^анизма преобразования физического (или логического) адреса ВУ в его логический (или виртуальный)

адрес.

В системе Cray ТЗD отображение логических адресов на физические

адреса ВУ обеспечивается таблицей маршруты` ации, загружаемой в сетевые маршрутизаторы. Гибкость средств отображен ия адресов и маршрутизации

позволяет логически изолировать неисправные ВУ в Cray ТЗD.

Каналы ввода-вывода Cray ТЗD. Канал ы ввода-вывода (Input/Output Gateways шлюзы ввода-вывода) предназначены для обмена информацией между Cray ТЗD и управляющей системой (Host System) или кластером вво- да-вывода (Input/Output Cluster).

Канал ввода-вывода Cray Т3 D представляется композицией из узлов

ввода и вывода и низкоскоростного устройства передачи запросов и ответов. Функциональные структуры узлов ввода и вывода предельно близки к структуре ВУ, в состав каждого из первых дву ( узлов входят элементарный процессор, локальный коммутатор и схемы ввода или вывода соответственно. Локальный коммутатор любого из узлов ввода или вывода включает в

свой состав сетевой маршрутизатор (Network Router), сетевой интерфейс (Network Interface) и контроллер для асинхрог:ной передачи данных (Block Transfer Engine). Однако, в отличие от ВУ, здесь сетевой маршрутизатор

рассчитан на работу со связями только по направлениям Х и Z.

Узлы ввода и вывода взаимодействуют д руг c другом не только через маршрутизаторы, но и через устройство передачи запросов и ответов.

Каналы ввода-вывода включаются в коми уникационную сеть Cray ТЗD

только в «кольца» направлений Х и Z (см. рис. 4.7). Хост ВС подсоединяется к каналам через высокоскоростные (200 Мбайт/с) схемы ввода и вывода, a также через низкоскоростные устройства передач: и запросов и ответов. B комплексе «хост-ВС—Сгау T3D» запросы и ответы используются для управления потоком передачи данных через высокоскоростные схемы ввода и вывода.

Средства синхронизации Cray ТЗD. B вычислительной системе Cray ТЗD весь коллектив ВУ и каналы ввода-вывода работают синхронно.

Это достигается при помощи генератора тактовых импульсов (Clock), кото-

172