Системный анализ в управлении - Анфилатов В.С., Емельянов А.А., Кукушкин А.А. (под ред. Емельянова А.А

Примеры моделей и методик оценивания систем

181

За базовый процессор принят Pentium-120МГц, имеющий оценку, равную 100 ед.

Эффективность базового процессора (Base_BMi), определен­

	ная по различным тестам, представлена ниже.
			Перечень	микропроцессо-
	Тест	Base_BMi	ров, отранжированных по ин-
	CPUmark32	270	Дексу iCOMP 2.0, приведен
	Norton SI32	32,4	ниже
			Оценки,	основанные на
	SPECint_base95	3,55
			iCOMP 2.0, не могут сравни­
	SPECfp_base95	2,19	ваться с оценками, основанны­
	Intel Media Benchmark	99,87	ми на iCOMP, так как они по­
			лучены из различного набора

эталонных тестов с различными весами и нормированы на раз­

личный базовый процессор.
В тесте iCOMP за базовый процессор принят			процессор
Intel486SX, 25МГц.
Процессор, МГц	Индекс	Процессор, МГц	Индекс
	iCOMP 2.0		iCOMP 2.0
Pentium Pro, 200/МГц	220	Pentium 133/МГц	111
Pentium Pro, 180/МГц	197	Pentium 120/МГц	100
Pentium Pro, 150/МГц	168	Pentium 100/МГц	90
Pentium 200/МГц	142	Pentium 90/МГц	81
Pentium 166/МГц	127	Pentium 75/МГц	67
Pentium 150/МГц	114

3.5. МЕТОДИКА AIM

Сравнение и оценка производительности вычислительных систем применительно к конкретному приложению и планируе­ мому использованию проводятся по методикам независимой ком­ пании AIM Technology, основанной в 1981 г.

Предлагаемые AIM Technology методики и тестовые смеси ориентированы на получение интегральных оценок по всем ком-

182

Глава 3

понентам UNIX-систем в многопользовательском и многозадач­ ном режимах.

Разработанные методики позволяют получить более комплек­ сную оценку тестируемой архитектуры, чем тесты SPEC и iCOMP 2.0. Результаты тестовых испытаний систем можно полу­ чить на сервере www.ideas.com.au/bench/aim/aim.htm.

В методике AIM при проверке учитываются следующие кри­ терии:

•пиковая производительность (AIM Performance Rating) - максимальная производительность в режиме наиболее оптималь­ ного использования центрального процессора, процессора рабо­ ты с вещественными числами и кэщ-памяти;

•максимальная нагрузка {Maximum User Load) - максималь­ но возможное число заданий при работе наибольшего числа пользователей, которое может выполнить система за минуту. Данный показатель используется при выборе серверов;

•обработка утилит Unix {Utilities Indexed или Milestone) -

оценка возможностей по выполнению 40 утилит ОС Unix. Дан­ ный показатель используется при выборе инструментального ком­ пьютера, предназначенного для интенсивной работы с утилита­ ми типа grep или make;

•пропускная способность {Throughput Graph) - показатель производительности (число работ в минуту) в зависимости от степени загрузки системы;

•цена {Price) - стоимость тестируемой компьютерной сис­

темы.

Производительность при выполнении Unix-утилит идентифи­ цирует системы, наиболее эффективно выполняющие утилиты ОС Unix за одну минуту. Основным набором оценки собственно ком­ пьютерной системы, без вывода на терминалы, учета производи­ тельности при работе с X Window и в составе сети, является AIM System Benchmark {Suite III). Набор состоит из шести так называ­ емых моделей: обмены с оперативной памятью (20 %), работа с вещественными числами двойной и одинарной точности (10 %), операции работы с целыми числами (20 %), обмены данными меж­ ду процессорами (10 %), вызовы функций на языке Си с О, 1, 2 и 15 параметрами (20 %), ввод-вывод на диск (20 %). Ниже приве­ дены результаты сравнения компьютерных систем, полученные фирмой AIM.

Примеры моделей и методик оценивания систем	183
Модель	Эффективность,
	усл. оп/с
Silicon Graphics Indigo R4000 (32 Мб)	232
Silicon Graphics Indigo R4000 (96 Мб)	312
Motorola Series 900 Model M921	349
Wyse Series 70001 Model 760MP (2 CPU)	398
Sun Sparcserver 10 Model 40	401
DECsystem 5000 Model 50	408
Zenith Data Systems Z-Server EX P60E lOOOA	385

Полный отчет по компьютерной системе включает данные тестирования по набору тестов AIM Subsystem Benchmark {Suite III). Проверка по данному набору производится при работе ком­ пьютера в однозадачном режиме и включает следующие оценки производительности:

•при работе с диском. Измеряется в килобайтах в секунду для двух вариантов: при использовании кэширования и без него. Оценка применяется при выборе систем для работы с базами дан­ ных, файловых серверов и рабочих мест разработчика програм­ много обеспечения;

•при выполнении операций над вещественными числами. Изме­ ряется в тысячах операций в секунду отдельно для сложения, ум­ ножения и деления, с двойной и одинарной точностью. Оценка используется при выборе систем для работы в научных и физи­ ческих приложениях;

•при работе с целыми числами. Измеряется в тысячах опера­ ций в секунду отдельно для сложения, умножения и деления чи­ сел в длинном (long) и коротком (short int) форматах. Оценка ис­ пользуется при выборе систем для работы в финансовых прило­ жениях;

•для операций чтения/записи в память. Измеряется в кило­ байтах в секунду отдельно при чтении и записи целых чисел в длинном и коротком форматах, а также символов. Оценка исполь­ зуется при выборе компьютеров для работы с издательскими си­ стемами и в финансовых приложениях;

•для операций копирования в памяти. Измеряется в килобай­ тах в секунду при пересылке целых чисел в длинном и коротком форматах, а также символов;

184

Глава 3

•для операций в памяти над массивами ссылок. Измеряется в тысячах ссылок в секунду для целых чисел в длинном и коротком форматах;

•при вызове системных функций. Измеряется количеством обращений в секунду к таким функциям Unix, как create/close, fork, signal и unmask;

•при вызове функций в прикладной задаче. Измеряется коли­ чеством вызовов в секунду для функций без аргументов, функ­ ций с одним, двумя и пятнадцатью параметрами типа int.

Компания AIM Technology разработала также специальные наборы тестовых смесей, характеризующие использование вычис­ лительной системы в следующих прикладных областях: General Workstation Mix - среда разработки программного обеспечения; Mechanical CAD Mix - среда автоматизации проектирования в машиностроении (с использованием трехмерной графики); GIS Mix - среда геоинформационных приложений; General Business - среда стандартных офисных приложений (электронные таблицы, почта, тестовые процессоры); Shared/Multiuser Mix - многополь­ зовательская среда; Computer Server Mix - среда центрального сервера для большого объема вычислений; File Server Mix - сре­ да файлового сервера; RBMS Mix - среда обработки транзакций реляционной базы данных.

о g

МЕТОДИКА ОЦЕНКИ СКОРОСТИ ОБРАБОТКИ ТРАНЗАКЦИЙ

Коммерческие приложения требуют эффективной работы с внеш­ ней памятью в распределенной сети при обработке транзакций.

До недавнего времени все производители рабочих станций и разработчики систем управления базами данных (СУБД) пред­ лагали свои собственные способы оценки. В 1988 г. пять ведущих фирм, среди которых были IBM, Control Data и HewUett-Packard, организовали Совет по проведению оценки скорости выполне­ ния транзакций ТРС (Transaction Processing Performance Council), положивший конец «войне транзакций» и установивший единые правила измерения и оформления отчетов по их результатам.

Примеры моделей и методик оценивания систем

185

Методики тестирования ТРС основаны на том, что эффективность систем, предназначенных для решения задач оперативной анали­ тической обработки данных - OLTP (On-line Transaction Processing), в том числе для работы с базами данных, характери­ зуется числом транзакций, выполняемых в единицу времени.

Любая компания и фирма может стать членом ТРС, а резуль­ таты тестовых испытаний общедоступны на WWW-сервере www.ideas.com.au/bench/spec/spec.htm.

Понятие «транзакция» традиционно связывается с реляцион­ ными базами данных, однако применительно к OLTP имеет более общий смы'сл. Под транзакцией понимается последовательность операций ввода-вывода, во время проведения которых база дан­ ных остается неизменной. Практически транзакция представляет собой атомарную неделимую операцию, все изменения в резуль­ тате выполнения которой становятся видны сразу после ее выпол­ нения или отсутствуют до тех пор, пока операция не завершится.

В настоящее время из комплекса ТРС приняты в качестве об­ щепризнанного стандарта три оценки (А, В и С).

Оценка ТРС-А характеризует быстродействие выполнения транзакций в режиме on-line для банковского 1сассира. При вы­ полнении данного теста специально эмулируется операционная обстановка банка (терминалы и линии коммуникаций), а в каче­ стве транзакции выбирается обычная операция по обновлению счета клиента. Скорость работы в локальном окружении (без пе­ редачи транзакции во внешнюю сеть) измеряется в tsp-A-local. Быстродействие при работе с внешними межбанковскими сетя­ ми оценивается в tsp-A-wide. В отчет о проведенном испытании по данной методике входит стоимость компьютера вместе с не­ обходимым программным обеспечением и дополнительным обо­ рудованием, необходимым для обеспечения работы банка в те­ чение 90 дней. Стоимость вычислительной системы включает так­ же пятилетнее сопровождение. При делении общей стоимости комплекса на полученное значение tsp получают цену одной тран­ закции (типа wide или local).

Оценка ТРС-В представляет собой усеченный вариант ТРС-А (без эмуляции терминалов и линий рвязи), ориентированный на проверку возможностей только СУ)БД в условиях ее интенсив­ ной эксплуатации. Единицами измерения являются tsp-B и сто­ имость одной транзакции.

186

Глава 3

Тест ТРС-С появился из проекта корпорации МСТ (Microelectronics and Computer Technology). Программа провер­ ки включает моделирование различных видов деловой деятель­ ности (операции со счетами в банке, инвентаризация и т.п.). Раз­ мер транзакций в ТРС-С изменяется от очень простых и корот­ ких до очень сложных и длинных операций, которые, как в ре­ альной практике бизнеса, требуют сложных проводок и много­ ступенчатых пересылок. Единицами измерения являются tmp - число транзакций в минуту и стоимость одной транзакции.

Показатели по оценке ТРС могут зависеть не только от воз­ можностей аппаратуры, но и от используемой базы данных (БД). Обычно применяются три СУБД: Oracle, Informix и Sybase.

Комитетом ТРС объявлены также тесты TPC-D и ТРС-Е. Тест TPC-D ориентирован на системы принятия решений DSS (Decision Support System). Эти системы характеризуются работой с более сложными запросами, возможностью моделирования хода выпол­ нения транзакций для анализа возникающих ситуаций и т.д. В нем используются 17 аналитических запросов, характерных для расче­ та цен и скидок, общего анализа и прогнозирования рынка и уп­ равления поставками. Тест ТРС-Е также служит для оценки при­ годности вычислительных систем для задач DSS.

Тест ТРС-А стал базовым для создания всей серии ТРС, но он не мог охватить всего многообразия требований приложений OLTP. Поэтому в 1995 г. он был изъят из употребления. ТРС-В также утра­ тил актуальность в том же году. В связи с появлением эталонных тестов ТСН-Н и TPC-R тест ТРС-Д бьш изъят из применения в 1999 г.

3.7. МЕТОДИКА ОЦЕНКИ ГРАФИЧЕСКИХ ВОЗМОЖНОСТЕЙ

Приведенные вьппе методики предназначены для тестирования наиболее распространенных типовых вычислительных систем и при­ ложений. Однако массовое внедрение различного рода графических приложений (САПР, геоинформационные системы, мультимедиа и виртуальная реальность, архитектурное проектирование) потребо­ вало разработки своих, специфических методик оценки.

Примеры моделей и методик оценивания систем

187

Для оценок графических систем в настоящее время доступны несколько тестов, разработанных комитетом Graphics Performance Characterization (GPC), функционирующим под уп­ равлением Национальной графической компьютерной ассоциа­ ции (NCGA - National Computer Graphics Association), которая, в свою очередь, взаимодействует со SPEC. Комитет GPC предло­ жил три системы тестов, на основе которых производится тести­ рование графических систем. Первой тестовой системой являет­ ся Picture-Level Benchmark (PLB), фактически измеряющая ско­ рость визуализации. Результаты тестирования, доступные на сер­ вере //sunsite.unc.edu/gpc/gpc.html или www.ideas.com.au/bench/ gpc, приводятся для стандартной (PLBlit) и оптимизированной (PLBopt) конфигурации.

Кроме теста PLB комитет GPC публикует результаты измере­ ний по методике Хшагк93, используемой для оценки эффектив­ ности работы Х-сервера. Следует отметить, что фирмами-разра­ ботчиками чаще всего используется тест Xmark93, позволяющий оценивать не только аппаратуру, но и эффективность реализа­ ции Х-сервера и степень его оптимизации под конкретное графи­ ческое оборудование. Результаты измерений на основе данного теста обычно доступны на WWW-серверах фирм-производителей.

Далеко не полный список различных систем тестирования состоит из более чем 40 названий и включает такие тесты, как Ханойские пирамидки, EureBen, SYSmark, CPUmark32 (тест, спе­ циально разработанный для оценки систем на базе процессора Intel). Приведенные методики и системы тестирования являются наиболее распространенными и, что самое главное, признанны­ ми большинством фирм-производителей.

3 8. МЕТОДИКА ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ СУПЕРКОМПЬЮТЕРОВ

На рынке компьютерных технологий сейчас широко представ­ лены и активно продолжают разрабатываться различные супер­ производительные микропроцессоры: Alpha, MIPS, PowerPC/ P0WER2, НР7200/8000, Pentium Pro, превосходящие на различ-

188

Глава 3

ных тестах многие вычислительные системы, построенные на процессорах предыдущего поколения. Однако, несмотря на впе­ чатляющие успехи микропроцессорных технологий, разработчи­ ки уделяют большое внимание SMP, МРР и кластерным архи­ тектурным решениям. Решение наиболее «емких» вычислительных задач, например численного аэродинамического моделирования, связывается именно с суперкомпьютерными архитектурами, обес­ печивающими максимальную степень параллелизма. Так, напри­ мер, NASA Armes Research Center определяет необходимость ты­ сячекратного увеличения требуемых вычислительных мощностей.

Кроме крупнейших исследовательских центров, таких, как Cornell University, NASA, Air Force High Performance Computing Center, системы массового параллелизма используются для ана­ лиза и прогнозирования в бизнесе, что имеет целый ряд особен­ ностей, связанных с вычислительными методами, ОС, монитора­ ми параллельной обработки транзакций, библиотеками парал­ лельных вычислений и т.п. Ведущие производители поставляют на рынок коммерческих приложений вычислительные системы IBM SP2, SNI RM1000, CRAY Т916 Intel/Paragon и др.

Широко используемые системы Benchmark SPEC, ТРС и LINPACK, применяемые для традиционных архитектур, непри­ емлемы для МРР-архитектур. Например, тесты SPEC дают воз­ можность определить лишь производительность самих процес­ соров, тесты ТРС и LINPACK хотя и учитывают текущую кон­ фигурацию вычислительной системы в целом и пригодны для оценки задач OLTP и DSS, все же не достаточны для многопро­ цессорных архитектур. К тому же объемы используемых в этих тестах данных (даже для теста LINPACK ТРР - матрица разме­ ром 1000x1000) не позволяют полностью загрузить вычислитель­ ные ресурсы для получения реальных оценок. Для решения этой задачи специалистами из исследовательского центра NASA Ames Research Center были сформулированы основополагающие тре­ бования, которым должны удовлетворять тестовые методики оценки производительности суперкомпьютерных многопроцес­ сорных систем, особенно МРР:

• системы с массовым параллелизмом часто требуют новых алгоритмических и программных решений, а их конкретные реа­ лизации могут существенно зависеть от архитектуры компьюте­ ра и, как следствие, отличаться друг от друга;

Примеры моделей и методик оценивания систем

189

•тестовые смеси должны носить общий характер и не следо­ вать какой-либо конкретной архитектуре, что исключает исполь­ зование архитектурно-зависимого кода, например message passing code;

•корректность результатов должна быть легко проверяема, т.е. должны быть точно описаны входные и выходные данные и природа вычислений;

•используемая память и вычислительные ресурсы должны быть масштабируемыми для повышения производительности;

•тесты и спецификации используемых тестов должны быть доступны и подтверждаться повторной реализацией.

Сушествует подход, удовлетворяющий этим требованиям, при котором выбор конкретных структур данных, алгоритмов рас­ пределения процессоров и выделения памяти оставляется на усмотрение разработчика и решается в конкретной реализации тестов. Но система тестирования должна соответствовать неко­ торым правилам:

•все операции с плавающей точкой должны быть выполне­ ны с использованием 64-разрядной арифметики;

•все тесты должны быть запрограммированы на языках Фортран 90 и Си;

•не допускается смешение кодов этих языков;

•допускается использование компилятора High Performance Fortran (HPF) версии от января 1992 г. или более поздней;

•все используемые расширения языка и библиотеки должны официально поставляться фирмой-производителем;

•библиотечные подпрограммы за исключением оговорен­ ного списка должны быть написаны на одном из указанных языков.

Использование языков Си и Фортран обусловлено их рас­ пространенностью для подобного класса вычислительных систем. При этом важен запрет на использование ассемблерного кода, для того чтобы уравнять разрабатываемые тесты программ.

Тест NAS. Целью программы NAS, в рамках которой бьш разработан тест, было достижение к 2000 г. возможности прове­ дения за несколько часов полномасштабного численного моде­ лирования полета космического аппарата. Возможно, первой компьютерной системой, способной справиться с этой задачей, будет архитектура МРР.

190

Глава 3

Комплекс тестов NAS состоит из пяти тестов NAS Benchmarks Kernel и трех тестов, основанных на реальных задачах гидро- и аэродинамического моделирования. Этот круг задач не покры­ вает всего спектра возможных приложений, однако на сегодняш­ ний день этот комплекс тестов является лучшим и общепризнан­ ным для оценки параллельных многопроцессорных систем.

Как наиболее перспективные для определения производитель­ ности систем МРР выделяются именно последние три теста. Все требования к тестам описаны исключительно на уровне общего алгоритма, что позволяет производителям компьютеров выбрать наиболее приемлемые с их точки зрения методы решения задачи, структуры данных, дисциплину распределения заданий между процессорами и т.п. Тесты NAS призваны в первую очередь оце­ нить вычислительные возможности компьютерной системы и ско­ рость передачи данных между процессорами в параллельных си­ стемах, а производительность при выполнении операций вводавывода или различных пре- и постпроцессорных функций в данном тесте не оценивается.

При выполнении каждого теста замеряется время в секун­ дах, необходимое задаче, имеющей конкретный размер. Для более наглядной оценки потенциальных возможностей тестиру­ емой конфигурации вычисляется относительная производитель­ ность по сравнению с показателями традиционного векторного суперкомпьютера, в качестве которого обычно выступает одна из моделей Cray. Для NAS Benchmarks Kernel определяются два класса тестов: класс А и класс В, которые фактически отлича­ ются размерностью вычислений. Размер задач из класса В пре­ восходит размер задач из класса А примерно в четыре раза. Ре­ зультаты тестирования в классе А нормируются на производи­ тельность однопроцессорного компьютера Cray Y-MP, а в классе В-на производительность однопроцессорного Cray С90. Тесты класса А адекватно отражают производительность мас­ штабируемых систем с числом процессорных узлов менее 128. При оценке систем с количеством узлов до 512 следует исполь­ зовать тесты класса В.

Результаты тестирования некоторых известных вычислитель­ ных систем приведены в табл. 3.4. Эти данные весьма точно под­ тверждаются списком используемых во всем мире суперкомпью­ теров ТОР500.