2. Зарубежный опыт сертификации и аттестации программных средств.

За рубежом разработками стандартов и других нормативно-технических документов, относящихся к аттестации и сертификации программных средств, заняты такие организации, как ISO - международная организация по стандартизации, IEC международная электротехническая комиссия, IEEE институт инженеров по электротехнике и электронике, ряд организаций США, Великобритании, Германии, Франции. Следует особо отметить, что указанными разработками заняты и военные органы ведущих стран, в частности Министерство обороны США и военный стандарт США.

Результатом взаимодействия этих организаций явилось появление ряда стандартов, таких, как IEEE-Std-73O-1981, DOD-Std-2167, DOD-Std-2168, MIL-Std-1679, MIL-HDBK334 и ряда других. Помимо этого существует множество внутренних документов и стандартов организаций-разработчиков, являющихся их собственностью и недоступных для широкого использования, ряд из которых имеют достаточно высокий уровень. К ним относятся, например, руководство по тестированию программного обеспечения воздушных сил США, схема управления программным обеспечением для научных исследований и т. д.

3. Организация сертификации и аттестации программных средств в рф.

Для координации действий по управлению качеством при разработке программных средств, сертификации, аттестации и фондированию программных средств создаваемых в МО РФ создан центр информационных технологий аттестации и фондирования ПС МО (ЦИТАФ) .

ЦИТАФ за годы функционирования (с 1 сентября 1993 г.) приобрёл соответствующий опыт и в настоящее время проводит следующие работы:

разработка частных методик, планов, программ испытаний, тестов для проведения аттестации и сертификации (А и С) конкретных ПС на основе изучения особенностей их функционирования и испытаний;

проведение испытаний ПС в соответствии с разработанными частными методиками;

анализ результатов испытаний ПС и оформление заключения (аттестата, сертификата) испытуемого ПС на соответствие его требованиям заказчика, либо стандарта;

проведение исследований в области аттестации и сертификации программных средств (А и С ПС);

разработка методических и инструментальных средств А и С ПС;

взаимодействие с другими центрами и координация работ по А и С ПС;

участие в разработке стандартов и других нормативных документов, регламентирующих оценку качества ПС;

предоставление консультационных и информационных услуг в области А и С ПС;

фондирование ПС, прошедших А и С;

распространение опыта организации и проведения А и С ПС (школы, курсы, семинары) и др.

Для проведения сертификационных испытаний определяется необходимый состав технических и программных инструментальных средств, обеспечивающих максимальную полноту исследования аттестуемого ПС.

Проверка ПС производится на соответствие требованиям ТЗ, ТУ или эксплуатационных документов; на наличие компьютерных вирусов (КВ); на наличие “программ-закладок".

Проверка на соответствие требованиям ТЗ, ТУ или ЭД осуществляется после инсталляции испытуемого ПС на подготовленный стенд путём оценки правильности функционирования ПС во всем множестве предусмотренных режимов в соответствии с инструкцией или руководством для пользователя. Для этого в зависимости от функций, выполняемых ПС, создаются контрольные наборы входных данных, режимов, команд управления и проверяется правильность реагирования ПС на них. Кроме того, рассматривается представленная документация на ПС на предмет соответствия её требованиям ТУ, ТЗ, ЭД, стандартов.

Проверка на наличие КВ осуществляется на специальном стенде антивирусных проверок. В ходе проверки осуществляется:

поиск вирусоподобных фрагментов кодов программ в исследуемых ПС с помощью соответствующих инструментальных средств;

моделирование условий, ситуации, событий в программной среде, предположительно способных вызвать активизацию КВ;

анализ особенностей функционирования аттестуемых ПС в операционной среде (запросы на выполнение критичных операций, прерываний и т. д.);

карантинная эксплуатация аттестуемого ПС в режимах максимальной загрузки с анализом состояния операционной среды.

Аналогичным образом производится проверка на наличие “программ-закладок”.

Для идентификации исследуемого ПС по окончании сертификационных исследований (при его распространении и эксплуатации) определяются по согласованию с заказчиком некоторые контрольные атрибуты ПС, как правило, контрольные суммы.

По результатам аттестационных исследований оформляются следующие документы:

аттестат соответствия ПС в случае успешного прохождения испытаний, а также перечни контрольных атрибутов ПС, определённых в процессе испытаний;

акт мотивированного отказа в выдаче аттестата соответствия, если сертификационные испытания завершились неуспешно, перечни обнаруженных недостатков, замечаний и предложений заказчику;

отчёт о выполненных работах по аттестации ПС, в котором отражаются цели, методы, средства и результаты проверок.

В целях совершенствования работ по сертификации ПС в Министерстве обороны РФ создана централизованная система органов сертификации и фондирования общего и специального математического и программного обеспечения.

Контроль за созданием СМПО, разрабатываемого в интересах видов ВС, возложен на видовые центры сертификации и фондирования.

Ввиду критических последствий использования некачественных ПС в системах управления МО РФ недопустимо использование программных средств, не прошедших сертификацию.

На ЦНИИ МО РФ - головного разработчика СМПО высшего звена управления, возлагается аттестование видовых сертификационных центров, выдача им лицензий на право проведения сертификации программных средств, распространение на объекты МО РФ лицензионных программных средств, а также осуществление координации видовых центров и ведение ФАП МО РФ.

Необходимо отметить, что оценка качества программных средств может осуществляться на различных этапах их жизненного цикла. При этом всякий раз решается вполне конкретный вопрос, свойственный данному этапу.

Так, верификация - это процесс определения соответствия продукта на данном этапе жизненного цикла программного обеспечения требованиям, установленным во время предыдущего этапа. Обычно это формальная проверка, отвечающая на вопрос - был ли продукт построен правильно?

Аттестация - это процесс оценки программного обеспечения в реальных (но ещё не эксплуатационных) условиях в конце процесса его разработки с тем, чтобы гарантировать его соответствие требованиям технического задания (заказчика или пользователя).

Аттестация может быть отнесена к субъективной проверке, отвечающей на вопрос: "был ли построен правильный продукт?".

Наконец, в соответствии со СТ СЭВ 5878-87 сертификация - это действие третьей стороны, доказывающие, что обеспечивается необходимая уверенность, что должным образом идентифицированная продукция, процесс или услуга соответствуют конкретному стандарту или другому нормативному документу. Результатом сертификации является выдача сертификата соответствия или знака соответствия.

Сертификация программного обеспечения в ВМФ осуществляется Центром компьютерной безопасности, созданным при ЦНИИ ВМФ на основании разрешения Гостехкомиссии Российской Федерации. Указанный центр действует на основе Временного положения о порядке проверки и аттестования (сертификации) общего и специального программного обеспечения комплексов средств автоматизации ВМФ.

При необходимости Цент Компьютерной безопасности может привлекать к сертификационным испытаниям программных средств в качестве экспертов специалистов центральных управлений ВМФ, НИУ ВМФ и флотов, а также специализированных организаций Министерства обороны и Российской академии наук.

Сертификация проводится по заявкам разработчиков или заказчиков программного обеспечения, по заявкам штабов флотов, а также при приёме программного обеспечения в эксплуатацию на объектах ВМФ или в Фонд алгоритмов и программ ВМФ.

Оценка качества программного обеспечения проводится в соответствии с методикой, установленной ГОСТ 28195-89 “Оценка качества программных средств” и системных требований ВМФ к информационному и программному обеспечению на всех этапах жизненного цикла программных средств.

Проверка импортных программных средств осуществляется по специальной методике с целью выявления модулей, функционирование которых приводит к искажению или уничтожению программ и информационных массивов или отказам технических средств.

В ходе оценки качества программных средств используются описания алгоритмов и программ, результаты решения контрольных примеров, акты испытания программного обеспечения в организациях промышленности и Министерстве обороны Российской Федерации.

В процессе подготовки технического задания на разработку программных средств заказчик должен определить требования к качеству и безопасности. Номенклатура показателей качества и, характеризуемые ими свойства программных средств, приведены в таблице 1.

Т а б л и ц а 1

№ п/п	Наименование групп и показателей качества	Характеризуемое качество
1	2	3
1	Показатели надежно­сти программных средств	Характеризуют способность программных средств в кон­кретных областях применения выполнять заданные функции в соответствии с программными документами в условиях возник­новения отклонений в среде функционирования, вызванных сбоями технических средств, ошибками во входных данных, ошибками обслуживания и другими дестабилизирующими воз­действиями
1.1	Устойчивость функционирования	Способность обеспечивать продолжение работы программы после возникновения отклонений, вызванных сбоями техниче­ских средств, ошибками во входных данных и ошибками обслу­живания
1.2	Работоспособность	Способность программы функционировать в заданных режи­мах и объёмах обрабатываемой информации в соответствии с программными документами при отсутствии сбоев технических средств
2	Показатели сопровождения	Характеризуют технологические аспекты, обеспечивающие простоту устранения ошибок в программе и программных доку­ментах и поддержания программного средства в актуальном со­стоянии
2.1	Структурность	Организация всех взаимосвязанных частей программы в единое целое с использованием логических структур “последовательность”, “выбор”, “повторение”
2.2	Простота конструкции	Построение модульной структуры программы наиболее ра­циональным с точки зрения восприятия и понимания образом
2.3	Наглядность	Наличие и представление в наиболее легко воспринимаемом виде исходных модулей программных средств, полное их описа­ние в соответствующих программных документах
2.4	Повторяемость	Степень использования типовых проектных решений или компонентов, входящих в программное средство
3	Показатели удобства применения	Характеризуют свойства программных средств, способст­вующие быстрому освоению, применению и эксплуатации про­граммного средства с минимальными трудозатратами с учетом характера решаемых задач и требований к квалификации об­служивающего персонала
3.1	Легкость освоения	Представление программных документов и программы в виде, способствующем пониманию логики функционирования программы в целом и её частей
3.2	Доступность эксплуатационных документов	Понятность, наглядность и полнота описания взаимодействия пользователя с программой в эксплуатационных программных документах
3.3	Удобство эксплуатации и обслуживания	Соответствие процесса обработки данных и форм представ­ления результатов характеру решаемых задач
4	Показатели эффективности	Характеризуют степень удовлетворения потребности пользо­вателя в обработке данных с учётом экономических, вычисли­тельных и людских ресурсов
4.1	Уровень автоматизации	Уровень автоматизации функций процесса обработки данных с учётом рациональности функциональной структуры программы с точки зрения взаимодействия с ней пользователя и использо­вания вычислительных ресурсов
4.2	Временная эффективность	Способность программы выполнять заданные действия и ин­тервал времени, отвечающий заданным требованиям
4.3	Ресурсоемкость	Минимально необходимые вычислительные ресурсы и число обслуживающего персонала для эксплуатации программного средства
5	Показатели универсальности	Характеризует адаптируемость программных средств к но­вым функциональным требованиям, возникающим вследствие изменения области применения или других условий функциони­рования
5.1	Гибкость	Возможность использования программного средства в раз­личных областях применения
5.2	Мобильность	Возможность применения программного средства без суще­ственных дополнительных трудозатрат на ЭВМ аналогичного класса
5.3	Модифицируемость	Обеспечение простоты внесения необходимых изменений и доработок в программу в процессе эксплуатации
6	Показатели корректности	Характеризуют степень соответствия программных средств требованиям, установленным в технических заданиях, требова­ниям к обработке данных и общесистемным требованиям
6.1	Полнота реализации	Полнота реализации заданных функций программного сред­ства и достаточность их описания в программной документации
6.2	Согласованность	Однозначное, непротиворечивое описание и использование тождественных объектов, функций, терминов, определений, идентификаторов и т. д. в различных частях программных до­кументов и текста программы
6.3	Логическая корректность	Функциональное и программное соответствие процесса обра­ботки данных при выполнении задания общесистемным требо­ваниям
6.4	Проверенность	Полнота проверки возможных маршрутов выполнения про­граммы в процессе тестирования

Выбор показателей качества для конкретного программного средства осуществляется заказчиком с учётом его назначения, требований области применения и рекомендаций ГОСТ 28195-89 “Оценка качества программных средств”.

По безопасности применения программные средства должны отвечать следующим требованиям:

- нарушение требуемого порядка взаимодействия пользователя с задачей, ошибки входных данных, сбои и отказы технических средств не должны приводить к искажению или уничтожению программного обеспечения и информационных массивов;

- программное обеспечение и информационные массивы должны быть защищены от несанкционированных действий пользователей и обслуживающего персонала, а также непредусмотренного алгоритмами функционирования влияния других программных средств объекта ЭВТ;

- в процессе функционирования должны использоваться общесистемные программные средства принятые в фонд алгоритмов и программ ВМФ и допущенные к обработке секретной информации.

Защита программ и информационных массивов программного средства от несанкционированных действий оператора должна обеспечиваться его собственными средствами или системой защиты объекта ЭВТ.

При положительных результатах испытаний Центр компьютерной безопасности выдаёт заказчику сертификаты качества и безопасности на проверенные им программные средства, в которых указываются документы, устанавливающие требования по качеству, показатели, технические средства, на которых производилась проверка, а также перечень основных эксплуатационных ограничений программного средства.

В ходе подготовки тематической карточки на НИОКР по разработке АСУ, средств автоматизации или программного обеспечения, для оценки возможностей по созданию качественных программных продуктов производится аттестация предприятий-разработчиков. В ходе аттестации предприятия оценивается:

- опыт разработки сложных программных продуктов, в том числе по заказам ВМФ или других органов МО РФ;

- технология производства программных продуктов;

- техническая оснащённость и загрузка производственных мощностей;

- укомплектованность и уровень подготовки специалистов;

- удобство взаимодействия заказчиков с разработчиками программного обеспечения;

- степень использования базовых средств общего программного обеспечения принятых в ВМФ;

- обеспечение режима секретности.

По результатам аттестации предприятия - разработчика заказчику выдаётся заключение о способности предприятия производить качественные программные продукты.

В заключении необходимо ещё раз подчеркнуть, что боевые возможности современных и перспективных систем вооружений существенным образом зависят от качества и защищённости их программного обеспечения. В свою очередь решение проблемы качества и безопасности программного обеспечения систем военного назначения возможно только при наличии единой концепции управления системой качества производства программного обеспечения систем военного назначения, координации усилий всех заинтересованных организаций, разработке нормативно-методической базы и инструментальных средств испытаний ПО, создании испытательных центров и их оснащении соответствующими техническими средствами.

1Мэйнфрейм – компьютер, обладающий значительными объемами памяти и производительностью. Используются для выполнения объемных информационно-расчетных и для интеграции больших неоднородных компьютерных сетей. Пример Мэйнфрейма – ЕВМ ЕС – 1066.