Тема 6. Критерии оценки. Технология и методы контроля

6.1. Общий подход к выбору критериев оценки

Разработка любого проекта начинается с определения требований, которым должен удовлетворять проект. Список должен быть по возможности полным. Если в таком наборе не будет учтено и выполнено хотя бы одно требование, то в созданном проекте появится существенный недостаток, ограничивающий в последующем эффективность работы спроектированной системы. Список требований при проектировании представляет собой «ядро» технического задания. Следует отметить, что для разных фаз списки требований могут отличаться, следовательно, при разработке проекта должны быть составлены как общий список требований ко всему проекту, так и набор частных требований для отдельных фаз и этапов.

Любое требование должно быть измеряемым или оцениваемым. Именно требования являются теми параметрами, которые контролирует руководитель проекта. Контроль выполнения любого плана проводится путем сравнения заданных и достигнутых требований. К сожалению, такие отклонения при проектировании случаются довольно часто, ибо мы еще не овладели искусством прогноза, чтобы иметь возможность точно представить, какие изменения произойдут к конкретному времени в будущем. Поэтому организация непрерывного контроля позволяет выявлять причины, дестабилизирующие факторы, которые привели к отклонению от плана (срыв сроков, превышение расходов, низкое качество и т.д.) прежде чем будет нанесен ущерб проекту. Результаты контроля являются основой для возможных изменений планов, сроков, смет, т.е. оперативно вносить изменения в проект.

Условно все критерии оценки можно разбить на две группы:

–критерии развития – критерии, которые на протяжении конечного времени имеют тенденции к монотонному изменению и стремятся к своему оптимуму. Эти показатели осознаются как мера совершенства и прогрессивности (степень автоматизации и использования информационных технологий, материало- и энергоемкость и т.д.).

–критерии качества – показатели состояния системы или объекта, которые могут быть изменены путем введения инноваций в структуру разрабатываемой системы. Эти критерии напрямую связаны с введением более прогрессивных частных решений.

Отработка полного набора критериев оценки проводится на протяжении всего жизненного цикла проекта. Именно в процессе выполнения отдельных фаз

иэтапов выявляются неучтенные требования (непредвиденные внешние воздействия, появление конкурентов), неточные требования (недостаточные или завышенные показатели), неудовлетворенные требования (появившиеся вновь) и добавочные требования, которые могут улучшить какой-либо показатель.

Набор основных требований для большинства проектов совпадают [13, 14, 18] (табл. 2.2.4).

48

					Таблица 2.2.4
	Наиболее употребительные критерии оценки проектов
Виды	Политико-	Функцио-	Технологические	Экономи-	Антропологи-
кри-		нальные кри-		ческие	ческие крите-
териев	социальные	терии	критерии	критерии	рии
На-	Рейтинг.	Основные так-	Квалификация ко-	Объем ра-	Экологические
звание	Размер потре-	тико-техничес-	манды.	бот.	нарушения.
кри-	бительской	кие параметры.	Виды обеспечения	Сроки.	Безопасность
териев	корзины.	Областьдопус-	(информ., матем.,	Затраты раз-	для операторов.
	Уровень ин-	тимыхрешений.	организац.).	личного ви-	Эргономиче-
	фляции.	Ограничения.	Трудоемкостьработ.	да ресурсов.	ские удобства.
	Темпы роста.	Жизнеспособ-	Объемдокументации.	Коммерче-	Культурные
	Рыночные	ность в зависи-	Технологические	ский риск.	взаимоотноше-
	аспекты.	мости от внеш-	возможности.	Себестои-	ния внутрикол-
	Стиль руко-	нихусловий	Техника управления	мость.	лектива и с
	водства		проектом	Прибыль	внешней средой

Примечание: слушатели должны добавить по несколько критериев в каждый столбец таблицы 2.2.4.

6.2. Методы количественной оценки критериев

Рассмотрим кратко основные методы оценки:

Индексные методы измерений (ИМИ) – измерение параметров с помощью стандартных контрольно-измерительных приборов (КИП). ИМИ позволяют с определенной точностью получать численное (количественное) значение измеряемого параметра. Результат измерений может быть представлен в виде абсолютного (значение измеряемой величины) и относительного (по отношению к заданному, определенному, максимальному значению) значений.

Экспертные методы измерений (ЭМИ) – ориентированы на человека как непосредственного измерителя качества. Ошибки ЭМИ несколько больше из-за субъективизма ощущений экспертов. ЭМИ основаны на интеллекте (опыте) или чувствительных (сенсорных) способностях специалистов. Результаты оценок представляются в виде бальной шкалы. Например: оценка знаний студента, выступление фигуристов и т.д. Задачи, решаемые ЭМИ, многообразны. ЭМИ обычно применяются для:

–оценки процедур качества в целом;

–оценки весовых коэффициентов;

–определения состава оценочных показателей;

–обоснования системы базовых значений показателей;

–обоснования граничных оценочных показателей.

Наиболее часто используются следующие разновидности ЭМИ:

–социометрические – группа специалистов (экспертов) в анализируемой области, в определенное время, по отношению к определенной, частной задаче дают свою относительную оценку по бальной шкале;

–психофизические – базируются на предыдущем опыте специалиста, производящего оценку: «Я знаю, что так делать лучше» (Почему? Правильно ли?);

49

–тестовые (сравнительные) – на входы нескольких систем подаются тестовые сигналы (набор тестовых вопросов), затем определяется системы с наиболее приемлемым откликом.

Таксонометрические методы измерений (ТММИ) – методы сравнения нескольких систем по совокупности тождественных признаков качеств объекта или процесса, т.е. набор тождественных признаков. Наиболее часто используются признаки:

- морфологические (по структуре объекта); - функциональные (по выполняемым действиям);

- по потребностям (оцениваются потребительские качества); - по эффективности (эффективность, рентабельность); - по новизне (новизна, глубина новизны);

- по безопасности (влияние на человека, окружающую среду) и т.д. ТММИ на первый взгляд просты, однако таят в себе много «подводных кам-

ней», проявляющихся в процессе выбора сравниваемых систем (разве можно сравнивать человека с обезьяной). Эти «подводные камни» можно в значительной степени избежать (или по крайней мере ослабить их действие), если учесть, что:

–для каждой операции, технологического процесса, устройства, системы существует своя система сравнения, в рамках которой можно проводить сравнение (целесообразно ли сравнивать будильник и молоток?);

–для любого сравнения должна быть определена база (перечень) параметров и данных (БПД), в рамках которых проводится сравнение;

–каждой БПД соответствует класс объектов, которые можно сравнивать;

–увеличение БПД автоматически приводит к уменьшению количества сравниваемых объектов;

–не сравниваемые качества можно перевести в сравниваемые при переходе к более укрупненным параметрам. (Например, оборудование для переработки молока в масла методами сбивания и преобразования высокожирных сливок сравниваются как маслобойки);

–полное сравнение, при сопоставлении отношений тождества и отличия;

–любая оценка зависит от субъекта, проводящего оценку;

–любая оценка зависит от времени проведения измерений и изменяется со временем.

Вероятностно-статистические методы измерений (ВСМИ) – базиру-

ются на теории вероятностей и математической статистики, позволяют оценивать параметры устройств в условиях дефицита информации. ВСМИ широко применяются в промышленности. Разработан стандарт их применения: анализ и синтез сводных показателей эффективности и качества сложных систем в условиях дефицита информации (АСПИД). Задачи, решаемые с помощью ВСМИ:

–оценка статистической точности результатов измерения;

–оценка риска выполнения операции;

–оценка статистической неопределенности (наработка на отказ);

–статистическая интерполяция;

–определение частных показателей с помощью регрессионного, факторного, дисперсионного, конформного анализов;

–построение прогнозных баз оценки (ПБО).

50

К сожалению, работать с большим количеством параметров при проведении работ по анализу и сравнению альтернатив крайне неудобно. Поэтому обычно вводится понятие обобщенного критерия оценки (ОК).

6.3. Обобщенный критерий оценки (ОК)

ОК – вид интегральной записи набора частных критериев оценки, позволяющих одновременно проводить анализ системы по нескольким показателям.

Существуют три подхода к формированию ОК и три формы записи ОК в зависимости от цели, задачи.

Три подхода к формированию ОК: стоимостный, ценностный, прогрессивный.

Стоимостный подход – переносит центр тяжести на характеристики затрат и доходов. Основа подхода – быстрая прибыль. В настоящее время, к сожалению, этот подход доминирует, особенно при рекламе зарубежных товаров.

Ценностный подход (потребительская значимость, общественная полезность, экологичность, безвредность) – нацелен на потребителя (человека). Этот подход самый интересный.

Прогрессивный подход – предполагает основное внимание обращать на техническое совершенство организаций, структур, технических решений и технологических линий, их перспективность для дальнейшего совершенствования.

Эти подходы во многом противоречивы. Бытует даже выражение: «Экономика плохо восприимчива к новым научно-техническим достижениям». Состав исходных частных критериев для каждого подхода совпадает. Отличия проявляются только в определении весовых коэффициентов частных критериев (степени важности того или иного критерия в выбранном подходе). Именно последнее определяет конечный результат.

Три формы записи ОК

Первая форма записи ОК предполагает построение некоторой формальной математической связи локальных критериев оценки с ОК.

Перед изложением процедуры построения ОК необходимо сделать несколько замечаний. Очевидно, что набор критериев оценки практически для любой системы довольно большой. Каждый критерий имеет свою размерность. Следовательно, первым шагом должен быть найден подход, позволяющий оперировать с величинами разной размерности. Чаще всего для этого используется процедура перехода к безразмерным коэффициентам. В качестве нормирующего множителя предлагается использовать среднеожидаемый показатель (например, среднестатистическую производительность для оборудования определенного класса). Если при оптимизации необходимо отыскать максимальное значение показателя, то рассматривается отношение К= (Кμ/ Кμ max), если минимальное значение показателя, то К =(1- Кμ/ Кμ max ).

Чаще всего обобщенный показатель записывается в виде средне взвешенной геометрической (мультипликативной) функции [5, 18]:

K = μПl=1 K μ α, μ

где l – число показателей частных критериев оценки; αμ – весовой коэффициент критерия Кμ.

51

Или в виде средневзвешенной арифметической аддитивной функции:

K = ∑l (αμ × K μ )

μ=1

Для стоимостного подхода запись К упрощается:

K = ∑l (xi ×Si −Zi −Pi ),

i=1

где i – количество видов продукции; Si – стоимость единицы продукта;

Zi – затраты на производство i-го продукта; Pi – непроизводственные расходы.

Вторая форма записи ОК предполагает сведение многокритериальной задачи к квазиоднокритериальной. В этом случае за основу выбирается один критерий, самый главный для поставленной задачи, остальные переводятся в ранг ограничений, в пределах которых они могут изменяться.

Третья форма записи ОК («метод последовательных уступок») весьма рас-

пространена. Суть 3-й формы заключается в следующем. Первоначально проводится ранжировка всех критериев по степени важности и решается задача оптимизации относительно первого (самого важного) в этом ряду. Далее определя-

ются допустимые отклонения рассмотренного критерия от своего оптимального

значения, и в этих пределах оптимизируется второй по значимости критерий.

Аналогичные операции производятся с последующими критериями. Преимуще-

ство этой формы: она позволяет определить, какой выигрыш можно получить в

одном показателе, если уступить в другом.

Используемая форма записи зависит от задачи и степени подготовленности лица, принимающего решение. Все три формы записи непротиворечивы, они дополняют друг друга.

«Подводные камни», встречающиеся на пути записи ОК:

1.Указанные критерии справедливы только для изолированных систем.

Однако это понятие изолированной системы – очень приближенное, действительно изолированных систем в природе нет. Любая система является подсистемой более общей системы. Поэтому оптимизация подсистемы не всегда приводит к оптимизации всей системы. Пример: модернизировали молокозавод, но

сырья – молока стало меньше, оно отвлекается на другие задачи; вывод: работа

проведена впустую, даже во вред.

2.Иногда оптимизация одного параметра или коэффициента приводит к ухудшению другого параметра.

3.Оптимальное решение – «хрупкое». Невыполнение (отклонение) какогото параметра от номинала может привести к другому варианту.

4.Любое сравнение проводится с точки зрения «лучше – хуже», реже может быть выявлено направление движения. ОК не позволяет оценить целесооб-

разность решения и его реализуемость.

5.Любой критерий только приближенно оценивает цель. Например, будет ли оптимизирован параметр научной ценности человека, если взяты исходные параметры: степень, звание, место работы папы и мамы, количество статей, острота зрения, время, проведенное в библиотеке?

52