КВАЛИМЕТРИЯ 2

Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ	11

Модель

Группировка		Группировка		Определение		Генерация
объектов		потребителей		массива		показателей
оценивания				решений		качества

Определение		Разработка		Построение		Группировка
коэффициентов
		шкал		дерева свойств		показателей
весомости
		показателей				качества
показателей

Определение		Конструирование		Расчет
		и проверка			Показатель
взаимодействия				показателя
		алгоритма
показателей				качества
		(выбор метода)

Рис.1.2. Основная схема квалиметрии

Все содержание квалиметрии по существу сводится к разработке эффективных способов выполнения этих операций применительно к различным сферам жизнедеятельности человека.

Рассмотрим кратко содержание этих основных операций, акцентируя внимания на вопросах, непосредственно связанных с выполнением требований всеобщего менеджмента качества (TQM).

1.1.1. Группировка объектов оценивания и потребителей

Группировка объектов оценивания и потребителей образуют ситуацию оценивания, т.е. часть периода существования объекта, в который проявляются его потребительские свойства.

Группировка позволяет выделить такие объекты, которые с точки зрения потребителя являются однородными и, следовательно, для которых может быть найдена количественная оценка качества по одной и той же разрабатываемой методике. В ряде случаев, как это будет показано ниже, выполняют оценку качества неоднородных объектов.

Вквалиметрии необходимо выполнять группировки 3-х типов объектов:

–группировка промышленных изделий или услуг;

–группировка потребителей этих изделий или услуг;

–группировка показателей качества.

Группировка показателей качества выполняется, как правило, на более поздних этапах квалиметрической оценки, после генерации массива показателей качества, и может при необходимости выполняться многократно.

Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»

12	Теоретические основы квалиметрии

Таким образом, типичное для квалиметрического мониторинга описание ситуации оценивания включает:

1)определение однородных групп потребителей – лиц, предъявляющих одинаковые требования к оцениваемой продукции – и указание на те из них, с чьих позиций будет произведено оценивание качества – основных потребителей;

2)определение однородной группы объектов, подлежащих оцениванию, и анализ этапов существования этих объектов, во время которых главную роль играют различные свойства объектов;

3)определение особых условий (например, климатических или социальных), в которых происходит эксплуатация объектов оценивания;

4)определение лучших объектов (базовых образцов), предназначенных для выполнения тех же функций, что и объекты, подлежащие оцениванию, с которыми может быть проведено сопоставление – выполнение этого положения необходимо тех случаях, когда в результате применения методики оценивания качества необходимо обеспечить высокую конкурентоспособность промышленной продукции;

5)определение цели оценивания, т.е. решений, которые будут приняты в отношении оцениваемых объектов при тех или иных значениях комплексной оценки качества.

1.1.2. Определение массива решений

Определение массива решений является одним из важных этапов проведения оценки. Массив решений определяет состав используемых в алгоритме показателей качества и способы обработки этих показателей. Решения могут быть классифицированы следующим образом:

–общие, используемые при оценивании сложной системы;

–частные, применяемые для оценки объекта по отдельным показателем или группам показателей;

–бинарные, имеющие только два состояния, например, участвовать или не участвовать, закупать или не закупать и т.д.

Всякая количественная оценка качества процесса, продукции или услуги имеет смысл только в сочетании с теми решениями, которые вытекают из различных значений этой оценки. При этом возможны два варианта:

–решения жестко связаны с оценками, т.е. полученная объектом оценка непосредственно определяет решение, которое будет принято по отношению к нему, независимо от того, какие оценки получены другими объектами;

–решения в отношении одного из объектов принимают в зависимости от того, какие оценки получены другими объектами (конкурсная ситуация).

Так, например, на первом уровне обеспечения качества – техническом контроле – решение о присвоении той или иной категории качества в отношении определенного изделия принимают независимо от того, какую категорию получил другой объект.

Вместе с тем, например, при выборе одного из нескольких конструктивных вариантов изделия для серийного производства или в другой конкурсной

Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ

Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ	13

ситуации, решение принимают исходя из того, какое место занимает оценка данного изделия по отношению к оценкам других изделий.

Цель оценивания, т.е. совокупность решений, которые будут приняты в отношении оцениваемых объектов, играет решающую роль в разработке и применении методики оценивания качества (МОК).

Если цель оценивания плохо разъяснена специалистам, разрабатывающим МОК, то эти специалисты (аналитики, эксперты, инженеры по знаниям) помимо своей воли вообразят себе какую-либо вероятную, с их точки зрения, цель и будут определять значимость тех или иных показателей, исходя из этой воображаемой цели. При этом могут появиться принципиальные расхождения оценок или же разработанная МОК окажется вообще неприменимой.

1.1.3. Генерация показателей качества

Генерация показателей качества – этап, позволяющий из неопределенно большого числа показателей выделить только такие, которые интересуют потребителя. Частные показатели объединяют в однородные группы. Объединение проводят до тех пор, пока не будет получен единый комплексный показатель. Полученную структуру называют “деревом свойств”.

Дерево свойств – это графическое представление разложения сложного свойства (интегрального качества) на совокупность простых единичных свойств, осуществляемое в виде последовательного многоуровневого разбиения (декомпозиции) каждого более сложного свойства на группу менее сложных – рис.1.3.

Номер уровня, к которому отнесен каждый показатель дерева, определяется местом соединения этого показателя в группу с хотя бы одним другим показателем. Так, например, если показатель объединяется с другими на границе 0-го и 1-го уровней, то он относится к первому уровню, если на границе 2-го и 3-го – к третьему уровню и т.д.

Для однозначной идентификации любого показателя качества или его коэффициента весомости используют многоуровневое обозначение:

i j k

индекс показателя внутри группы этого уровня

индекс группы на этом уровне

индекс уровня

В квалиметрии дерево свойств имеет два назначения: во-первых, дисциплинирует мышление и, во-вторых, представляет собой графическое отображение алгоритма расчета комплексной оценки качества.

Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»

14									Теоретические основы квалиметрии
															Показатель
															3.1.1
									Показатель
									2.1.1
															Показатель
			Показатель
															3.1.2
			1.1.1
									Показатель
									2.1.2
	Комплексный		Показатель												Показатель
	показатель		1.1.2												3.2.1
															Показатель
															3.2.2
															Показатель
															3.2.3

Показатель

2.2.1

Показатель

1.1.3

Показатель

2.2.2

Уровень 0

Уровень 1

Уровень 2

Уровень 3

Рис.1.3. Пример изображения дерева общих свойств

В настоящее время отсутствует теоретическое обоснование построения деревьев свойств, однако установлены некоторые общие правила:

1)деление по равному основанию (одинаковому признаку). В любой группе свойств должен быть единый для всей группы признак деления. В связи с тем, что группировка показателей представляет собой сложный процесс, формирование дерева свойств целесообразно начинать с последних его уровней, т.е. с отнесения единичных показателей к тем или иным комплексным показателем предпоследнего уровня;

2)независимость свойств по их влиянию на качество. Независимость означает, что оценка влияния на качество показателя, характеризующего одно свойство, не зависит от оценки влияния на качество другого показателя, характеризующего другое свойство;

3)необходимость и достаточность числа свойств в группе.

Первоначально составляемая группа показателей должна удовлетворять требованию наибольшей полноты. На этом этапе один и тот же показателей может быть включен сразу в несколько групп. Позже его можно исключить,

Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ

Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ	15

если необходимость его присутствия не будет доказана расчетом или логическим условием. Далее выявляется достаточный набор показателей в каждой группе. При этом из каждой группы исключаются показатели, оценки согласованности которых не достигают заданного уровня согласованности.

Формирование деверева свойств целесообразно начинать с последних его уровней – с отнесения единичных показателей к тем или иным комплексным показателям предпоследнего уровня. Однако разные эксперты могут по-разному сгруппировать одни и те же показатели, поэтому возникает необходимость проверить согласованность группировок и сформировать

обобщенные группировки.

1.1.4. Группировка показателей качества

После того, как составлен список потребительских показателей качества оцениваемой продукции или услуги и построено дерево общих свойств, выполняют группировку показателей. В составленном списке имеются как частные, так и комплексные показатели различного уровня. Пользуясь деревом общих свойств, объединяют частные показатели в группы. Каждой группе присваивают свое индивидуальное название, например, «функциональные показатели», «информационные показатели», «технические показатели», «эстетические показатели» и т.д. Если название группы придумать затруднительно, можно дать ей название по одному из наиболее важных показателей, входящих в группу. Дублирующие формулировки одного и того же свойства следует исключить. Формулировки, воспринимаемые слишком расплывчато, уточняют.

Статистическая обработка группировок включает поиск выпадающих показателей, поиск согласованных групп показателей и проверку согласованности группировки каждого эксперта с общим составом показателей в согласованной группе.

Мерой принадлежности некоторого показателя качества q к группе аналогичных показателей S служит число α, указывающее ту часть экспертов, которые включили объект q в данную группу. Величина α называется «уровнем согласованности» экспертов в отношении показателя q:

	n(q)	,	(1)

n

где n(q) – число экспертов, включивших показатель q в группу S; n – общее число экспертов.

Для включения показателя q в обобщенную аналитически обоснованное критическое значение превышение которого означает включение показателя q

группу S0 выбирают αкр, достижение или в группу S0.

Внаиболее ответственных задачах следует принимать значение αкр = 1.0,

вменее ответственных – αкр = [0.8 0.66], но не ниже 0.5.

Затем, рассчитывая значения уровня согласованности для каждого показателя, включенного хотя бы одним экспертом в группу S, находят те

Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»

16	Теоретические основы квалиметрии

показатели, для которых α(q)>αкр. Эти показатели и составляют согласованную

группу S0.

Далее проверяют, насколько индивидуальная группировка каждого эксперта совпадает с полученной обобщенной группой S0. Мерой согласованности индивидуальной группировки i-го эксперта с группой S0 служит число β, указывающее долю включенных этим экспертом показателей из согласованной группы S0 от всех показателей индивидуальной группировки, предложенной этим экспертом:

	ki (S0 )	,	(2)
	ki

где ki(S0) – число показателей качества, включенных в индивидуальную группировку эксперта и входящих в обобщенную группу S0;

ki – общее число показателей в индивидуальной группировке i-го эксперта.

Индивидуальная экспертная группировка считается выпадающей, если β < 0.8 или, в менее ответственных задачах, β < 0.5.

Получив достаточный набор сгруппированных показателей, определяют коэффициенты их весомости. После нормирования оценок из каждой группы исключают показатели, у которых значения нормированных коэффициентов весомости не превышает 0.1. Число частных показателей в группе, как правило, не превышает 5.

Следует отметить, что максимальное количество показателей на каждом уровне, в каждой группе и внутри группы не следует выбирать больше 9, чтобы исключить визуальную и семантическую перегрузку построенной иерархической структуры.

Если сформировать обобщенные группы показателей не удается, следует поступить следующим образом:

1). Провести собрание экспертной группы, на котором обсудить причины расхождений и, устранив их, повторить группировки. Например, если причина расхождений заключаются в неодинаковом содержании, вкладываемом экспертами в название того или иного свойства, то следует уточнить это содержание и предложить всем экспертам придерживаться единой трактовки названия свойства.

2). Если согласованности добиться не удалось, то следует разделить всю совокупность экспертных группировок на внутренне согласованные группы и проводить дальнейшую разработку МОК в нескольких вариантах – по числу согласованных групп.

3). Если предыдущий вариант неприменим – следует распустить экспертную группу, изменить принципы отбора экспертов и сформировать группу заново.

Эта последовательность действий характерна не только для выполнения экспертных группировок, но и для всех видов экспертных оценок при обнаружении их несогласованности.

Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ

Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ	17

По отношению к выпадающим – «еретическим» – оценкам отдельных экспертов нельзя поступать так, как по отношению к выпадающим результатам инструментальных измерений, т.е. отбрасывать их, как заведомо ошибочные.

Причиной расхождения индивидуальных оценок может являться различие информации, которой располагают эксперты, или же различие логики их мышления. Весьма часто бывает, что один эксперт, предложивший «еретическую» оценку, оказывается прав, тогда как остальные ошибаются. При обсуждении «еретику» не всегда (но часто) удается убедить коллег в правильности своей оценки, как и наоборот большинству не удается убедить «еретика» и поэтому отсутствие согласованности оценок после обсуждения также не является основанием для отбрасывания выпадающей оценки. Тем более это относится к ситуации, когда индивидуальные оценки образуют несколько (обычно не более двух) согласованных групп и добиться согласованности не удается. В этом случае разрабатывают МОК в двух вариантах.

Пример выполнения группировок при выполнении процедуры генерации показателей качества приведен в главе «Практическая квалиметрия».

1.1.5. Определение коэффициентов весомости

Каждый частный показатель имеет относительную значимость – весомость – для комплексного показателя. Существует большое количество методов назначения или расчета коэффициентов весомости, однако в квалиметрии используют лишь наиболее часто используемые – рис.1.4.

				Метод
				вспомога-
				тельной
	Метод			процентной		Метод
				шкалы
	равнозначимых					парных
	коэффициентов					сравнений

Метод средних

Стоимостной

взвешенных

Методы

метод

коэффициентов

определения

коэффициентов

весомости

Смешанный

Метод

стоимостных

метод

регрессионных

зависимостей

Метод

Метод

предельных и

эквивалентных

номинальных

соотношений

значений

Рис.1.4. Сферы практического приложения квалиметрии

Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»

18 Теоретические основы квалиметрии

Эти методы различаются исходной информацией, но при правильном их применении они должны приводить приблизительно к одинаковым результатам.

В квалиметрии к балльным оценкам предъявляют целый ряд согласованных требований.

1). Балльные оценки должны быть определены в шкале интервалов.

Это означает, что операция назначения баллов в какой-то мере должна обеспечивать равенство психофизиологически определяемых «расстояний» между ними. Это связано с тем, что алгоритм расчета показателя качества объекта IQ, определяемый деревом свойств, использует аддитивные операции (операции сложения):

IQ m1,u m2,v ... mk 1,j mk,iMi ,				(3)
u	v	j	i

где mk,i – балльная оценка весомости i-го показателя качества, находящегося в группе k-го уровня;

Mi –балльная оценка проявления i-го показателя в оцениваемом объекте.

2). Индивидуальная воспроизводимость.

Метод назначения баллов, которым пользуется каждый эксперт, должен быть таким, чтобы можно было проверить, что эксперт действительно уверен в своей оценке. Для этого при опросе эксперта применяют «контрольную операцию», которая позволяет эксперту с других позиций взглянуть на сравниваемые объекты и вновь количественно выразить свои ощущения.

3). Межэкспертная воспроизводимость.

Метод назначения баллов должен быть таким, чтобы при его повторении другим экспертом были получены те же или достаточно близкие оценки.

Следует отметить, что любой из рассматриваемых методов определения коэффициентов требует проведения большого количества однородных операций, которые, для избежания появления ошибок и увеличения скорости обработки данных, можно автоматизировать с помощью таких широко распространенных программ как Excel и MathCAD и др.

Рассмотрим кратко указанные выше методы назначения коэффициентов весомости частных показателей качества.

Метод вспомогательной процентной шкалы

Вспомогательная шкала, предназначенная для назначения коэффициентов весомости частных показателей, представляет собой совокупность качественных (словесных) описаний, которые в обобщенной форме характеризуют значимость показателя с точки зрения его влияния на качество оцениваемого объекта. Вспомогательную шкалу, в этом варианте ее применения, строят обычно в несимметричной форме, и значимость показателей выражают в %, принимая за 100% важность всех показателей оцениваемой группы вместе. Метод удобно применять, начиная с первых уровней дерева.

Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ

Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ	19

В качестве примера рассмотрим дерево основных показателей для оценки качества некоторой широко распространенной услуги, например, доставки почты – рис.1.5.

Надежность, 40%

Гарантии, 60% Безопасность, 35%

Ощутимость, 25%

Доставка почты, 100%

Доступность, 40%

Сервисное Отзывчивость, 30%

обслуживание, 40%

Вежливость, 30%

Рис.1.5. Дерево показателей почтовых услуг

Контрольная операция организовывается следующим образом: назначенные экспертом коэффициенты весомости показателей двух соседних уровней перемножаются с тем, чтобы получить их сопоставимые оценки – табл.1.1.

Затем эксперту предлагается сопоставить в процентах значимость каждой пары показателей, взятых из разных групп. Для этого назначаются контрольные оценки qк(X)% и qк(Y)%. Если соотношение основных оценок отличается от соотношения контрольных не более чем на 0.1, то их считают согласованными, иначе пересматривают исходные оценки – табл.1.2.

Таблица 1.1

Гарантии

Сервисное обслуживание

X1

Надежность

60 40 = 2400 %

Y1

Доступность

40 40 = 1600 %

X2

Безопасность

60 35 = 2100 %

Y2

Отзывчивость

40 30 = 1200 %

X3

Ощутимость

60 25 = 1500 %

Y3

Вежливость

40 30 = 1200 %

Таблица 1.2

Сопоставляемые

Соотношение весомостей

Расхождение

Решение

показатели

по основным

по контрольным

оценкам

оценкам

X1Y1

2400

1.5

60

1.50

1.5 1.5

0

согласовано

1600

40

X1Y2

2400

2.0

66

1.94

2.0 1.94

0.06

согласовано

1200

34

X3Y3

1500

1.25

55

1.20

1.25 1.20

0.05

согласовано

1200

45

Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»

20	Теоретические основы квалиметрии

После того, как все оценки оказываются согласованными, переходят к проверке межэкспертной согласованности. Также как и ранее анализ начинают с первых уровней дерева, проводя сравнение по каждому показателю (каждой ветви дерева) отдельно.

Предварительно выбирают требуемый уровень согласованности задачи:5% для более ответственных задач, и 10% – для менее ответственных. Если оценки укладываются в соответствующий интервал, то их считают согласованными и вычисляют окончательные средние значения. В противном случае проводят процедуры согласования, рассмотренные выше.

Метод парных сравнений

В этом случае используют показатели одной группы, подлежащие оцениванию, и строят таблицу (матрицу) размерностью n n, где n – число показателей в группе. По левой и верхней сторонам таблицы заносят названия (или просто номера) показателей. Показатели располагают по убыванию значимости, для облегчения проверки внутренней непротиворечивости индивидуальных оценок, т.к. числа в каждой строке должны монотонно убывать слева направо. Если они возрастают, то оценки экспертов внутренне противоречивы. Наиболее значимому показателю назначают максимальную оценку по выбранной квалиметрической шкале. Как правило, используется наиболее оптимальная по своему внутреннему строению 10-ти балльная шкала.

Затем этот показатель сравнивают со вторым показателем, которому проставляют в первой строке оценку в баллах, соответствующую его значимости, например, 6 баллов. После этого первый показатель сравнивают с третьим и т.д. Закончив заполнение первой строки, таким же методом заполняют вторую, принимая на этот раз уже весомость второго показателя в 10 баллов и т.д.

Пример заполненной экспертом таблицы для группы частных показателей качества микроклимата на рабочем месте учащегося средний школы приведен в табл.1.3.

							Таблица 1.3
	Заполненная матрица парных сравнений
№	Показатель качества	1	2	3		4		5
п/п
1	Температура воздуха	10.0	8.0	6.5		4.5		2.0
2	Освещенность		10.0	8.0		6.0		2.5
3	Подвижность воздуха			10.0		7.5		3.5
4	Уровень вибрации					10.0		3.5
5	Уровень шума

Для исключения субъективных ошибок заполнение таблицы выполняют не менее 3-х экспертов. Контрольная операция состоит в том, что при сопоставлении значимости каждого объекта с каждым другим появляется возможность несколькими путями рассчитать оценки значимости показателей и затем сопоставить полученные оценки между собой.

Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ