ATT00025-Экспертные оценки от Анохина

ФОРМИРОВАНИЕ МОДЕЛИ

2.3. Иерархия факторов

Итак, целью построения модели является структурирование
предметной области и задачи анализа, включающее в себя
1) определение и структурирование исследуемого объекта, изуча-
емого явления и классификацию их основных свойств;
2) выделение факторов, оказывающих влияние на исследуемый
объект или явление;
3) классификацию, определение взаимосвязей и построение иерар-
хии факторов;
4) формирование критерия, определяющего отношение между зна-
чениями факторов и анализируемым явлением или свойством иссле-
дуемого объекта.
Источниками информации при построении модели может служить
специальная литература, техническая документация, эксперты и
лица, принимающие решения.
Определим иерархию факторов следующим образом. Пусть зада-
но множество факторов, составляющих модель предметной области
F ={ fk | k		=1... l}.
Зададим на множестве факторов F отношение подчиненности RF ,
отражающее для каждой пары факторов <fi , fj > иерархическую зави-
симость (связь «исходный-порожденный») одного фактора от друго-
го. Данное отношение может быть представлено с помощью матрицы
отношения П(RF)={π ij |i, j=1... l}, элементы которой –
	1, если фактор fj			подчинен фактору fi (i =/ j ),
π ij =	0, если факторы f				и f не связаны друг с другом, либо i=j.
				j	i
Суммы строк и столбцов этой матрицы
Si (π ) = ∑l		π i j ,	Sj (π ) = ∑l		π i j
	j =1		i =1
характеризуют роли факторов в иерархии (рис. 13):
фактор fj является корневым, если сумма соответствующего ему
столбца равна нулю – Sj(π				)=0;

фактор fi образует лист иерархии, если сумма соответствующей ему строки равна нулю – Si (π )=0.

31

ГЛАВА 2

	f1				0	1	1	0	0		2
					0	0	0	0	0		0
			Π=		0	0	0	1	1		2	=S	(π )
f2	f3											i
					0	0	0	0	0		0
					0	0	0	0
	f4	f5							0		0		ëèñò
			Sj(π )=		(0 1 1 1 1)
	à)						á)корень

Рис. 13. Иерархия факторов (à) и матрица связей (á)

Множество факторов, порожденных одним исходным (строка матрицы П), образует семейство. В строгой иерархии семейства не пересекаются друг с другом (т.е. каждый порожденный фактор связан только с одним исходным). Однако в реальной жизни зачастую может возникать ситуация, когда один и тот же порожденный фактор связан более чем с одним исходным, т.е. входит одновременно в несколько семейств. Такую иерархию назовем нестрогой (от обычного направленного графа нестрогую иерархию отличает отсутствие циклов и петель).

Отметим, что внутри одного семейства факторы могут иметь различную относительную значимость. Введем показатель относитель-

0,2 f1 0,8

f20,4 f3 0,6 f4 f5

	0		0,2	0,8	0	0			1
		0	0	0	0	0			0
Λ =		0	0	0	0,4	0,6			1	=S	(λ )
										i
		0	0	0	0	0			0
			0	0	0
	0					0			0

à) á)

Рис. 14. Иерархия факторов (à) и матрица относительных значимостей (á)

32

ФОРМИРОВАНИЕ МОДЕЛИ

ной значимости λ ij порожденного фактора fj для исходного фактора fi –
λ ij [0,1] (λ ij=0, если факторы fi и fj не связаны друг с другом). Заменив
коэффициенты	π ij на λ ij, получаем матрицу относительных значимос-
тей факторов Λ	={λ ij	| i,j=1... l} (рис. 14).
Строка матрицы характеризует относительные значимости фак-
торов одного семейства. Если относительные значимости нормированы
l				l
Si (λ ) = ∑ λ	ij =1, то			fi = ∑ λ	ij fj
j =1				j =1
т.е. исходный фактор рассматривается как линейная свертка порож-
денного им семейства факторов. Приведенное утверждение не касает-
ся факторов, образующих листья иерархии – соответствующие им
строки имеют нулевую сумму, а их значения не вычисляются, а оцени-
ваются экспертами.
В заключение рассмотрим пример построения иерархии факторов
экспертного анализа «Старение». Целью этого анализа было выявле-
ние элементов оборудования атомной станции, старение которых вы-
зывало наибольшую тревогу специалистов на данном этапе эксплуа-
тации энергоблоков. Назовем такие элементы «критическими».
Иерархия факторов приведена на рис. 15 [4].
Критичность оборудования ( f1 – корневой фактор) определяется
его технологической значимостью и важностью ( f2 ), характером про-
					f1
		0,3		0,6		0,1
0,75	f2			0,1	f3	0,5	f4
		0,25		0,1		0,3	1
f5	f6	f7		f9	f10	f11 f12	f13 f14
				Рис. 15. Иерархия факто-
		f8
				ров экспертного анализа
						«Старение»

33

ГЛАВА 2

цесса его старения ( f3 ) и качеством функционирования ( f4 ). Значимость оборудования определяется его стоимостью ( f5 ), важ-

ностью для безопасности атомной станции ( f6 ) и стоимостью его восстановления ( f7 ), зависящей в свою очередь от способа восстановления ( f8).

Чувствительность оборудования к старению определяется условиями ( f9) и режимами ( f10) его эксплуатации, а также наиболее характерной причиной отказов ( f11) и внезапностью их наступления ( f12).

Качество оборудования зависит от его надежности ( f13 ) и обыч- ной для него «глубины» выработки своего ресурса ( f14 ).

Необходимо отметить, что не все факторы поддаются количественной оценке и не всегда ее можно корректно использовать. Так, качественный фактор f8 (способ восстановления) и количественный f14 (выработка ресурса) оценивались лишь для «дополнения общей картины», а фактор f5, отражающий стоимость в денежном выражении, вообще оказалось невозможным оценить в условиях высокой инфляции и постоянного роста цен.

В соответствии с указанными в ходе экспертизы относительными значимостями факторов

f1=0,3 f2+0,6 f3+0,1 f4; f2=0,75 f6+0,25 f7;

f3=0,1 f9+0,1 f10+0,5 f11+0,3 f12;

f4=f13.

В качестве критерия, определяющего анализируемое явление, служит существенное превышение значением корневого фактора некоторой средней величины – f1>>fср, свидетельствующее о том, что данный элемент оборудования несет потенциальную опасность и нуждается в более пристальном наблюдении и тщательном анализе.

2.4. Свойства модели

Рассмотрим более подробно свойства, проявляемые моделями, их влияние на качество модели и способы управления качеством. Из множества свойств, проявляемых моделями, перечислим основные, явля-

34

ФОРМИРОВАНИЕ МОДЕЛИ

ющиеся на наш взгляд наиболее значимыми и «проблемными» в эвристическом моделировании. Такими свойствами являются ингерентность (когерентность), полнота (избыточность), абстрактность (прагматичность), целостность (противоречивость), адекватность.

Ингерентность – согласованность модели с общей культурной, образовательной и профессиональной средой, в которой проводится исследование.

Самые высокие идеи и глубокий смысл, заложенные в модель, могут быть попросту не поняты или неправильно поняты экспертами или консультантами из-за отличия их образовательного уровня, мышления и образа профессионального мира от того, какими их представлял себе исследователь. Вводя в модель абстрактные понятия, исследователь наделяет их смыслом, соответствующим своему субъективному представлению. Однако это представление может существенно отличаться от стереотипного, господствующего в данной предметной области и профессиональной среде. Различие в образовании (специальности), мироощущении и, наконец, в целях может служить источником несогласованности модели со средой.

Несогласованность (когерентность) модели может также проявиться и в элементарной необеспеченности ресурсами – отсутствии необходимого количества экспертов по данной проблеме, слишком высокой трудоемкости экспертного анализа, недостатке средств для проведения исследования в том масштабе, который был запланирован.

Еще один аспект несогласованности модели связан с приближенностью, качественным характером человеческого мышления. Эксперт с большей охотой откликается на просьбу сравнить объекты (лучше-хуже, больше-меньше) или отвечает на вопрос о том, какова вероятность наступления события (низкая, средняя или высокая), чем дает численную оценку этой же вероятности, пусть даже с той же точ-

ностью – 15-20%.

Полнота – наличие в модели всех наиболее существенных факторов, позволяющих однозначно идентифицировать состояния анализируемой системы и исследуемой проблемы.

Полнота не является непосредственно проявляемым свойством. Если когерентность (несогласованность со средой) модели ощущается практически сразу, то ее неполнота проявляется лишь по окончании всего анализа, когда обнаруживается, что полученные результаты не

35

ГЛАВА 2

отражают сути исследуемой проблемы и существуют какие-то дополнительные важные факторы, не принятые во внимание аналитиком.

Проблема неполноты является следствием упрощенности и конечности модели. Очевидно, что конечная модель не может отразить бесконечное многообразие свойств реального объекта. Исследователь выбирает лишь некоторые из них, кажущиеся ему наиболее важными, не имея при этом объективного критерия их важности и не всегда зная причинно-следственные связи между ними. Последнее может привести к тому, что в модель закладываются факторы, отражающие следствие, а не причину явлений.

Не исключена и антитеза неполноты – избыточность, когда факторное пространство модели становится неортогональным и обнаруживаются сильно коррелирующие между собой факторы. Сама по себе избыточность нестрашна – в иных случаях она даже является средством контроля и повышения качества модели. Однако следствием избыточности является усложнение модели, повышение трудоемкости анализа.

Абстрактность – степень обобщенности и отвлеченности модели и составляющих ее элементов.

Абстракция является важнейшим инструментом структурирования предметной области и построения модели. Оба вида абстракции – обобщение (типизация объектов по общему признаку подобия) и агрегация (конструирование одного объекта из других) – применяются при построении иерархии факторов. Корень этой иерархии, как правило, отражает наиболее абстрактное и обобщенное понятие или свойство исследуемого объекта (например, «критичность» оборудования в иерархии на рис. 15). Исследователь обычно рассматривает это свойство как интегральное, объединяющее массу самых разнообразных проявлений. Чтобы раскрыть смысл, заложенный в корневой фактор, строится иерархия, каждый уровень которой отражает содержание последовательных этапов абстрагирования, пройденных исследователем при построении модели.

Абстрактность модели – неднозначное свойство. С одной стороны, использование абстрактных понятий помогает избавиться от деталей и проанализировать проблему в целом, не отвлекаясь на частности. С другой стороны, высокоабстрактные понятия чреваты их неоднозначным восприятием или неприятием со стороны экспертов. Чем

36

ФОРМИРОВАНИЕ МОДЕЛИ

выше степень абстрактности, тем более серьезны опасения, что оценки будут слишком субъективными и слабо обоснованными. Иерархическая детализация абстрактных понятий позволяет «приземлить» экспертизу и опуститься до элементарного прагматического уровня, однако может привести и к чрезмерному усложнению модели, увеличению ее громоздкости.

Целостность. С различных точек зрения свойство целостности трактуется по-разному:

1) с общих позиций целостность проявляется во взаимосвязанности, единстве и взаимной непротиворечивости элементов, составляющих нечто целое;

2) с точки зрения теории систем целостность – это способность системы к проявлению новых интегративных качеств, не свойственных образующим ее компонентам;

3) в моделировании данных под целостностью понимается внутренняя защищенность модели, ее способность противостоять некорректному использованию, неадекватному восприятию или интерпретации ее элементов.

Остановимся на последнем определении. Как уже отмечалось, абстрактность и несогласованность модели со средой могут привести к противоречиям в субъективной интерпретации модели экспертами. Обнаружить такие противоречия нелегко, а их последствиями могут стать неадекватные результаты анализа, отражающие совсем не то, что изначально подразумевал исследователь. Именно поэтому чрезвычайно важно, чтобы еще в процессе формирования модели в нее встраивались механизмы, обеспечивающие целостность.

Адекватность – соответствие модели поставленной цели. Отметим, что адекватность означает, что истинность модели, ее соответствие оригиналу достигнуты не вообще, а лишь в той мере, которая достаточна для успешного достижения поставленной цели.

Очевидно, что адекватность – комплексное результирующее свойство модели, зависящее от ее полноты, целостности и др. Однако утверждение, что улучшение отдельных или даже всех свойств модели приведет к росту ее адекватности, неверно. Корректно построенная модель трансформирует определенные посылки и предположения в детерминированно вытекающие следствия. Однако никто не может уберечь нас от неверных посылок или неадекватных действительности

37

ГЛАВА 2

алгоритмов их преобразования. Критерием такого рода событий может стать только практика, подтверждающая или опровергающая (в тех или иных пределах) адекватность и истинность модели.

2.5. Управление качеством модели

Обеспечение заданных свойств и создание качественной модели – безусловно одна из наиболее проблематичных сторон экспертного анализа. Залогом качества модели являются опыт и интуиция исследователя, доброжелательные и конструктивные отношения с экспертами и потребителями результатов, доступность информации и наличие знаний о предметной области и моделируемых явлениях, другие факторы. В реальной жизни все эти обстоятельства сочетаются крайне редко, вследствие чего модель обычно бывает далека от совершенства (об этом свидетельствуют постоянные нарекания со стороны привлекаемых специалистов, экспертов, консультантов и т.д.).

Как же контролировать качество модели, какова мера этого качества, существуют ли какие-то механизмы, обеспечивающие достижение заданных свойств модели или хотя бы выявление аномалий и нарушений? Попробуем ответить на эти вопросы, рассмотрев два примера.

Первый пример иллюстрирует введение в модель избыточных (априорно коррелирующих друг с другом) факторов, образующих механизм перекрестного контроля противоречивости и целостности модели. Заранее заданная зависимость позволяет пересчитывать экспертные оценки объектов по одному из факторов в оценки по второму фактору. Проанализировав сходство оценок, полученных расчетным путем, с оценками, данными экспертом, можно сделать вывод об адекватности восприятия экспертом исследуемых факторов (рис. 16).

	X j"X j*
X i	X j
%	%

fi $ fj d(X j*,X j) - ?

Рис. 16. Схема перекрестного контроля факторов:

X i, X j – экспертные оценки объектов по факторам fi è fj соответственно;

X j* – расчетные оценки объектов по фактору fj ; d(X j*,X j) - степень сходства оценок X j* è X j

38

ФОРМИРОВАНИЕ МОДЕЛИ

	Подобный контроль введен в экспертном анализе «Оператор».
	Целью этого анализа было выявление преобладающих типов поведе-
	ния человека-оператора в процессе решения различных технологичес-
	ких задач управления атомной станцией.
	Исследованию подлежали три типа поведения (рис. 17):
	поведение, основанное на навыках ( f1);
	поведение, основанное на правилах (			f2);
	поведение, основанное на знаниях ( f3).
	Задачей экспертов было указание относительных весов этих трех
	типов поведения для каждой из анализируемых технологических за-
	дач. Обозначим относительный вес i-го типа поведения через x f.
					i
	Очевидно, что такие абстрактные факторы, как «типы поведе-
	ния», даже специалистами по инженерной психологии (не говоря уж об
	экспертах – работниках атомной станции) воспринимаются очень
	субъективно. Эксперт может вкладывать в них совершенно иной
	смысл, нежели постановщик экспертизы и аналитик, в результате чего
	сильно искажается общая картина. Чтобы избежать этого, в модель
	была введена еще одна группа факторов, отражающих различные
	способы внутреннего представления человеком-оператором образа
	решаемой технологической задачи. Исследовались пять способов
	представления:
	физическое (g1);			Оператор
	функциональное (g2);
	продукционное (g3);
	экономическое (g4);	Представление $ Поведение
	интуитивное (g5).
	Аналогично типам по-		g1 g2 g3 g4 g5		f1 f2 f3
	ведения, для всех пяти спо-
		&		&	&
	собов внутреннего предста-
	вления экспертами указы-
			Технологические задачи
	вались их относительные
	веса для каждой из анализи-	Рис. 17. Иерархия факторов и объекты
	руемых технологических
			экспертного анализа «Оператор»
	задач. Обозначим относи-
	тельный вес j-го способа
	внутреннего представления через xg. Отметим, что x f и x g нормирова-
	ны, т.е.		j	i	j

39

ГЛАВА 2

∑3 x f

=∑ 5 x g =1 .

i =1

i

j =1

j

Механизм перекрестного контроля состоит в задании априорной

взаимной зависимости типов поведения и способов внутреннего пред-

ставления. Эта зависимость характеризуется относительной часто-

той использования различных способов представления в том или ином

типе поведения – vij [0,1]. Близость vij к единице означает, что в i-м

типе поведения практически всегда используется j-й способ внутрен-

него представления, а значение vij=0 свидетельствует об их абсолют-

ной независимости. Отно-

сительные частоты испо-

Таблица 1

льзования задаются ана-

Относительные частоты использования

литиком и отражают его

способов представления

собственные взгляды и тра-

Òèï

Способ представления

ктовку

факторов

(табл.

поведения

g1

g2

g3

g4

g5

1). Приведенные коэффи-

циенты дают возможно-

f1

0

0,5

1

0,25

1

сть пересчитать относите-

f2

0

0,5

1

0,25

0,75

льные веса способов пред-

f3

1

0,75

0,25

0,5

0,25

ставления в относитель-

ные веса типов поведения

и наоборот:

x f

*= ∑5 v

ij

x g

/ ∑3 ∑ 5 v

x g ,

i

j =1

j

i =1 j =1

ij

j

где x f *

расчетный относительный вес i-го типа поведения.

i

Мерой сходства трактовок аналитика и эксперта является бли-

зость расчетных X f* и фактических X f весов, оцениваемая, например,

с помощью коэффициента ранговой корреляции (способы вычисления

этого коэффициента будут обсуждаться в последующих главах) –

d(X f *, X f )=ρ

[–1,1]. При ρ

>0 можно говорить о не противоречащих

друг другу взглядах эксперта и постановщика, а ρ≥

0,5 свидетельству-

ет об адекватном понимании экспертом сущности и смысла анализи-

руемых факторов.

Для большинства экспертов экспертизы «Оператор» были отме-

чены относительно высокие значения 0,2

≤ρ≤

0,6.

40