Управление и оптимизация / Novikov - Refleksiya i upravleniye 2013

активен), действий самой управляемой системы – см. Рис. 2. Задача управляющего органа заключается в том, чтобы осуществить такие управляющие воздействия (жирная линия на Рис. 2), чтобы с учетом информации о внешних воздействиях (пунктирная линия на Рис. 2)

обеспечить требуемое с его точки зрения состояние управляемой системы.

Отметим, что приведенная на Рис. 2 так называемая входо- выходная структура является типичной для теории управления, изучающей задачи управления системами различной природы. На- личие обратной связи (см. двойную линию на Рис. 2), дающей ин- формацию о состоянии управляемой системы, является ключевым (но, справедливости ради надо сказать, не обязательным) свойством системы управления. Рядом исследователей обратная связь трактуется как рефлексия (отражение субъектом управления состояния управляемой системы). Это – первый аспект взаимосвязи управления и рефлексии.

СУБЪЕКТ УПРАВЛЕНИЯ

Состояние

Управление управляемой системы

УПРАВЛЯЕМАЯ СИСТЕМА

Внешние воздействия

Рис. 2. Структура системы управления

Взаимодействие и деятельность субъекта управления и управ-

ляемой системы является предметом исследований ряда научных направлений. Наука об управлении («теория управления» на жарго- не своих представителей) акцентирует свое внимание, в основном, на взаимодействии субъекта управления и управляемой системы – см. Рис. 3. Методология управления [106] является учением об орга- низации управленческой деятельности, то есть деятельности субъек- та управления. Отметим, что говорить о деятельности можно толь- ко по отношению к активным субъектам – человеку, группе,

11

коллективу и т.д. (в случае пассивных, например технических, сис- тем говорят об их функционировании). В ходе дальнейшего изложе- ния материала настоящей работы, если не оговорено особо, будет считаться, что и субъект управления, и управляемая система актив-

ны. Следовательно, каждый из них может осуществлять как минимум авторефлексию, «отражая» процесс, принципы организа- ции и результаты своей собственной деятельности. Это – второй аспект взаимосвязи управления и рефлексии.

Методология

управления

Субъект управления

Теория

управления

Управляемая система

Рис. 3. Методология управления и теория управления

Для того чтобы искать оптимальное управление, то есть наибо- лее эффективное допустимое управление, субъекту управления

нужно уметь прогнозировать реакции управляемой системы на те или иные управляющие воздействия. Для этого нужна та или иная модель управляемой системы. Модель – в широком смысле – любой образ, аналог (мысленный или условный: изображение, описание, схема, чертеж, график, план, карта и т.п.) какого-либо объекта, процесса или явления (оригинала данной модели) [146, статья «Мо- дель», 5-е значение]; «аналог определенного фрагмента природной или социальной реальности <…> «заместитель» оригинала в позна- нии и практике» [157, с. 382]. Условно говоря, модель можно счи- тать образом управляемой системы в представлении субъекта управ- ления. Процесс моделирования – «отражения», то есть построения этого образа, также можно рассматривать как рефлексию. Более того, управляемая система также может прогнозировать и оценивать деятельность субъекта управления. Все это можно отнести к треть- ему аспекту взаимосвязи управления и рефлексии.

12

Четвертый аспект связан с «отражением» субъектом управления или управляемой системой (рефлексией относительно) внешних по отношению к ним субъектов или объектов, явлений или процессов, их свойств и закономерностей их деятельно- сти/функционирования. Для субъекта управления это может быть, например, внешняя среда; для элемента управляемой системы – внешняя среда и/или другие элементы управляемой системы. Дейст- вительно, если управляемая система включает нескольких активных агентов, то в общем случае каждый из них может осуществлять рефлексию относительно остальных. Именно этот аспект – взаимная рефлексия управляемых субъектов – подробно рассматривается ниже (см. вторую и третью главы).

Перечисленные четыре аспекта соответствуют нулевому рангу рефлексии – «оценке» (см. выше). По аналогии с конструкцией, приведенной на Рис. 1, можно единообразно описывать рефлексию первого, второго и других более высоких рангов. Например, рефлек-

сией первого ранга будут представления субъекта управления об оценке тем или иным управляемым субъектом (агентом) других агентов. Рефлексией второго ранга будет оценка управляемой систе- мой этих представлений субъекта управления. И т.д.

Существенно следующее – ПРОЦЕСС И/ИЛИ РЕЗУЛЬТАТ РЕФЛЕКСИИ МОГУТ БЫТЬ ПРЕДМЕТОМ УПРАВЛЕНИЯ, то есть целенаправленно изменяемым субъектом управления компо- нентом деятельности управляемой системы. Именно эта взаимосвязь

управления и рефлексии позволяет говорить об информационном управлении и о рефлексивном управлении, подробно рассматривае- мых ниже! Фактически, вся книга содержит теорию и примеры того, как управлять рефлексией.

В качестве отступления отметим, что результаты моделирова- ния и информационного/рефлексивного управления, полученные для социальных, экономических, организационных и других систем, включающих человека, в последнее время широко транслируются в область искусственных технических систем. Примером могут слу- жить так называемые мультиагентные системы (МАС) [255], кото-

рые состоят из большого числа взаимодействующих между собой автономных агентов технической или информационной природы (хрестоматийным примером является группа мобильных роботов – см., например, [55]). Такие свойства мультиагентных систем, как

13

децентрализованность взаимодействия и множественность агентов,

придают их качественно новые важные эмерджентные свойства (автономность, меньшая уязвимость к неблагоприятным воздействи- ям и др.).

МАС характеризуются сложной иерархической внутренней структурой. Так, типовая функциональная структура агента имеет несколько иерархических уровней – см. Рис. 4. На операционном (исполнительном) уровне осуществляется реализация действий, например – стабилизация движения по заданной траектории. На тактическом уровне осуществляется выбор действий (например,

планирование действий как выбор траекторий или решение задач распределенной оптимизации), в том числе – с учетом взаимодейст- вия с другими агентами. Стратегический уровень отвечает за при- нятие решений, обучение и адаптивность поведения агентов, а также за кооперативность управления – согласованного решения набором агентов единой задачи. Здесь существенной становится способность агента к стратегическому принятию решений, адаптации, обучению

иРЕФЛЕКСИИ. И, наконец, концептуальный уровень соответствует принципам целеполагания. На каждом уровне используется тот или иной аппарат исследования (как правило, методы, применимые на некотором уровне, могут быть использованы и на более высоких иерархических уровнях – см. Рис. 4).

Одной из современных тенденций и теории мультиагентных систем, и теории игр (см. ниже), и искусственного интеллекта (по- следние два научных направления ориентированы на верхние уров- ни архитектуры агента) является стремление исследователей к инте- грации этих научных направлений. При этом теория игр (в рамках так называемой алгоритмической теории игр) движется «сверху вниз» – от единого описания игры к его децентрализации и исследо-

ванию возможности автономной реализации механизмов поведения

иреализации равновесий. А теория МАС, двигаясь «снизу вверх», то есть параллельным, но в силу локализации научных сообществ – не совпадающим путем, стремится все больше учитывать стратегиче- ское поведение и «интеллектуальность агентов», включая их спо- собность к рефлексии [110]. Поведение и взаимодействие активных субъектов описывается в рамках теории игр, которая на сегодняш-

ний день является одним из основных инструментариев теории управления системами, включающими человека.

14

Концептуальный

уровень

(целеполагание и

управление механизмами функционирования)

информация

Стратегический

уровень

(принятие решений, адаптация, обучение,

РЕФЛЕКСИЯ)

Внешняя

Тактический уровень

Исполнительный

(оперативный) уровень

ЗАДАЧИ

Противоборство, Confrontation иерархические Hierarchies

структуры

Коллективное	Collective
принятие	Decision-making
решений
Кооперативное	Cooperative
управление	Control
Взаимодействие	Distributed
	Optimization (e.g.
	Task Assignment)
Планирование	Mission Planning
Реализация	Formation Control
Действие Стабилизация	Consensus Problem

Рис. 4. МАС: Иерархическая архитектура агента

коллективного		игр
		Теория
Модели	поведения	Искусственный
Динамические
		интеллект
	системы

Теория игр. Формальные (математические) модели поведения человека создаются и изучаются уже более полутора веков (см. обзор в [1]) и находят все большее применение как в теории управ- ления, экономике, психологии, социологии и т.д., так и при решении конкретных прикладных задач. Наиболее интенсивное развитие наблюдается начиная с 40-х годов XX века – момента появления теории игр, который обычно датируют 1944 годом (выход первого издания книги Джона фон Неймана и Оскара Моргенштерна «Тео- рия игр и экономическое поведение» [99]).

Под игрой в данной работе будем понимать взаимодействие субъектов, интересы которых не совпадают (отметим, что возможно и другое понимание игры – как «вида непродуктивной деятельности, мотив которой заключается не в ее результатах, а в самом процессе» [146, с. 475] – см. также [101, 160], где понятие игры трактуется гораздо более широко).

Теория игр – раздел прикладной математики, исследующий мо-

дели принятия решений в условиях несовпадения интересов сторон (игроков), когда каждая сторона стремится воздействовать на разви- тие ситуации в собственных интересах [41]. Далее для обозначения субъекта, принимающего решения (игрока), используется термин агент. В настоящей работе рассматриваются в основном некоопера- тивные статические игры в нормальной форме, то есть игры, в кото- рых агенты однократно, одновременно и независимо выбирают свои действия (исключение составляют динамические модели коллектив- ного поведения, рассматриваемые в разделе 3.4).

Таким образом, основная задача теории игр заключается в опи- сании взаимодействия нескольких агентов, интересы которых не совпадают, а результаты деятельности (выигрыш, полезность и т.д.) каждого зависят в общем случае от действий всех [41, 243]. Итогом подобного описания является прогноз разумного и «устойчивого» исхода игры – так называемого решения игры (равновесия).

Описание игры заключается в задании следующих параметров:

-множества агентов;

-предпочтений агентов (зависимостей выигрышей от дейст- вий): при этом предполагается (и этим отражается целенаправлен- ность поведения), что каждый агент заинтересован в максимизации своего выигрыша;

-множеств допустимых действий агентов;

16

-информированности агентов (той информации о существен-

ных параметрах, которой они обладают на момент принятия реше- ний о выбираемых действиях);

-порядка функционирования (порядок ходов – последователь-

ность выбора действий).

Условно говоря, множество агентов определяет, кто участвует в игре. Предпочтения отражают, что хотят агенты, множества допус- тимых действий – что они могут, информированность – что они знают, а порядок функционирования – когда они выбирают дейст- вия.

Перечисленные параметры задают игру, но они недостаточны для того, чтобы предсказать ее исход – решение игры (или равнове- сие игры), то есть множество рациональных и устойчивых с той или иной точки зрения действий агентов [28, 41, 42]. На сегодняшний день в теории игр не существует универсальной концепции равнове- сия – принимая те или иные предположения о принципах принятия агентами решений, можно получать различные решения. Поэтому основной задачей любого теоретико-игрового исследования (вклю- чая настоящую работу) является построение концепции равновесия.

Так как рефлексивные игры определяются как такое интерактивное взаимодействие агентов, в котором они принимают решения на основе иерархии своих представлений, то существенной является информированность агентов. Поэтому остановимся на ее качествен- ном обсуждении более подробно.

Роль информированности. Общее знание. В теории игр, фи-

лософии, психологии, распределенных системах и других областях науки (см. обзоры в [216, 241]) существенны не только представле- ния (beliefs) агентов о существенных параметрах, но и их представ- ления о представлениях других агентов и т.д. Совокупность этих представлений называется иерархией представлений (hierarchy of beliefs) и в настоящей работе моделируется деревом информацион- ной структуры рефлексивной игры (см. ниже). Другими словами, в ситуациях интерактивного принятия решений (моделируемых в теории игр) каждый агент перед выбором своего действия должен «предсказать» поведение оппонентов. Для этого у него должны быть определенные представления о видении игры оппонентами. Но оппоненты должны проделать то же самое, поэтому неопределен-

17

ность относительно той игры, которая будет разыграна, порождает бесконечную иерархию представлений участников игры.

Приведем пример иерархии представлений. Предположим, что имеются два агента – А и Б. Каждый из них может иметь собствен- ные нерефлексивные представления о неопределенном параметре θ,

который мы будем в дальнейшем называть состоянием природы

(state of nature, state of the world). Обозначим эти представления θА и

θБ соответственно. Но каждый из агентов в рамках процесса рефлек- сии первого ранга может задуматься о представлениях оппонента.

Эти представления (представления второго порядка) обозначим θАБ

и θБА, где θАБ – представления агента А о представлениях агента Б, θБА – представления агента Б о представлениях агента А. Но этим дело не ограничивается – каждый из агентов в рамках процесса дальнейшей рефлексии (рефлексии второго ранга) может задуматься над тем, каковы представления оппонента о его представлениях. Так порождаются представления третьего порядка – θАБА и θБАБ. Про-

цесс порождения представлений более высоких порядков может продолжаться до бесконечности (никаких логических ограничений увеличению ранга рефлексии не существует). Совокупность всех

представлений – θА, θБ, θАБ, θБА, θАБА, θБАБ и т.д. – образует иерархию представлений.

Частным случаем информированности – когда все представле- ния, представления о представлениях и т.д. до бесконечности совпа- дают – является общее знание. Более корректно, термин «общее знание» (common knowledge) введен в [230] для обозначения факта, удовлетворяющего следующим требованиям:

1)о нем известно всем агентам;

2)всем агентам известно 1;

3)всем агентам известно 2 и т.д. до бесконечности

Формальная модель общего знания предложена в [184] и полу- чила развитие во множестве работ – см. [185, 187, 209, 210, 211, 218, 222, 240, 256 и др.].

Моделям информированности агентов – иерархии представле- ний и общему знанию – в теории игр посвящена, фактически цели- ком, настоящая работа, поэтому приведем примеры, иллюстрирую- щие роль общего знания в других областях науки – философии, психологии и др. (см. также обзор [208]).

18

С точки зрения философии общее знание анализировалось при изучении соглашений [230, 264, 265]. Рассмотрим следующий при- мер. В Правилах дорожного движения записано, что каждый участ- ник дорожного движения должен соблюдать эти правила, а также вправе рассчитывать на то, что их соблюдают другие участники дорожного движения. Но другие участники дорожного движения также должны быть уверены в том, что остальные соблюдают пра- вила, и т.д. до бесконечности. Следовательно, соглашение «соблю- дать ПДД» должно быть общим знанием.

Впсихологии существует понятие дискурса (от лат. discursus – рассуждение, довод) – «опосредованное прошлым опытом речевое мышление человека; выступает как процесс связанного логического рассуждения, в котором каждая последующая мысль обусловлена предыдущей» [137, с. 99]. Роль общего знания в понимании дискурса иллюстрируется в [202, 208] следующим примером.

Два человека выходят из кинотеатра. Один спрашивает другого: «Как тебе фильм?». Для того чтобы второй человек понял вопрос, он должен понять, что его спрашивают о том фильме, который они только что вместе посмотрели. Кроме того, он должен понимать, что это понимает первый. Задающий вопрос, в свою очередь, должен быть уверен, что второй поймет, что речь идет о том фильме, кото- рый они посмотрели, и т.д. То есть для адекватного взаимодействия (общения) «фильм» должен быть общим знанием (люди должны достичь соглашения об использовании языка [230]).

Взаимная информированность агентов является существенной также в распределенных вычислительных системах [209, 211, 218], в искусственном интеллекте [217, 234] и других областях.

Втеории игр, как правило, предполагается, что все1 параметры игры являются общим знанием, то есть каждому агенту известны все параметры игры, а также то, что это известно всем агентам, и т.д. до бесконечности. Такое предположение соответствует объективному описанию игры и дает возможность использовать концепцию равно-

1 Если в исходной модели присутствуют неопределенные факторы, то используются процедуры устранения неопределенности, которые позволяют получить детермини- рованную модель.

19

весия Нэша2 [246] как прогнозируемого исхода некооперативной игры (то есть игры, в которой невозможны переговоры между аген- тами с целью создания коалиций, обмена информацией, совместных действий, перераспределения выигрышей и т.д.). Таким образом, предположение об общем знании позволяет утверждать, что все агенты знают, в какую игру они играют, и их представления об игре совпадают.

Вместо действия агента можно рассматривать нечто более сложное – его стратегию, то есть отображение имеющейся у агента информации в множество его допустимых действий. Примерами могут служить: стратегии в многошаговой игре, смешанные страте- гии, стратегии в метаиграх Ховарда [224, 225] (см. также информа- ционные расширения игр [34, 71, 72]). Однако и в этих случаях правила игры являются общим знанием. Наконец, можно считать, что игра выбирается случайным образом в соответствии с некото- рым распределением, которое является общим знанием – так назы-

ваемые байесовы игры [213, 219, 243].

В общем случае каждый из агентов может иметь собственные представления о параметрах игры, и каждому из этих представлений соответствует некоторое субъективное описание игры [34]. При этом оказывается, что агенты участвуют в игре, но объективно не знают в какой, или по-разному представляют разыгрываемую игру – ее правила, цели, роли и информированность оппонентов и т.д. Уни-

версальных подходов к построению равновесий при недостаточном общем знании на сегодняшний день в теории игр не существует.

С другой стороны, в рамках «рефлексивной традиции» гумани-

тарных наук для каждого агента окружающий его мир содержит (включает) остальных агентов, и представления о других агентах отражаются в процессе рефлексии (различия представлений могут быть обусловлены, в частности, неодинаковой информированно- стью). Однако до настоящего момента конструктивных формальных результатов в этой области получено не было.

Следовательно, возникает необходимость разработки и исследо- вания математических моделей игр, в которых информированность

2 Вектор действий агентов является равновесием Нэша, если никому из них не выгодно одностороннее (то есть при условии, что остальные агенты выбирают соответствующие компоненты равновесия) отклонение от равновесия – см. кор- ректное определение ниже.

20