Глава III. Оценка качества моделей и планирование статистических испытаний

3.1. Оценка качества моделей

Оценка качества является завер­шающим этапом работ по созданию модели процесса систе­мы. Цель оценки качества модели – не столько получение конкретной чис­ловой оценки значения некоторого показателя качества, сколько выявле­ние того, где и как проявляются не­достатки разработанной модели. Ре­зультаты оценки качества модели долж­ны использоваться для определения направлений и способов ее совершенствования, планирования испытаний мо­дели и для решения вопросов о воз­можности ее эксплуатации.

Модель системы состоит из матема­тического описания исследуемой сис­темы, алгоритма моделирования, про­граммы для ПЭВМ и рабочей докумен­тации. Поэтому при оценке качества модели учитывается качество каждой из перечисленных компонент.

Качество моделей оценивается по трем группам свойств: целевым, экс­плуатационным и модификационным.

Целевыми называются свойства мо­дели, характеризующие степень ее соответствия целям и задачам конкрет­ного исследования. К целевым свой­ствам моделей относятся адекватность, устойчивость, точность и результатив­ность.

Эксплуатационными называются свойства моделей систем, определяю­щие удобство эксплуатации модели пользователем. К ним относятся: про­изводительность, надежность, защи­щенность, эргономичность, завершен­ность. Эксплуатационные свойства де­лятся на относительные (то есть завися­щие от конкретной задачи) – произ­водительность, надежность и абсолютные (не зависящие от конкретной задачи) – защи­щенность, эргономичность, завершен­ность.

Модификационными называются свойства моделей, определяющие удоб­ство внесения изменений в модель (в случае необходимости, например, уст­ранения ошибок в программе), про­стоту модификации модели при разви­тии и совершенствовании исследуемой системы или при переходе на другой уровень исследования (например, при повышении степени детализации мате­матического описания).

К модификационным свойствам от­носятся понятность, структурированность, расширяемость, доступность.

Модификационные свойства не свя­заны с конкретной задачей (они характеризуют возможности применения мо­дели для решения множества задач определенного класса).

Перечисленные группы свойств оп­ределяют в целом качество модели.

Как отмечалось ранее, среди свойств, определяющих каче­ство моделей, особое место занимает точность результатов моделирования. В частности, важной характеристикой имитационной модели, включающей в свой состав случайные факторы, является дисперсия с переменной , наблюдаемой в процессе машинного эксперимента (дисперсия воспроизво­димости эксперимента). Точность оцен­ки, например, среднего результата можно повысить увеличением объема испытаний (увеличением числа прого­нов имитационной модели) при фикси­рованной дисперсии воспроизводимо­сти . Этот путь, однако, может привести к неприемлемо большим за­тратам машинного времени.

Другим путем повышения точности моделирования является понижение дисперсии воспроизводимости. В прак­тике имитационного моделирования ис­пользуют оба указанных приема. Обыч­но стремятся уменьшить дисперсию воспроизводимости, применяя специ­альные методы. При фиксированном значении этой дисперсии и с учетом заданных требований к точности моде­лирования определяют необходимый объем испытаний.

Если меры, принятые для пониже­ния дисперсии воспроизводимости, при­водят к тому, что необходимый объем испытаний не выходит за пределы допустимого, то качество имитационной модели (в рассмотренном смысле) считают приемлемым.

Некоторые наиболее употребитель­ные в практике имитационных иссле­дований методы понижения дисперсии (МПД) и установления необходимого объема испытаний рассмотрены ниже. Совокупность этих методов обыч­но относят к так называемому тактиче­скому планированию экспериментов.

Цель методов стратегического пла­нирования имитационных экспериментов – получение максимального объе­ма информации об изучаемом явлении путем рационального использования факторного пространства при ограни­ченном числе испытаний. Один из рас­пространенных в практике методов планирования факторных эксперимен­тов мы рассмотрим далее.

При имитационных исследованиях эффективности технических систем важ­ное место занимают вопросы выбора переменных, наблюдаемых в ходе машинного эксперимента (параметров на­блюдаемого процесса, характеристик изучаемой операции и т. д.). Наблю­даемые переменные в имитационной модели должны адекватно отражать исходы операции [конечные и (или) промежуточные]. Как правило, имита­ционная модель операции представляет собой одну из форм оператора фор­мирования исхода:

,

которая при моделировании больших систем имеет сложную разветвленную математическую структуру и обычно задается в алгоритмическом виде.

Множество исходов операции с использованием операторов и отображается во множество значений показателя эффективности при этом оператор соответствия (выражаемый функцией соответствия) отображает множество во множество значений функции соответствия :

,

а оператор усреднения переводит множество значений функции

соответствия во множество значений показа­теля эффективности :

Оценка качества имитационной мо­дели операции зависит не только от дисперсии воспроизводимости , но и от вида оператора , представ­ляющего собой суперпозицию соот­ветствующих операторов, то есть .

Конкретный вид этого оператора определяется постановкой задачи ис­следования эффективности операции и является основой для формирования требований к качеству имитационной модели, в частности к ее точности.

Качество оценивания эффективности операции, таким образом, определяет­ся: видом оператора , опреде­ляющего соответствие принятого показателя эффективности цели операции; видом оператора формирования исхода , определяющим методические по­грешности математического описания моделируемой операции; планом экс­перимента, определяющим степень ра­циональности использования факторного пространства (полноту информа­ции об исходах операции, извлекаемой в ходе машинного эксперимента); дис­персией воспроизводимости и объемом испытаний. Последние три фактора характеризуют точность статистиче­ской оценки параметров наблюдаемых переменных.

Справедливо следующее выражение:

,

где – некоторая мера качества оце­нивания эффективности операции;

– булева переменная, определяе­мая следующим образом:

– цель операции;

– методи­ческая погрешность математического описания моделируемой операции;

– погрешность измерения (вы­числения) характеристик наблюдаемых переменных, зависящая от диспер­сии воспроизводимости плана ма­шинного эксперимента и объе­ма испытаний ;

– невозрастающая функция соответствующих аргумен­тов;

– прочие факторы, влияющие на качество оценивания эффективности.

Величины и определяют точность имитационной модели операции.

Методическая погрешность в первую очередь зависит от объема и степени достоверности доступной ис­следователю информации о модели­руемой операции и условиях ее прове­дения и, как правило, не поддается оценке формальными методами (за ис­ключением случаев, когда результаты моделирования могут быть сопоставле­ны с результатами реальной операции).

Погрешность измерения для имитационных моделей, содержащих случайные факторы, может быть оце­нена статистически; при этом, для прочих равных условий, чем больше объем испытаний, тем меньше величина . В действительности, однако, объ­ем испытаний ограничен имеющимися в распоряжении исследователя ресур­сами (денежными, временными, машинными и т. д.).

Методы понижения дисперсии вос­производимости и планирования экс­перимента позволяют существенно уменьшить погрешность а следовательно, повысить качество ими­тационной модели и качество оценивания эффективности операции в це­лом.