2.4.4. Основные этапы Data Mining
Для обнаружения знаний в данных недостаточно просто применить методы Data Mining, хотя, безусловно, этот этап является основным в процессе интеллектуального анализа. Весь процесс состоит из нескольких этапов. Рассмотрим основные из них, чтобы продемонстрировать, что без специальной подготовки аналитика методы Data Mining сами по себе не решают существующих проблем.
Итак, весь процесс можно разбить на следующие этапы (рис. 2.26):
– понимание и формулировка задачи анализа;
– подготовка данных для автоматизированного анализа (препроцессинг);
– применение методов Data Mining и построение моделей;
– проверка построенных моделей;
– интерпретация моделей человеком.
На первом этапе выполняется осмысление поставленной задачи и уточнение целей, которые должны быть достигнуты методами Data Mining. Важно правильно сформулировать цели и выбрать необходимые для их достижения методы, т.к. от этого зависит дальнейшая эффективность всего процесса.
Второй этап состоит в приведении данных к форме, пригодной для применения конкретных методов Data Mining. Вид преобразований, совершаемых над данными, во многом зависит от используемых методов, выбранных на предыдущем этапе.
Третий этап — это собственно применение методов Data Mining. Сценарии этого применения могут быть самыми различными и включать сложную комбинацию разных методов, особенно если используемые методы позволяют проанализировать данные с разных точек зрения.
Следующий этап — проверка построенных моделей. Очень простой и часто используемый способ заключается в том, что все имеющиеся данные, которые необходимо анализировать, разбиваются на две группы. Как правило, одна из них большего размера, другая — меньшего. На большей группе, применяя те или иные методы Data Mining, получают модели, а на меньшей — проверяют их. По разнице в точности между тестовой и обучающей группами можно судить об адекватности построенной модели.
Последний этап — интерпретация полученных моделей человеком в целях их использования для принятия решений, добавление получившихся правил и зависимостей в базы знаний и т.д.. Этот этап часто подразумевает использование методов, находящихся на стыке технологии Data Mining и технологии экспертных систем. От того, насколько эффективным он будет, в значительной степени зависит успех решения поставленной задачи.
Рис. 2.26
Рассмотренным этапом и завершается цикл Data Mining в строгом смысле этого слова. Окончательная оценка ценности добытого нового знания выходит за рамки анализа, автоматизированного или традиционного, и может быть проведена только после претворения в жизнь решения, принятого на основе добытого знания, после проверки нового знания практикой. Исследование достигнутых практических результатов завершает оценку ценности добытого средствами Data Mining нового знания.
Глава 3. Проектирование информационно-управляющих систем §3.1. Основные проблемы, системный подход и последовательность разработки
На сегодняшний день в мире существует огромное множество разнообразных ИУС. Диапазон сложности этих систем очень широк: от простейшего контроллера стиральной машины до сложных распределённых систем управления движением железнодорожного или воздушного транспорта. Ежегодно производятся миллиарды единиц встраиваемых вычислительных систем. В последнее время рост сложности проектируемых встраиваемых вычислительных систем составляет около 58% в год, а ежегодный рост производительности их проектирования – более лишь 20%. Эти цифры говорят о наличии спроса на проектировщиков ИУС в настоящий момент, а также о необходимости совершенствования методов проектирования.
Два основных подхода к проектированию ИУС14:
1. При традиционном подходе заранее зафиксированы аппаратные средства, и задача почти целиком решается за счёт программной надстройки. В области ИУС такой подход даёт плохие результаты.
2. Более прогрессивный подход состоит в максимально позднем делении системы на аппаратную и программную части. Он имеет ряд полезных свойств: в частности, позволяет рассматривать систему инвариантно к её реализации и, как следствие, улучшить переносимость проекта.
Стоимость разработки аппаратной части системы сильно зависит от нижнего (самого глубокого) уровня, на который приходится спускаться при проектировании. Иначе говоря, трудоёмкость и стоимость проектирования аппаратуры определяются минимальными "размерами" готового строительного блока используемого в системе.
В настоящее время процесс проектирования не формализован: не существует готового детального алгоритма проектирования систем. Обычно удаётся формализовать лишь следующие части этого процесса:
– формирование технического задания (ТЗ) и специфицирование системы (создание расширенного ТЗ);
– получение моделей некоторой сгенерированной структуры, архитектуры, функциональности системы и работа с ними с целью проведения оценки проектных решений;
– выполнение преобразований (трансляции из одного представления в другое) на разных уровнях;
– проведение тестирования и верификации системы (с помощью моделирования).
Основные этапы проектирования при традиционном подходе:
разбиение системы на аппаратную и программную части, производимое вручную на основании личного опыта разработчика;
раздельное моделирование аппаратной и программной частей (если вообще выполняется какое-либо моделирование);
последовательное проектирование аппаратуры и программ (именно в таком порядке);
интеграция аппаратной и программной частей (производится вручную);
исправление или компенсация ошибок, обнаруженных в процессе отладки, путём изменения программы (обычно приводит к ухудшению характеристик системы);
повторное выполнение всего цикла проектирования, если невозможно исправить ошибки за счёт программной части.
Основной недостаток, связанный с последовательным проектированием аппаратуры и программ, состоит в растягивании сроков разработки. Частично этот этап можно распараллелить, но эффективность такого распараллеливания оказывается низкой, если не используются специальные средства и приёмы. Также существует огромное количество возможных реализаций системы с резко различающимися вариантами создания аппаратной и программной частей. Одну и ту же задачу можно решить с помощью аппаратуры, построенной:
на одном вычислителе;
на нескольких вычислителях, соединённых по шинной архитектуре;
на нескольких вычислителях, соединённых нерегулярным образом (в виде дерева или более сложной топологии).
В зависимости от выбранного варианта построения системы, перед проектировщиком будут возникать совершенно разные проблемы. Определить, какой из вариантов правильнее, разработчику весьма затруднительно, так как на раннем этапе моделирования и оценки спрогнозировать характеристики системы тяжело, а изготовление макета каждого из вариантов реализации приводит к денежным и временным затратам. Таким образом, традиционный подход к проектированию имеет определённые объективные недостатки.
Сейчас ведущие специалисты по вычислительной технике предлагают выход из сложившейся ситуации, состоящий в коренном изменении процесса проектирования. Прежде всего, система должна проектироваться на абстрактном уровне, без априорного разделения её на аппаратную и программную части. Проектировщик должен по максимуму отвлечься от физической реализации. Если это удастся сделать, то есть удастся выбрать систему понятий (систему элементов, базис), в рамках которых будет спроектирована вычислительная система, то на последних этапах процесса проектирования можно будет провести реализацию этой абстрактной вычислительной системы. В рамках такого процесса проектирования появляется много дополнительных полезных свойств.
Основная проблема такого способа проектирования состоит в том, что разработчику трудно начать мыслить новыми (абстрактными) категориями. Неопытному разработчику тем более тяжело воспринять новые (не очень простые) понятия, если он, к тому же, не понимает, зачем ему это нужно. С другой стороны, легче сразу закладывать нужную базу понятий, чем заменять или переделывать уже имеющуюся.
Одна из наиболее существенных проблем вычислительной техники на сегодняшний день – быстрая смена элементной базы. Элементы морально устаревают в среднем через два-три года после начала их выпуска. Физически они продолжают функционировать в составе различных устройств, но промышленность либо вообще перестаёт их выпускать, либо выпускает в минимальных объёмах, только для поддержания ремонтопригодности существующей техники. В последнем случае цена таких элементов резко возрастает. Проблема морального старения элементной базы, в свою очередь, обусловливает необходимость смещения акцента на этап высокоуровневого проектирования.
Как показывает практика, жизненный цикл ИУС составляет от 10 до 15 лет, а реально такие системы находятся в эксплуатации 25-30 лет. Если через 10 лет эксплуатации, например, выходит из строя процессор, и такие процессоры уже сняты с производства, то ремонт системы может оказаться невозможным. Обычно в таких случаях делается попытка интегрировать в систему другой процессор (из имеющихся в продаже), наиболее близкий по характеристикам к заменяемому. Конечно, при этом может возникнуть ряд проблем: надо электрически и конструктивно согласовать новый процессор с существующим устройством, заставить корректно работать программное обеспечение (в частности, учесть возможное изменение быстродействия). Кроме того, нужно доказать эксплуатирующим и контролирующим организациям, что система с внесёнными изменениями будет работать так же, как и её первоначальный вариант. Таким образом, нужно выполнять проектирование и процедуры сертификации таким образом, чтобы проект существовал в виде, минимально завязанном на конкретную реализацию, то есть обладал хорошей переносимостью.
В общем случае, проектирование подразумевает создание нового, ранее неизвестного, улучшение или замена элементов ИУС.
Проектирование начинается с формулирования цели: технолог выбирает необходимый цикл технологических подпроцессов и операций, техническая организация которых позволит получить протекание некоторого процесса с требуемыми показателями качества. Этот этап называется алгоритмизацией процесса. На следующем этапе идет разработка технических требований к ИУС, то есть разрабатывается техническое задание (ТЗ) на проектирование, которое составляется в соответствии с гостом ГОСТ 24.201-79 «Требование к содержанию документа «Техническое задание», который, в частности, устанавливает, что техническое задание на создание ИУС должно содержать следующие разделы: введение; характеристика объекта управления; назначение ИУС; основные требования к ИУС; технико-экономические показатели ИУС; состав, содержание и организация работ по созданию ИУС; порядок приема. Далее специалистами АиУ осуществляется разработка эскизного проекта ТП – выбор идеи реализации на основе некоторых принципов проектирования и проверка работоспособности этой идеи. Выбираются наиболее перспективные идеи методом многокритериального анализа, осуществляемого моделированием.
Современные принципы проектирования:
Принцип системности.
Проектированное устройство должно проектироваться с учетом того, что оно будет работать в составе конкретной системы.
Принцип иерархии (при внешнем проектировании).
В любой системе есть некоторая главная технологическая операция и реализующее ее технологическое оборудование, которое диктует требования к другому ее технологическому оборудованию. Вначале формируются требования к главной системе, а затем – требования соподчинения к другим типам оборудования.
Принцип оптимальности.
Спроектированные устройства должны оптимально выполнять предписанные функции в заранее обусловленном смысле; т.е. должен быть выбран критерий оптимальности.
Критерии для аппаратуры автоматики и управления: надежность, минимальные массогабаритные показатели, минимальная стоимость.
Методы резервирования:
горячее резервирование – элементы (силовые) выбирают по режимам 20-30% от номинальных (по энергетическим показателям);
холодное резервирование – в схеме прибора (конструкции) предусмотрено подключение параллельно нескольких резервных элементов.
Принципы конструктивной преемственности.
При разработке или проектировании какой-либо аппаратуры не обязательно проектировать отдельные устройства, узлы. Нужно максимально использовать имеющиеся в мировой практике разработки и создавать новое лишь тогда, когда имеющиеся разработки не удовлетворяют по каким-либо показателям качества.
Принцип взаимозаменяемости.
При проектировании должно быть создано не уникальное единичное изделие, а серия изделий с одинаковыми показателями качества. Изготовленные устройства можно взаимозаменять при эксплуатации аппаратуры.
Этапы эскизного проектирования:
Проектирование технологического оборудования, для чего привлекаются технологи, которые выбирают алгоритм работы технологического оборудования.
Производится разработка ТЗ на проектирование технологического оборудования. Назначаются требования к показателям качества.
Разрабатываются ТЗ на проектирование аппаратуры управления. Независимо от отрасли, процесс управления состоит из подпроцессов:
получение и сбор первичной информации – информационно-измерительные системы (ИИС);
передача полученной информации – системы телемеханики (СТМ);
обработка полученной информации и выработка командных управлений;
управление (например, с помощью сервопривода).
Проектирование подсистем ИУС независимо друг от друга и параллельно.
Дальше идет внутреннее проектирование, каждое – своим специалистом узкой специализации. Разрабатывается функциональная схема приборов, и, если нужно, проводится моделирование. После этого решаются вопросы схемотехники, получается принципиальная схема. После проведения расчетов видно, что устройство реализуемо, для проверки проводится макетирование. На макете проводятся функциональные испытания, в ходе которых выясняется, насколько точно спроектированный прибор выполняет свои функции.
Далее осуществляется разработка технического проекта ТП.
Технический проект – это комплекс технической документации, по которой промышленными методами можно изготовить, смонтировать и запустить ИУС. Техническая документация включает правила и способы создания того или иного технологического оборудования:
текстовая техническая документация,
программные документы,
графические документы.
Текстовые документы – это пояснительная записка (пояснительная записка дает полное текстовое описание спроектированного устройства, в ней должно быть произведено обоснование и выбор принятого технического решения (обоснование функциональной схемы) с привлечением математического аппарата, выкладок, таблиц, диаграмм и так далее. В пояснительной записке должен быть также приведен расчет принципиальной схемы с необходимыми математическими выкладками и обоснованиями); приложения, инструкции по эксплуатации, обслуживанию, хранению, транспортировке; различные спецификации, перечни. Они изготавливаются по единым правилам, которые регламентируются государственными стандартами. Например: ГОСТ 19.404-79 Пояснительная записка. Требования к содержанию и оформлению, устанавливает, что ПЗ должна содержать следующие разделы: введение (содержит наименование программы и (или) условное обозначение темы разработки, а также документы, на основании которых ведется разработка с указанием организации и даты утверждения); назначение и область применения; технические характеристики (постановка задачи на разработку программы, описание применяемых математических методов и, при необходимости, описание допущений и ограничений, связанных с выбранным математическим материалом и т.д); ожидаемые технико-экономические показатели (указывают технико-экономические показатели, обосновывающие выбранный вариант технического решения, а также, при необходимости, ожидаемые оперативные показатели); источники, использованные при разработке. ГОСТ 19.105-78 «Общие требования к программным документам» устанавливает требования к оформлению программных документов для вычислительных машин, комплексов и систем, независимо от их назначения и области применения и предусмотренных стандартами Единой системы программной документации (ЕСПД) для любого способа выполнения документов на различных носителях данных. ГОСТ 19.507-79 Ведомость эксплуатационных документов. ГОСТ 19.202-78 Спецификация. Требования к содержанию и оформлению.
Программная документация – правила изготовления регламентируются ГОСТ 19.401-78 «Текст программы». Требования к содержанию и оформлению; ГОСТ 19.402-78 «Описание программы», который в общем устанавливает, что описание программы должно содержать следующие разделы: общие сведения; функциональное назначение; описание логической структуры; используемые технические средства; вызов и загрузка; входные данные; выходные данные. Также установлены правила оформления программной документации.
Графические документы: чертежи (схемы расположения оборудования; общий вид, сборочный чертеж, чертеж деталей), схемы (виды: электрическая, кинематическая, и т.д.; типы: структурная схема, функциональная, принципиальная, схемы соединения, подключения, общие схемы, схемы расположения). Правила выполнения регламентируются ГОСТ 24.302-80 Общие требования к выполнению схем; ГОСТ 24.304-82 Требования к выполнению чертежей и др.
После разработки ТП осуществляется изготовление малой серии (опытной партии) спроектированной аппаратуры промышленными методами. Она подвергается комплексным испытаниям:
Функциональные испытания, чтобы определить, как качественно функционирует аппаратура.
Испытания на механическую прочность, на устойчивость к воздействиям внешней среды. Как правило, комплексные испытания проводятся на испытательных стендах. Один из приборов ставится на испытание надежности. Есть определенные методы ускоренной наработки. В проектной документации делаются необходимые поправки.
В итоге запускается серийное производство. Роль проектировщика – сопровождение эксплуатации спроектированной аппаратуры. Иногда проводится модернизация спроектированной аппаратуры, это должно быть согласовано с проектировщиками.