3. Современные автоматизированные технологии проведения аналитических исследований

В первых научных публикациях в области механизации и автоматизации акцент делался на вопросы использования вычислительной техники только в учетной работе. В то же время, поскольку любой вид аналитической работы опирается на информационную базу, основу которой составляют, прежде всего, данные бухгалтерского учета и бухгалтерской отчетности, исследование проблем автоматизации учета создавало достаточно прочный фундамент для последующей автоматизации аналитических исследований. Внедрение в практику управления интерактивных технологий и переход к распределенной обработке данных сделали возможным качественный скачок в организации автоматизированных систем управления, в том числе и систем экономического анализа. Открывшиеся новые возможности обработки информации, стимулировали разработку и создание новых программных средств. Возможности программного обеспечения по формированию финансовой отчетности хозяйствующих субъектов стимулировали разработчиков на создание аналитических программ финансового анализа. При этом многие фирмы-разработчики шли по пути увеличения числа рассчитываемых финансовых коэффициентов, игнорируя качественный аспект аналитической работы. Подобные программные продукты по экономическому анализу позволили значительно снизить трудоемкость аналитической работы, связанной с расчетом финансовых коэффициентов, освободив время непосредственно для самого анализа ситуации и выработки управленческих решений. Однако динамично развивающаяся рыночная экономика требуется не столько ретроспективного, сколько перспективного анализа факторов, причем не только внутренних, но и внешних. Развитие вычислительной техники позволяет в настоящее время обеспечивать достаточно сложные аналитические исследования, использующие сложный математический аппарат и слабо формализованную информацию. Эти исследования реализуются через создание специализированных экспертных систем.

Одна из широко используемых технологий проведения анализа - Data Mining (mining по-английски означает «добыча полезных ископаемых», т.е. добыча данных и поиск закономерностей) - основывается на статистических методах обработки большого количества показателей, хранящихся в базе данных предприятия. Совокупность большого количества таких записей, накопленных за несколько лет, может стать источником дополнительной, гораздо более ценной информации - сведений о закономерностях, тенденциях или взаимозависимостях между какими-либо данными. Примерами подобной информации являются сведения о том, как зависят продажи определенного товара от дня недели, времени суток или времени года, какие категории покупателей чаще всего приобретают тот или иной товар, какая часть покупателей одного конкретного товара приобретает другой конкретный товар, какая категория клиентов чаще всего вовремя не отдает предоставленный кредит и т.п.

Подобного рода информация обычно используется при прогнозировании, стратегическом планировании, анализе рисков, и т.п. Data Mining обозначает не столько конкретную технологию, сколько сам процесс поиска корреляций, тенденций, взаимосвязей и закономерностей посредством различных математических и статистических алгоритмов: кластеризации, создания субвыборок, регрессионного и корреляционного анализа. Цель этого поиска - представить данные в виде, четко отражающем бизнес-процессы, а также построить модель, при помощи которой можно прогнозировать процессы, критичные для планирования бизнеса (например, динамику спроса на те или иные товары или услуги либо зависимость их приобретения от каких-то характеристик потребителя).

Если при статистическом анализе или при применении OLAP (online analytical processing - оперативной аналитической обработки данных) обычно формулируются вопросы типа «Каково среднее число неоплаченных счетов заказчиками данной услуги?», то применение Data Mining, как правило, подразумевает ответы на вопросы типа «Существует ли типичная категория клиентов, не оплачивающих счета?», что обеспечивает более нетривиальный подход к маркетинговой политике и к организации работы с клиентами.

Средства Data Mining отличаются тем, что вместо проверки заранее предполагаемых пользователями взаимозависимостей они способны находить взаимозависимости самостоятельно и строить гипотезы об их характере. Применение средств Data Mining не исключает использования статистических инструментов, поскольку результаты обработки данных с помощью последних, как правило, способствуют лучшему пониманию характера закономерностей, которые следует искать. Однако их применение оправданно лишь при наличии достаточно большого количества данных, содержащихся в корректно спроектированном хранилище данных. Эти данные представляют собой пополняемый набор, единый для всего предприятия и позволяющий восстановить картину его деятельности на любой момент времени.

Выделяют пять стандартных типов закономерностей, выявляемых данными методами:

• ассоциация — высокая вероятность связи событий друг с другом (например, один товар часто приобретается вместе с другим);

• последовательность — высокая вероятность цепочки связанных во времени событий (например, в течение определенного срока после приобретения одного товара будет с высокой степенью вероятности приобретен другой);

• классификация — имеются признаки, характеризующие группу, к которой принадлежит то или иное событие или объект;

• кластеризация — закономерность, отличающаяся от классификации тем, что сами группы при этом не заданы — они выявляются автоматически в процессе обработки данных;

• временные закономерности — наличие шаблонов в динамике поведения тех или иных данных (например, сезонные колебания спроса на те или иные товары либо услуги), используемых для прогнозирования.

Для выявления этих закономерностей используются следующие приемы анализа:

• регрессионный, дисперсионный и корреляционный анализ (реализован в большинстве статистических пакетов);

• методы анализа в конкретной предметной области, базирующиеся на эмпирических моделях (часто применяются, например, в недорогих средствах финансового анализа);

• нейросетевые алгоритмы, идея которых основана на аналогии с функционированием нервной ткани и заключается в том, что исходные параметры рассматриваются как сигналы, преобразующиеся в соответствии с имеющимися связями между «нейронами», а в качестве ответа, являющегося результатом анализа, рассматривается отклик всей сети на исходные данные. Связи в этом случае создаются с помощью «обучения» сети посредством выборки большого объема, содержащей как исходные данные, так и правильные ответы;

• алгоритмы выбора близкого аналога из уже имеющихся исторических данных (метод «ближайшего соседа»);

• дерево решений - иерархическая структура, базирующаяся на наборе вопросов, подразумевающих ответ «Да» или «Нет». Он довольно часто используется в системах прогнозирования в силу наглядности получаемого ответа;

• кластерные модели (модели сегментации) применяются для объединения сходных событий в группы на основании сходных значений нескольких полей в наборе данных;

• алгоритмы ограниченного перебора, вычисляющие частоты комбинаций простых логических событий в подгруппах данных;

• эволюционное программирование — поиск и генерация алгоритма, выражающего взаимозависимость данных, на основании изначально заданного алгоритма, модифицируемого в процессе поиска; иногда поиск взаимозависимостей осуществляется среди каких-либо определенных видов функций.

Средства Data Mining относятся к категории программ Business Intelligence, и являются дорогостоящим инструментам, цена некоторых из них доходит до нескольких десятков тысяч долларов. Поэтому основными потребителями этой технологии стали банки, финансовые и страховые компании, крупные торговые предприятия, а основными задачами - оценка кредитных и страховых рисков и выработка маркетинговой политики, тарифных планов и иных принципов работы с клиентами. В последние годы появились относительно недорогие инструменты Data Mining, что сделало доступной эту технологию для предприятий малого и среднего бизнеса. К этой категории относятся генераторы отчетов, средства аналитической обработки данных, средства разработки BI-решений и Enterprise BI Suites — средства анализа и обработки данных масштаба предприятия. К сравнительно недорогим продуктам относятся приложения для анализа для сбыта, закупок, маркетинга, производства, управления цепочками поставок и управления взаимоотношениями с клиентами.

Более простым средством автоматизации аналитической работы является использование OLAP-приложений, в которых. реализуется быстрая реакция системы на запросы пользователя. Именно возможность анализа данных в интерактивном режиме отличает OLAP-системы от систем подготовки регламентированных отчетов. Эти системы строятся на специализированных базах данных, которые автоматически наполняются в процессе текущей работы сотрудниками предприятия. Особенностью этих систем является возможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений», т. е. самым понятным для корпоративных аналитиков способом. Часто пользователь получает ответ на запрос в виде многомерного отчета — «микрокуба», работа с которым осуществляется в интерактивном режиме (получение срезов информации и ее детализация).

Выбор подхода к автоматизации аналитической работы на предприятии и инструмента ее реализующего, зависит в первую очередь от преследуемой цели: всегда приходится балансировать между экономией бюджета и повышением качества обслуживания конечных пользователей².