Простой анализ данных

Отслеживание – событие генерируется по факту наличия или отсутствия каких-либо данных в заданном месте или в определенный момент времени. Простейшим примером является геолокация для служебных автомобилей, когда компании необходимо знать их точное местоположение и когда они в последний раз посещали то или иное место. Эту функцию можно применять в сельском хозяйстве, коммунальном вывозе мусора, уборке снега, для отслеживания пассажиропотоков, пациентов, ценных активов, багажа и т. д.;

Простой анализ данных

Тенденции – этот шаблон особенно полезен в прогностическом облуживании. Он подразумевает создание правила для обнаружения событий на основе наборов данных, связанных по времени. Временные события имеют похожий принцип работы, но вместо времени в них фигурирует понятие последовательности. В этой модели время является одним из измерений процесса. Актуальная история событий, связанных по времени, может использоваться сельском хозяйстве. Например, к голове коровы можно прикрепить датчик, который будет отслеживать ее перемещения и температуру. Чтобы посмотреть, двигалась ли корова на протяжении дня, можно составить последовательность событий. Отсутствие движения может указывать на то, что животное заболело или умерло;

Укрупненная схема передачи данных в облако

Виды аналитических функций

●Система правил – определяет действие и возвращает результат;

●Поточная обработка – здесь события, такие как показания датчиков, передаются поточному процессору. Путь обработки представляет собой граф с операторами в качестве узлов; при этом данные переходят от одного оператора к другому. Каждый узел содержит код для определенного этапа обработки и ссылку на следующий узел в графе. Такой граф можно реплицировать и выполнять параллельно в кластере, поэтому его можно масштабировать на сотни компьютеров;

●Обработка сложных событий – эта часть системы основана на языке запросов высокого уровня SQL и занимается обработкой событий. Она заточена под низкие задержки;

●Lambda-архитектура – эта модель пытается сбалансировать пропускную способность системы и уровень задержек, выполняя пакетную обработку и параллельные вычисления с громадными наборами данных.

Система правил (продукционная модель)

Система правил – это программный компонент, который выполняет какие- либо действия в ответ на события. Например, если влажность в комнате

превысит 50%, отправляется SMS. Этот механизм также называют системой управления бизнес-правилами (англ. Business Rule Management System, или

BRMS). Некоторые системы правил обладают состоянием. Это означает, что они могут хранить историю событий и выполнять разные действия в зависимости от их порядка, количества или характера их поступления. Системы, не имеющие состояния, проверяют только текущее событие.

Система правил (продукционная модель)

Система правил (продукционная модель)

Пример системы правил для котельной

Поточная обработка

Поточная обработка – альтернатива туманным вычислениям (снижение латентности)

Поток информации, передающийся из датчика в облако, воспринимается как:

●постоянный и бесконечный;

●асинхронный;

●неструктурированный или структурированный;

●максимально близкий к режиму реального времени.

Поточная обработка

Требования к системам поточной обработки:

●масштабироваться при росте и всплесках количества событий;

●предоставлять возможность публикации/подписки в своем API-интерфейсе;

●стремиться к минимизации задержек;

●обеспечивать масштабирование правил обработки;

●поддерживать озера и хранилища данных.

Поточная обработка

Примеры поточных систем:

●Фреймворк Apache Spark – работа с данными в ОЗУ

●Система Apache Storm – низкоуровневая реализация на уровне событий

●Apache Kafka и Flume – системы потребления данных

●Apache Hadoop – озеро данных