Оперативная аналитическая обработка данных — это сложный процесс анализа и интерпретации данных режиме реального времени, который позволяет получить стратегическое решение с минимальной задержкой.
Важными понятиями в оперативной аналитической обработке являются:
- Реальное время — способность системы обрабатывать и анализировать данные по мере их поступления. Данные должны обрабатываться и анализироваться незамедлительно, что позволило бы оперативно реагировать на изменения в бизнес-среде.
- Минимальная задержка — минимальный временной интервал между поступления данных и их обработкой, поскольку даже небольшая задержка может привести к упущенным возможностям и увеличению рисков.
- Потоковая обработка данных — метод обработки данных, при котором данные обрабатываются по мере их поступления в виде непрерывного потока. В оперативной аналитической обработке данных потоковая обработка используется для обеспечения оперативности и реагирования в реальном времени на изменения.
- Быстрый доступ к данным — способность системы предоставить доступ к актуальным данным в режиме реального времени, что включает в себя быстрое извлечение данных из хранилища.
- Интерактивные отчёты и дашборды — интерактивные отчёты, которые представляют собой визуальные инструменты, позволяющие пользователям проводить анализ данных и принимать оперативные решения на основе актуальной информации. Они обеспечивают наглядное отображение данных и позволяют взаимодействовать с ними в реальном времени.
Для оперативного анализа данных используются различные инструменты и методы:
Системы потоковой обработки:
Потоковая обработка данных — это технология, позволяющая обрабатывать и анализировать потоки данных в режиме реального времени [19]. Эта технология позволяет быстро реагировать на изменения в данных.
К основным принципам потоковой обработки данных можно отнести: обработка непрерывного потока данных, низкая задержка обработки данных, анализ данных в реальном времени.
Инструментами для работы с потоковыми данными могут стать:
Apache Kafka — распределенная платформа для потоковой обработки данных, позволяющая надёжно передавать, хранить и обрабатывать потоки данных в реальном времени.
Apache Flink — высокопроизводительная система потоковой обработки данных, поддерживающая оперативный анализ, обработку событий и вычисления в реальном времени.
Apache Beam — фреймворк для разработки потоковых приложений с низкой задержкой и высокой пропускной способностью.
Такая технология позволяет использовать её в разных сферах, например, мониторинг транзакций банка, отслеживание и оптимизация маршрутов доставки, анализ пользовательских данных и предложение рекомендаций в режиме реального времени.
Интерактивные аналитические инструменты:
Business Intelligence — это работа с данными, изучение показателей и метрик компании для того, чтобы решить проблемы бизнеса или предложить улучшения.
К основным задачам бизнес-аналитики относится:
- Получение данных;
- Обработка и структурирование данных;
- Анализ данных.
BI-системы — это программные продукты для сбора данных из разных источников, а также обработки и представления данных в формате удобных отчётов.
В структуру таких систем входят следующие компоненты:
- ETL и ELT системы, которые обеспечивают интеграцию и очистку данных;
- Средства Data Mining — интеллектуальный анализ данных, которой позволяет автоматически выделить тренды и зависимости в данных;
- OLAP-кубы;
- Инструменты визуализации данных.
На сегодняшний день данные системы недоступны на российском рынке, в связи с санкциями западных стран. Именно поэтому необходимо рассмотреть системы, которые сейчас доступны в России:
Loginom — платформа для бизнес-аналитики, где необходимо обрабатывать большие объёмы данных.
Форсайт — аналитическая платформа, которая позволяет прогнозировать и анализировать данные.
SuperSet — открытая и масштабируемая платформа для визуализации данных, которая поддерживает различные источники данных и позволяет создавать интерактивные отчёты и дашборды.
При выборе инструментов для создания нужно учитывать:
- Источники данных, которые существуют в компании;
- Размеры обрабатываемых данных;
- Уровень профессиональных компетенций исполнителя;
- Операционная система, используемая в компании и рабочих местах сотрудников;
- Задачи и необходимая степень детализации;
- Элементы визуализации
