Компания «Диасофт» работает над созданием технологической платформы Digital Q.DataFlows, основываясь на микросервисной архитектуре и Open Source технологиях. Платформа призвана предоставить банкам широкий набор инструментов управления данными и простой доступ к этим инструментам. Это позволит легко создавать, разворачивать и наполнять данными различные аналитические системы. Платформа объединит в себе разные подходы к обработке данных, что сделает возможным проведение обновлений аналитических систем в режиме реального времени.
Игорь Шабанин, заместитель директора департамента «Экономика данных» компании «Диасофт», сказал: «Наша задача предоставить клиентам такой набор инструментов, который может быть легко встроен в IT-ландшафт организации по обработке данных и позволит создавать аналитические приложения в разной архитектуре. Мы много инвестируем в создание новой технологической платформы, используем наши наработки и готовые, зарекомендовавшие себя Open Source технологии».
Сегодня «Диасофт» работает над созданием трех независимых друг от друга компонентов – это позволит по отдельности использовать инструменты платформы, встраивая их в архитектуру банка.
Компонент Q.DataCatalog платформы Digital Q.DataFlows отвечает за автоматизацию управления метаданными из любой информационной системы в едином месте, предоставляя пользователям полный контекст для аналитики данных и отчетности. С помощью этого инструмента можно визуализировать путь данных (Data Linage) на детальном уровне от источников до конечных витрин и отчетов.
Q.DataStreamer, второй компонент платформы, который позволяет быстро создавать процессы извлечения и преобразования данных в простом интерфейсе, пользователь системы сможет рисовать ETL-процессы без кодирования. Также компонент дает возможность автоматизировать сложные процессы из множества потоков данных для работы с Data Lake и Data Warehouse.
Контроль качества, или компонент Q.DataQuality, в свою очередь, позволяет встроить проверки в потоки данных для контроля качества данных в рамках общих процессов организации – с ним можно разрабатывать, отслеживать, вести статистику правил контроля и работать с инцидентами. Компонент дает возможность формировать аналитику и визуализировать результаты проверок и протоколов на дашборде качества данных. Этот компонент может работать как в архитектуре «Диасофт», так и со сторонними системами.
Уже в этом году специалисты «Диасофт» планируют значительно продвинуться в разработке всех компонентов технологической платформы Digital Q.DataFlows и сделать их доступными для внедрения.
