На платформе Mail.ru Cloud Solutions (MCS) стал доступен дистрибутив Hadoop на базе продукта с открытым исходным кодом Arenadata Hadoop. Это первое на российском облачном рынке решение на основе обновленной версии Hadoop 3.0, заявляют в MCS. Сервис открывает новые возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.
Hadoop — это открытое решение для хранения и анализа больших данных. На его базе платформа Mail.ru Cloud Solutions предоставляет готовые сборки, которые позволят быстро создавать корпоративные хранилища данных (DWH) и Data Lake объемом до нескольких Пбайт, а также проводить извлечение, преобразование и загрузку данных (ETL), поступающих из разных источников.
В сочетание с набором технологий для работы с большими данными Data Science и Data Engineer-специалисты получат готовое решение для извлечения и анализа данных любого типа, которые станут основой для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер несет финансовые гарантии за доступность сервиса, занимается его администрированием и обновлением на новые версии.
Arenadata Hadoop станет одним из компонентов экосистемы облачных сервисов Mail.ru Cloud Solutions для работы с большими данными, ориентированной на потребности крупного бизнеса. Enterprise-версия решения обладает большей функциональностью на уровне политик доступа, а также высокой доступностью: обеспечивает автоматическое восстановление кластера после падения, а также его автомасштабирование при росте объема данных. Дополнительным преимуществом сервиса на платформе MCS является поддержка российского разработчика — компании Arenadata.
Платформа использует максимально приближенную к открытой версию Hadoop, что исключает зависимость пользователей от вендора. Arenadata Hadoop выполнена на базе Hadoop 3.0, что позволяет повысить эффективность хранения данных на 50%, обеспечить улучшенную работу с памятью для высоконагруженных приложений и масштабирование до ста тысяч узлов. Arenadata Hadoop зарегистрирован в государственном реестре отечественного ПО.
«Arenadata Hadoop Enterprise отличается серьезными настройками безопасности и функциональностью для высоких нагрузок, а также возможностью автомасштабирования. Компаниям теперь не надо думать, стоит ли подключать больше дисков для хранения и обработки информации: кластер автоматически расширится в случае необходимости», — сказал Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.
ИТ в банках
В рамках решения Arenadata Hadoop на платформе MCS каждый кластер тарифицируется только по количеству дискового пространства, количество ядер не влияет на стоимость решения. Пользователь платит по модели Pay-As-You-Go, которая подразумевает оплату по мере потребления ресурсов. Специалисты Mail.ru Cloud Solutions и Arenadata проконсультируют по миграции и сложным архитектурным решениям. Кроме того, новые пользователи платформы могут получить бесплатный доступ к Arenadata Hadoop на три месяца, оставив заявку на странице решения Mail.ru Cloud Big Data.
«Появление облачного сервиса, который имеет в своей основе последнюю версию Hadoop, это хорошая новость для рынка. Такое решение может сильно упростить жизнь командам разработки и компаниям, специализирующимся на анализе больших данных и машинном обучении. Мы планируем протестировать сервис, чтобы оценить перспективы его использования для наших проектов», — сказал Рустам Кильдиев, технический директор компании «Иннодата», российского разработчика решений в области управления большими данными и клиентским опытом.
В июле 2021 г. Mail.ru Cloud Solutions объявила о расширении сотрудничества с российским разработчиком платформы сбора и хранения данных Arenadata и открыла доступ к распределенной аналитической СУБД с открытым кодом Arenadata DB Cloud версии Enterprise, которая также доступна для бесплатного теста на три месяца. Решение позволяет создать корпоративное хранилище информации с почти неограниченными возможностями масштабирования.
