Поставщик облачных услуг компания SberCloud (входит в экосистему «Сбера») расширила возможности ML Space – платформы для совместной ML-разработки полного цикла, работающей на базе суперкомпьютера «Кристофари».
Кроме использования предустановленных в ML Space библиотек и фреймворков, пользователи облачной платформы получили возможность загружать и запускать собственные Docker-образы в специальном хранилище Docker registry, которое также доступно для совместной работы. А удаленный доступ по ssh позволяет отлаживать необходимые процессы как с персонального компьютера, так и из терминала привычного ПО (Jupyter Notebook или JupyterLab). Функциональные возможности Docker registry при работе с пользовательскими Docker-образами и возможность ssh-доступа позволяют обучать на платформе любые модели.
Еще одним новым обновлением платформы стал модуль Datahub. Разработчикам и дата-сайентистам стали доступны предобученные модели, дата-сеты (специально подготовленные наборы данных) и контейнеры, хранящиеся в Datahub. Пользователям ML Space больше не нужно тратить время на поиск и скачивание моделей, дата-сетов, docker-контейнеров из внешних источников, проверять их EULA (пользовательское соглашение) и отсутствие в них вирусов. Если клиенту ML Space нужны дата-сеты, модели и контейнеры для решения ИИ-задач, то специалисты Sbercloud сами найдут и разместят их в Datahub.
Так, например, модели GPT-3 на 760 млн и 1,3 млрд доступны в Datahub с заготовленными скриптами для дообучения и развертывания на высокопроизводительной инфраструктуре Sbercloud. А самую большую языковую модель в мире – GPT-3 (13 млрд параметров), которой еще нет в открытом доступе, можно развернуть в Datahub ML Space в несколько кликов.
Также в новом модуле доступна подборка специальных контейнеров Nvidia NGC (NeMo, RAPIDS и др.), адаптированных для использования в ML Space и решения задач обработки естественного языка (NLP), компьютерного зрения (CV), работы с данными (ETL), развертывания ML-моделей в облаке и многих других кейсов. Популярный контейнер Transfer Learning Toolkit будет доступен уже в июне 2021 г. в новой версии Datahub. В бета-версии Datahub весь контент – дата-сеты, модели, контейнеры – доступен абсолютно бесплатно.
С появлением новой функциональности ML Space при разработке продуктов с использованием машинного обучения больше не требуются дополнительные DevOps инженеры и привлеченные администраторы вычислительной инфраструктуры, что упрощает, ускоряет и демократизирует разработку ИИ-продуктов.
Пользователям ML Space доступна совместная работа на всех этапах ML-разработки, гибкий выбор инфраструктуры: CPU, GPU и возможность запуска распределенного машинного обучения до 1000+ GPU Tesla v100 суперкомпьютера «Кристофари».
ML Space уже активно используется как экосистемой «Сбера», так крупными коммерческими компаниями, стартапами, а также научными организациями.
Обновление ML Space делает ML-разработку еще более доступной. Сегодня компания Sbercloud предлагает самые низкие цены – на российском и международном рынках – от 3 руб. за 1 GPU/мин и 0,12 руб. за 1 СPU/мин обучения и препроцессинга, а также 0,06 руб. за 1 GPU/сек за развертывание моделей на «Кристофари». Оплата осуществляется по модели pay as you go.
Ранее Sbercloud также объявила о расширении возможностей Sbercloud ML Space за счет применения открытой, кросс-архитектурной модели программирования oneAPI, что позволяет разработчикам эффективно использовать возможности различных архитектур, включая популярные процессоры Intel Xeon, без изменения кода для каждой аппаратной платформы.
Получить доступ к обновленной платформе ML Space и познакомиться со всеми ее возможностям можно на сайте компании Sbercloud.
Генеральный директор Sbercloud Eвгений Колбин сказал: «Наша облачная платформа ML Space, использующая ресурсы самого мощного российского суперкомпьютера «Кристофари», была запущена всего 5 месяцев назад, но уже сейчас мы видим, насколько это мощный, высокотехнологичный и при этом доступный инструмент для разработки ИИ-сервисов».
