Команда AdTech «Рамблера» разработала собственную реализацию RTB (Real Time Bidding – торги в реальном времени) – алгоритмическую закупку рекламы, когда множественные рекламодатели делают свои предложения на единичный показ страницы с контентом издателя и заявка с наибольшей ценой показывается в виде рекламы целевому посетителю страницы.
Одним из ключевых элементов этой системы является DMP (Data Management Platform – платформа управления данными), которая, путем анализа огромного количества данных (свыше 10 ТБ в день) разделяет пользователей на более чем 10 тысяч аудиторных сегментов.
Для удовлетворения растущих вычислительных потребностей Rambler&Co выбрал публичное облако IBM Cloud. Оно обеспечивает DMP необходимой архитектурой с устойчивым сетевым подключением и масштабируемостью, которая может поддерживать сложные модели данных, а также предоставлять доступ к передовым облачным сервисам, таким как инструментарий ИИ, автоматизация и аналитика. Rambler&Co использует IBM Cloud для разработки моделей, обучения и применения нейронных сетей. IBM Cloud позволяет получить унифицированную и гибкую платформу, которая может беспрепятственно предоставлять выделенные вычислительные мощности для поддержки каждой из этих критических частей жизненного цикла нейронной сети.
Особой популярностью пользуются социально-демографические признаки аудитории – возраст, пол и т. д., которые и так были достаточно качественно представлены Rambler&Co. Поэтому перед командой DMP стояла весьма амбициозная цель: сделать основные метрики еще лучше, используя нейронные сети для анализа потребления пользователем контента в виде эмбеддинга (векторного представления).
Это довольно непростая задача как для математика, так и для инженера. Дело в том, что ИТ-инфраструктура для работы таких моделей может отличаться от других необходимостью использования высокопроизводительных видеокарт. На тот момент в распоряжении DMP было несколько таких устройств, на которых команда опробовала нейросетевые технологии. Но им не хватало вычислительных мощностей и понятного способа масштабирования.
Иван Цветков, руководитель отдела технологий обработки данных Rambler&Co, отметил: «Дата-инженеры команды DMP AdTech Rambler&Co смогли эффективно адаптировать свои решения, чтобы использовать их в облаке IBM Cloud для повышения отказоустойчивости, уменьшения простоев и большего масштабирования. Теперь они готовы к возросшему объёму задач, реализуемых на нейросетях с масштабируемой инфраструктурой. Уже сейчас регулярно рассчитываются эмбеддинги для 168 млн пользователей, которые ежемесячно посещают медиаресурсы Rambler&Co».
Сотрудничество с IBM при участии её бизнес-партнера компании My-Sky позволило Rambler&Co значительно улучшить качество социально-демографических сегментов и увеличить их охваты, тем самым повышая качество рекламных продуктов.
