Исследователи ускорили обучение ИИ-рекомендаций в 60 раз с помощью датасета Яндекса.
Исследователи из Амстердама представили методы, которые ускоряют обучение ИИ-рекомендаций в 60 раз. Проверить их эффективность помогло тестирование на российском датасете Yambda от Яндекса.
Ученые предложили два новых подхода. Один из них рекордно ускоряет обучение модели SEATER — одной из наиболее сильных современных систем рекомендаций. Такие системы используются для подбора товаров, музыки и другого контента в онлайн-сервисах.
Главной проблемой SEATER до этого момента была скорость. Перед обучением модель сначала должна организовать все товары или треки в умный иерархический каталог. На больших масштабах этот этап занимал до 20% всего времени обучения. В реальных продуктах это делало почти невозможным частое обновление рекомендаций, которое требуют многие сервисы.
Теперь, благодаря оптимизации алгоритма, время подготовки данных в ходе тестов сократилось с 82 минут до 83 секунд. Этот прорыв фактически открывает SEATER путь в реальный продакшн.
Решающую роль в работе сыграл датасет Yambda. Авторы исследования сами отмечают, что результаты были достигнуты во многом за счет тестирования именно на нем.
Yambda является одним из крупнейших датасетов в своем роде. Он содержит почти 5 миллиардов обезличенных событий из Яндекс Музыки. Редкие компании согласны делиться таким объемом данных. Именно на таком масштабе исследователям удалось реально оценить выигрыш во времени, который будет наблюдаться на практике.
Подобные открытые датасеты крайне важны, так как дают доступ к новым открытиям. Яндекс, открыв Yambda, одним из первых устранил разрыв между академическими исследованиями и крупномасштабными промышленными данными.
Статья исследователей доступна в открытом доступе, а весь код выложен в опенсорс.
Ещё новости:
