Сколько стоит разделить рекомендательный пайплайн на стримы?
Разделить большой рекомендательный пайплайн на независимые стримы не значит бесплатно упростить разработку. У такого подхода есть цена: отдельные структуры приходится создавать для каждого стрима, а часть операций выполняется последовательно.
В AI VK эту проблему решили двумя оптимизациями: компоненты пайплайна повторно используются между запросами и стримами, а вычисленные признаки переиспользуются между стримами в рамках одного запроса. В результате переход не привёл к заметному росту потребления ресурсов.
Подробнее об архитектуре и её влиянии на работу команд мы рекомендуем прочитать в статье на Habr.
Ещё новости:
