Speculative Sampling: интерактивные видеомодели без обучения и с быстрым откликом.
Мы обратили внимание на способ сделать интерактивными двунаправленные видеомодели без дополнительного обучения. Обычно за скорость платят маленьким окном внимания и теряют качество, но здесь окно остается большим, а отклик ускоряется.
Подход называется Speculative Sampling. Его идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет.
Как это работает
- Генерация крупного куска вперед в расчете, что условие не поменяется.
- Предсказания копятся в кэше и выдаются по мере проигрывания.
- При изменении ввода неизменяемый префикс остается, хвост пересчитывается.
- Два состояния: раздача из кэша и досчет нового.
Результаты
- MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика.
- Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing.
- Ожидание больше не упирается в половину длительности куска.
- Увеличение куска почти не бьет по времени шага, ядра недогружены.
Подробнее: github.com/Yubo-Shankui/SpeculativeSampling.
Ещё новости:
