Sakana AI представила UnMaskFork: масштабирование диффузионных моделей через коллективный разум.
Статья Sakana AI, принятая на конференцию ICML 2026, представляет новый метод масштабирования вычислений во время вывода для маскированных диффузионных языковых моделей. Он получил название UnMaskFork.
Обычные языковые модели генерируют текст последовательно, токен за токеном. Маскированные диффузионные модели работают иначе: они стартуют с полностью скрытого текста и постепенно восстанавливают его части, причём могут заполнять несколько фрагментов параллельно. Однако стандартный подход к масштабированию времени тестирования через повышение температуры и генерацию множества разных ответов для таких моделей не слишком эффективен.
UnMaskFork решает проблему по-другому:
- несколько диффузионных моделей работают над одним ответом;
- каждая по очереди раскрывает те участки, в которых наиболее уверена;
- промежуточный результат передаётся следующей модели;
- поиск по дереву Монте-Карло выбирает наиболее перспективную последовательность действий.
Разнообразие создаётся не случайностью, а переключением между моделями с разными сильными сторонами. В экспериментах подход улучшил результаты модели Dream-Coder на задачах по программированию и показал стабильный рост качества на математических бенчмарках при увеличении вычислений во время вывода.
При этом UnMaskFork не требует дополнительного обучения, не меняет внутреннюю архитектуру моделей, работает как отдельный алгоритм координации и позволяет комбинировать нейросети, обученные на разных данных и разными методами.
Работа продолжает исследования Sakana AI в области «коллективного разума» моделей — систем, где результат достигается не одной большой языковой моделью, а координацией нескольких разных.
Ознакомиться с подробностями можно в блоге компании: https://pub.sakana.ai/umf и в тексте научной статьи: https://arxiv.org/abs/2602.04344.
Ещё новости:
