Российские учёные разработали G-Star+ для повышения качества текста и кода в моделях маскированной диффузии.
Рассказываем о свежем исследовании: команда из лаборатории Т-Технологий и Института ИИ Высшей школы экономики разработала G-Star+, новый метод для улучшения генерации текста и кода в моделях маскированной диффузии. Работа была представлена на конференции ICML 2026 в Сеуле.
Основная проблема таких моделей в том, что они пошагово заменяют замаскированные элементы на токены и не могут исправить ошибки, допущенные на ранних этапах. G-Star+ решает её с помощью механизма Guided Star-Shaped sampler, который работает как «внутренний редактор». Он находит сомнительные токены, маскирует их и позволяет модели перегенерировать их позже.
Важно, что метод не требует полного переобучения: достаточно дообучить один дополнительный слой, причём обучение проходит на реальных ошибках самой модели, а не на искусственно созданных. Это делает детектирование ошибок более сложным и точным.
Особую пользу G-Star+ приносит в режимах быстрой генерации (64-256 шагов), где время на исправление ограничено. Метод протестировали на семи бенчмарках, и он подходит для ИИ-ассистентов, инструментов генерации и автодополнения кода, а также других систем, где важны скорость и качество ответа.
Подробнее можно прочитать в статье на arXiv.
Ещё новости:
