DiffusionOPSD: ByteDance представила метод дистилляции диффузионных моделей на собственных генерациях.
Новый метод дистилляции от ByteDance позволяет дообучать диффузионные модели на их же собственных генерациях. Цель для каждого шага обновляется постоянно, в соответствии с текущим поведением модели, а не задаётся один раз заранее.
- сбор запросов прямо из генераций текущей модели;
- построение целей с положительным и отрицательным сдвигом внутри контролируемого радиуса;
- обновление поведенческой модели скользящим средним без остановки цикла обучения.
Выложены LoRA для Z-Image-Turbo и SD3.5-M.
Ещё новости:
