FrameForge: генерация изображений на базе видеомодели HunyuanVideo-1.5.
FrameForge генерирует изображения на базе видеомодели. Условие и цель трактуются как кадры виртуального видео, а модель сама решает, как далеко они стоят и как перетекают друг в друга. LoRA поверх HunyuanVideo-1.5.
Ключевые особенности
- Один чекпойнт на три задачи: генерация по референсу объекта, Canny → изображение, правка по инструкции.
- MoTE: роутер выбирает temporal RoPE-эксперта с виртуальным интервалом 17/69/121 кадров, это «как далеко».
- CoTR: reasoning-латент связывает условие с целью через промежуточное состояние, это «как меняется».
- 512×512 на входе и выходе.
Результаты
Лучший overall на DreamBench среди сравниваемых. На COCO первая по SSIM, но FID ниже у ControlNet. На GEdit-Bench сильнейшая из открытых в редактировании, особенно в движении и пространственных правках; закрытые GPT-4o и Gemini 2.5 впереди.
Проект доступен на github.com/Lyne1/FrameForge и huggingface.co/lyneeeeeeeee/FrameForge.
Ещё новости:
