Primal VAE от Ostris: компактный VAE для Flux.1 и Flux.2 без переобучения DiT.
Мы обратили внимание на новый Primal VAE от Ostris. Это компактный VAE с необычной схемой сжатия: всего 2x по пространству и 1-2 канала. Дальше латент патчится в 4 раза, поэтому итоговое сжатие выходит на уровне 8x при 16 или 32 каналах, как у Flux.1 и Flux.2.
Глубокая компрессия уходит в DiT, а VAE остаётся маленьким и предсказуемым.
Ключевые особенности
- Вариант 2x1 совпадает по форме с латентом Flux.1.
- Вариант 2x2 совпадает с Flux.2.
- Меняется только файл весов, архитектура одна.
- Загружается в существующий пайплайн вместо старого VAE без переобучения DiT.
- Понимает чекпоинты из ai-toolkit как есть.
Стороны изображения кратны 16.
По замерам на трёх картинках версия 2x2 идёт на уровне или чуть лучше VAE от Flux.2 при том же бюджете информации. Версия 2x1 проигрывает Flux.1 на текстурном контенте: один канал при 2x означает сжатие 12 к 1 без запаса.
Ещё новости:
