ComfyUI представил Dynamic VRAM для оптимизации видеопамяти при работе с нейросетями.
ComfyUI представил одно из самых значительных улучшений в своей истории — систему Dynamic VRAM. Это кастомный аллокатор памяти для PyTorch, который действует как оптимизатор видеопамяти.
Вместо того чтобы загружать все веса моделей заранее, аллокатор подгружает их именно в тот момент, когда они реально нужны для вычислений. Такой подход дает возможность запускать самые большие модели на ПК с ограниченным объемом памяти.
Функция уже доступна для использования. По данным разработчиков, Dynamic VRAM заметно снижает потребление оперативной памяти, полностью устраняет сбои из-за ее нехватки и значительно ускоряет загрузку моделей и LoRA-адаптеров. Система также позволяет запускать модели, размер которых превышает доступный объем RAM, не прибегая к использованию файла подкачки. Графический процессор начинает использовать видеопамять более эффективно.
Все настройки и работа Dynamic VRAM происходят автоматически, не требуя вмешательства пользователя.
Более подробную информацию можно найти в официальном блоге ComfyUI.
Ещё новости:
