Быстрая очистка артефактов в ComfyUI: процесс на SDXL и ControlNet.
Workflow для очистки артефактов в ComfyUI
Процесс, представленный сообществом, оптимизирован для удаления артефактов с изображений, созданных DiT-моделями (например, ZImageTurbo). DiT-архитектура работает патчами, из-за чего чаще добавляет шум и хуже прорисовывает детали, чем UNet, включая дефекты кожи. Часто требуется повышение разрешения.
Традиционные премиальные инструменты вроде SUPIR Upscale медленны и не всегда справляются. Новый подход выполняется за 16 секунд на RTX 5080 и часто превосходит их по качеству.
Как это работает
- Загружается чекпоинт SDXL-модели, стилистически подходящей под задачу.
- На модель накладывается LoRA add-detail-xl.safetensors с силой 0,6, чтобы улучшить проработку мелких деталей.
- Пишутся промпты с учетом коррекции дефектов.
- Используется ControlNet модель controlnet-tile-sdxl-1.0.safetensors, которая позволяет восстанавливать изображение, не добавляя лишних деталей, сохраняя приоритет оригинала.
- Через узел Apply Advanced ControlNet запускается очистка артефактов текстур на 20 шагах с параметром denoise около 0,2, так как главная цель — сохранить исходник.
- Поскольку повреждения на лицах особенно заметны, применяется FaceDetailer. Сначала с помощью нейросети yolov8n.pt определяются области лиц, затем детали лица дорабатываются на 30 шагах.
- В конце можно выполнить апскейл через 4x-UltraSharp.pth или 4x_NMKD-Siax_200k.pth, но этот шаг будет медленнее при объеме видеопамяти около 16 ГБ.
Процесс особенно эффективен для удаления артефактов после NVFP4-квантирования, выполненного без оптимизации матриц. Он также легко справляется с другими DiT-артефактами. Для обработки настоящих фотографий требуется более агрессивная настройка, так как ИИ лучше понимает изображения, созданные другим ИИ, из-за общих датасетов, а реальные фото воспринимаются как «чужеродная графика».
Ещё новости:
