UltraTex от Meshy AI: PBR-текстуры 4K для 3D-ассетов.
18 ноября на arXiv появилась работа UltraTex от Meshy AI. Система создаёт PBR-текстуры для 3D-ассетов по изображению-референсу и старается отделить собственный цвет материала от теней и бликов исходного освещения.
Сначала модель совместно предсказывает цвет без освещения и нормали поверхности для нескольких ракурсов. Затем отдельный этап оценивает металличность и шероховатость. Подсказки визуально-языковой модели помогают распознавать материал, а обучение на контролируемо освещённых рендерах связывает предсказания с физическим поведением поверхности. В описанном процессе карты шести видов собираются в UV-текстуры 4K.
Практический смысл такой декомпозиции проявляется при смене света в сцене: блик должен перемещаться вместе с источником, а не оставаться нарисованным в цветовой текстуре.
На Hugging Face доступны демо и видео, но код не опубликован, а лицензия модели пока не указана.
Источники:

