Бенчмарк Kombai: дизайнеры набирают 92,3 балла, GPT-6 Astra лишь 65,5.
Мы посмотрели на свежий бенчмарк Kombai и на его главный визуальный тест: если попросить разные нейросети нарисовать SVG пеликана на велосипеде, любимый тест Саймона Уиллисона, выходят почти одинаковые картинки.
Исследователь из Kombai собрал 13 таких пеликанов на одном коллаже, а вместе с коллегами измерил это схлопывание разнообразия на дизайне интерфейсов.
Design Creativity Bench
В бенчмарке Design Creativity Bench нейросети и живые дизайнеры делали интерфейсы по 80 открытым заданиям, каждое для двух разных продуктов. Требования брифа лучшие модели выполняют даже чуть точнее людей. А по креативности дизайнеры набирают 92,3 балла, лучшая модель GPT-6 Astra 65,5, Claude Opus 5.5 51, в хвосте GLM-5.3-Flash и MiniMax M3.
Astra делает самые оригинальные макеты, но при смене продукта меньше всех меняет подход. Шире всех перестраивается GLM-5.3. На Hacker News спорят, не попал ли пеликан в обучающие данные.
Полную таблицу из 34 моделей Kombai выложила вместе со статьёй, датасетом и кодом.
Ещё новости:
