Андрей Карпати предложил новый бенчмарк для ИИ: генерация сцены из «Властелина колец» в 5500 строк кода Three.js.
Известный исследователь искусственного интеллекта Андрей Карпати предложил новый бенчмарк для оценки возможностей современных моделей. По его мнению, пора отходить от рисования пеликанов на велосипедах и переходить к генерации целых интерактивных миров.
Для демонстрации он использовал модель Opus 5, которая превратила абзац из книги «Властелин колец» в 5500 строк кода на Three.js. Это полноценная браузерная сцена с графикой и анимацией.
Создание заняло около 2 часов, потребовало миллион токенов и обошлось примерно в 10 долларов. Звуковое сопровождение сгенерировал сервис ElevenLabs.
Карпати уверен: привычные тесты на пространственное мышление, вроде рисования пеликана на велосипеде в SVG, окончательно устарели. Современные мультимодальные модели справляются с ними без труда, и нужны более сложные задания.
Генерация интерактивных миров с помощью кода, считает Андрей, может стать новым стандартом оценки ИИ. Однако пока есть серьёзное ограничение: модель не способна анализировать собственный видеовыход. Она опирается только на скриншоты, из-за чего в итоговом рендере возникают ошибки.
Мы полагаем, такой подход действительно способен изменить подход к тестированию возможностей нейросетей. Будем следить за развитием этой идеи.
Ещё новости:
