Могут ли нейросети предсказывать научные прорывы? Исследование Sakana AI и Allen AI.
Sakana AI совместно с исследователями из Оксфорда, Стэнфорда и Allen AI представила интересную работу. Ученые решили проверить, способны ли современные большие языковые модели (LLM) предугадывать, какие научные идеи станут прорывными.
Для этого они создали бенчмарк CUSP, включивший 4760 реальных научных событий, и протестировали на нём несколько передовых LLM. Результаты оказались двойственными: модели достаточно хорошо отличают перспективные направления от тупиковых — то есть у них есть своеобразный «нюх» на хорошие идеи. Однако точно предсказать, дойдет ли исследование до конкретного результата и когда именно это произойдет, им пока почти не под силу.
Интересно, что проблема не решается простым увеличением объема обучающих данных — это не помогает закрыть фундаментальный пробел в способности моделей к долгосрочному прогнозированию.
Авторы работы рекомендуют использовать ИИ в качестве фильтра и ассистента-исследователя: генерировать и отсеивать гипотезы, ускорять рутинные задачи, но оставлять финальное решение о вложении времени и ресурсов за человеком.
Кроме того, это исследование служит аккуратным аргументом против раздутых ожиданий вокруг «ИИ-учёного», который якобы в одиночку совершит невероятное научное открытие без участия человека.
Ознакомиться с полной статьей можно по ссылке: arxiv.org/abs/2605.22681, а детали проекта — на странице seanwu25.github.io/CUSP-Science/.
Ещё новости:
