Почему нейросети не смогли притвориться двоечниками по алгебре?
Мы обратили внимание на эксперимент исследователей из Университета Дрекселя: они попытались заставить языковые модели изображать школьников с разным уровнем знаний по алгебре. Однако одной инструкции «отвечай как слабый ученик» для реальной роли двоечника оказалось недостаточно.
Gemini 3.1 Flash Lite, Claude Haiku 4.5 и GPT-5.4-mini получили 379 заданий по алгебре и пять разных ролей учеников, но с задачей не справились. Независимо от того, была ли модель «отличником» или «двоечником», точность оставалась на уровне от 96,8 до 100%.
Проблема в том, что модель уже знает правильное решение и с трудом подавляет собственные способности. Поэтому авторы разделили задачу на две части: сначала отдельный алгоритм моделирует, что ученик знает и где ошибается, а затем LLM формулирует объяснение его ответа. Так удалось получить более правдоподобную градацию: точность «почти эксперта» составила 85,2%, среднего ученика 57,8%, а слабого 44,1%.
Авторы признают, что еще не сравнивали виртуальных «школьников» с реальными учениками. Поэтому пока речь идет скорее о способе научить ИИ правдоподобно ошибаться, чем о точной модели человеческого обучения.
Ещё новости:
