METR: ИИ ускоряет разработку моделей в Anthropic примерно в два раза.
С августа по октябрь несколько сотрудников METR работали внутри Anthropic с расширенным доступом к внутренним данным. Их задачей было оценить, насколько ускорился рост внутренних возможностей моделей и какая доля этого ускорения связана с ИИ.
Главные выводы
- Темп, с которым Anthropic улучшает модели, к октябрю 2026 года вырос вдвое относительно периода с марта 2024 по октябрь 2025. Оценка примерная: называют диапазон от 1.3x до 3x. Главная метрика, которая это подтверждает, это AECI, внутренняя версия индекса возможностей от Epoch AI. С октября 2025 года она растёт в 1.9 раза быстрее, чем раньше. То есть за последний год Anthropic продвинулась примерно настолько же, насколько за два предыдущих.
- Около 80% нынешнего ускорения даёт использование ИИ в исследованиях и разработке. Сами сотрудники в среднем оценивают, что ИИ ускоряет их работу примерно вдвое. В опросах в Slack отдельные оценки выросли с 1.2x у Claude 3.7 Sonnet до 12x у самой свежей внутренней модели. Отметку 12x приравнивали к формулировке «делаю за день то, на что раньше уходило почти две недели».
- METR считают, что ускорение может продолжиться. Они не нашли очевидных ограничений для этого, по крайней мере на ближайший год. Не видно упора ни в алгоритмы, ни в вычисления, ни в данные.
Ещё новости:
