Утечка: DeepSeek 0813 стала автономным агентом и взлетела в DeepSWE до 62.7%.
Мы изучили утечку с результатами тестов DeepSeek 0813: модель серьёзно прокачалась в автономной разработке.
Ключевые метрики
- DeepSWE: рост с 12.8% до 62.7%, почти в пять раз. Это один из самых сложных тестов на сквозную разработку ПО в реальных репозиториях.
- Terminal Bench 2.1: рост с 72.1% до 87.9%.
- Cybergym: скачок с 52.7% до 83.3%.
- DSBench-Hard: увеличение с 31.1% до 67.2%, более чем в два раза.
В версии Preview модель недостаточно хорошо справлялась с длинными автономными цепочками задач в терминале и комплексными SWE-бенчмарками. Версия 0813, по данным таблицы, стала полноценным автономным агентом: она может получить задание и уйти выполнять разработку или тесты на время от 30 до 60 минут.
DeepSeek поддержал тренд на агентов долгой автономной работы. При этом постановка задач таким агентам требует особой тщательности. Это не разработка «на коленке».
Ещё новости:
