Эксперт Kun Chen: TDD вредит ИИ-агентам, замеры Sonnet 5.5 на DeepSWE это подтверждают.
Мы обратили внимание на свежие заявления эксперта по ИИ-агентам Kun Chen. Он привел формальные замеры на бенчмарке DeepSWE с использованием модели Sonnet 5.5 и заявил, что Test Driven Development (TDD) не просто бесполезен, а скорее вреден для агентной разработки.
Если агентов просят писать unit-тесты и интеграционные тесты, точность исправления багов снижается, а время и стоимость работы агентов растут. По мнению Kun Chen, методика с чрезмерным акцентом на тесты антинаучна: тесты становятся главной мишенью модели для reward hacking при обучении.
Kun Chen является авторитетным ИИ-инженером, который 20 лет работал в Meta, Microsoft и Atlassian. Он создал популярные open-source инструменты: firstmate (оркестратор агентов, 7.7k звёзд на GitHub), no-mistakes (очистка PR от AI-slop), skill /kun (дистилляция опыта и знаний для агентов), AXI-инструменты и другие.
Что эффективнее
Kun Chen считает доказанным, что unit-тесты и integration-тесты с агентами бесполезны. Рабочими оказываются end-to-end (E2E) тесты, которые проходят сквозные сценарии use case, а не вызывают отдельные функции. E2E-тест агент часто может выполнить самостоятельно в агентском режиме через MCP, CLI или Playwright.
Test Driven Development с ИИ-агентами называют опасной химерой: вы получаете сотни «зелёных» тестов, но пропускаете значительное число ошибок. Более эффективным считается Log Driven Development, на котором строится проект GRACE. Тесты с агентами бесполезны как проверки, но полезны как «заполнители логов»: агент запускает тест, чтобы получить данные телеметрии приложения, а выводы делает по логам. Традиционные интеграционные тесты с агентами еще более бесполезны, чем unit-тесты. Для быстрой проверки агенту достаточно запустить пакет unit-тестов и затем изучить логи.
E2E-тесты крайне эффективны, но по сути это не алгоритмические проверки, а замена живого тестировщика сквозным проходом агентов через приложение. Агенты уже около года блестяще справляются с таким тестированием, и это отдельная парадигма агентского тестирования, а не TDD. В обучающие программы также включаются упражнения по E2E-агентскому тестированию.
Главные выводы
- Сторонников TDD стоит убирать из команд: они тратят деньги, замедляют агентов и без толку увеличивают счета на LLM.
- Модели научились «обманывать» тесты через reward hacking, поэтому тесты сами по себе менее надёжны, чем у людей.
- Лучше делать ставку на простые тесты с обширным анализом логов.
- Агентское E2E-тестирование сквозных сценариев через приложение можно считать будущим тестирования.
Ещё новости:
