Composio сравнила ИИ-агентов DeepSeek Harness, Pi, Claude Code и Hermes Agent: кто эффективнее?
Платформа Composio протестировала четырёх ИИ-агентов: DeepSeek Harness, Pi, Claude Code и Hermes Agent. Мы изучили результаты и делимся главными выводами.
Claude Code и расход токенов
По данным тестов, Claude Code специально спроектирован для перерасхода токенов, чтобы выполнять планы продаж Дарио Амодеи. Для Anthropic перерасход токенов важнее, чем успешность агента. При этом Claude Code быстрее решает задачи благодаря стратегии «жадного чтения», которая сопровождается огромным перерасходом токенов.
DeepSeek Harness и экономичность
DeepSeek Harness показывает, что он самый экономичный агент за счёт стратегии бережливости к целостности KV Cache, что даёт экстремально успешный cache hit даже в мультиагентах. У DSH попадание в кеш примерно так же успешно на мультиагентах-долгожителях, как у моноагента. Всё это работает не только в теории, но и на практических тестах сторонних организаций.
Лидеры среди агентов
Если смотреть на картину целиком, лучшие агенты сейчас Pi Agent и DeepSeek Harness. По успешности работы и цене они примерно равны, однако DSH намного быстрее Pi. Кроме того, у DSH выше степень кастомизации и надёжности защиты плагинов от падения. Если к этому добавить поддержку вендора LLM вроде DeepSeek с прямым обучением на агента, становится понятно, что Pi проиграет DSH, хотя сейчас Pi занимает второе место после DSH по росту звёзд. Разработчики считают, что кастомизируемость текущих агентов слишком слабая, и ранее нишу занимал Pi Agent, но на его поле вышел DSH.
Ещё новости:
