DeepSeek Harness набрал более 112,3 тыс. звёзд на GitHub и защищает KV-кэш от сброса.
DeepSeek Harness уже получил более 112,3 тыс. звёзд на GitHub. Это как минимум повод изучить проект для повышения квалификации. При этом есть сценарии, где DSH может стать критическим решением. Несмотря на отдельные детские болезни новой разработки, экономическая выгода способна перевесить возможные проблемы.
DSH является первым ИИ-агентом для разработки, оптимизированным под защиту KV-кэша от сброса. Это серьёзное преимущество: традиционные агентные системы постоянно сбрасывают контекст. В случае DeepSeek такой сброс сразу приводит к штрафу за субагентов в 50 раз по цене токенов. Кроме того, DeepSeek может поставить пользователя в очередь на GPU. Кэш у DeepSeek находится на SSD, поэтому при сохранённом контексте он быстро считывается. Если субагент контекст сбросил, вычислений требуется заметно больше, поэтому агент попадает в очередь на GPU и замедляется.
Важный аспект: современные языковые модели хорошо оптимизированы под большой контекст. ИИ с контекстом 500 тыс. токенов объективно умнее агента с 50 тыс. токенов, поскольку использует больше данных для принятия решений и не путается так, как старые модели.
Как DeepSeek Harness защищает KV-кэш
У DSH есть две технологии для защиты KV-кэша от сброса.
- Лог сессии. Это не то же самое, что отправляемый в языковую модель запрос. В DSH для LLM создаётся проекция с лога, причём именно для сохранения максимально консервативного префикса сессии. Динамические и неважные сегменты лога могут отбрасываться при проекции.
- DSH имеет средства для коммуникации долгоживущих агентов. Не обязательно сбрасывать агента Кодера, который работает в паре с агентом Архитектором. Архитектор может через плагины DSH подписаться на события от Кодера, общаться с пользователем в чате, а когда Кодер завершит итерацию, получить сообщение.
Экономическая выгода здесь фантастическая. Дополнительно растут скорость и IQ у ИИ на агентах-долгожителях.
Ещё новости:
