DeepSeek v4 Pro 0813 выявила 87,5% CVE при затратах $200, обогнав Claude Opus 5 и Qwen 3.8 Max.
Руководитель направления ИИ-пентестов Aikido Security Филипп Дурасов опубликовал результаты тестирования новой открытой модели DeepSeek v4 Pro 0813 на внутреннем бенчмарке кибербезопасности. Она продемонстрировала рекордные показатели в задаче обнаружения уязвимостей и обошла всех конкурентов.
Результаты тестирования
По итогам трёх прогонов она успешно выявила 87,5% CVE из тестового набора. Ближайшие конкуренты Claude Opus 5 и Qwen 3.8 Max показали результат 81,3%.
Решение от DeepSeek отличается высокой экономической эффективностью. Общие затраты на проведение тестирования составляют около $200, а стоимость обнаружения одной уязвимости равна $7,34. Использование Claude Opus 5 для аналогичной задачи обойдётся примерно в $1 500 при стоимости $66,97 за одну CVE.
В исследовании также участвовали модели линейки GPT-5.6, Kimi K3 Max и DeepSeek V4 Flash, однако они уступили лидерам по ключевым параметрам.
Ограничения и точность
Обратной стороной высокой эффективности DeepSeek стала низкая точность. Только 65,6% обнаруженных DeepSeek v4 Pro 0813 уязвимостей оказались валидными. В то же время модель GPT-5.6 Sol показала точность 96,7%. Модель от DeepSeek работает нестабильно и за один прогон находит в среднем лишь 58,3% уязвимостей, но максимальная результативность достигается только при объединении результатов нескольких запусков.
Филипп Дурасов отмечает выраженное исследовательское поведение DeepSeek v4 Pro 0813. Модель жертвует стабильностью на простых задачах ради глубокого анализа отдельных функций. Её фокус смещён на глубину тестирования, а не на ширину охвата, поэтому она отлично подходит для выявления «глубоких уязвимостей», но для проведения исчерпывающего аудита безопасности предпочтительными названы другие модели.
Ещё новости:
