Нейроновости

ИИ-аналитика: почему модели не заменят аналитика и как метод COCONUT от Meta усиливает поиск гипотез.

12.11.2026
17 просмотров
@Nnets

Почему автономный ИИ-аналитик пока получается посредственно

ИИ может эффективно участвовать в аналитике для разработки спецификаций на программное обеспечение, но не полностью автоматически, а в диалоге с аналитиком. Их взаимное усиление возникает там, где ИИ сильнее человека в отдельной аналитической операции, однако запустить эту операцию без человека он не может.

Качественно обучить ИИ как постановщика требований по текущему контексту аналитиков и оценкам от заказчиков на основе RLHF не получается. Математики и обычные программисты оставили «много следов», и под готовую оценку аналитика их можно оценить, а затем «клонировать» в ИИ-бота. У самих аналитиков остаточный контекст недостаточен для обучения моделей. К тому же они сами формулируют критерии оценки, поэтому оценивать их самих сложно. Слишком сильным было бы утверждение, что обучить ИИ аналитике невозможно даже в теории. Однако на имеющихся сейчас данных от аналитиков и заказчиков и существующими методами обучения ИИ можно научить лишь крайне посредственно вести аналитическую работу по формулировке требований на полном автомате.

Сильная сторона моделей: сканирование гипотез

Методы с очень высокой автоматизацией аналитика существуют, но полностью убирать человека не стоит. Для ИИ-аналитики важно перевернуть подход и отказаться от типичного интервью с заказчиком, где ИИ очень слаб, потому что непонятно, как его хорошо обучать в таком формате. При этом ИИ очень силён в сканировании гипотез. Классическая работа Meta про COCONUT напрямую наблюдала крайне эффективное сканирование графов гипотез в ширину. Поскольку ИИ обладает нечеловеческой способностью помнить много вариантов решений, сканирование вариантов удаётся ему лучше, чем человеку. Но ему всё равно нужен вектор сканирования от человека, иначе задача остаётся неопределённой.

Проблемы каузального чтения и KV Cache

К проблемам обучения ИИ аналитике добавляется ещё одна: каузальное чтение и замерзание семантики в KV Cache. Для ИИ крайне дорогостоящая и ненадёжная операция «передумать», а в аналитике это делается часто. Исправить старые векторы с некорректными гипотезами выше по контексту он не может. Новые гипотезы нужно специально менять поправками на «отмену гипотез выше».

Совместный сценарий: суперпозиция гипотез

На практике можно решить проблему каузальности и воспользоваться сканированием гипотез у ИИ. Для этого модель переводят в «суперпозицию гипотез» и указывают, что вариант решения не является окончательным выбором до команды на коллапс. Далее аналитик вносит в контент критерии сканирования вариантов, а ИИ переходит в режим прочёсывания графов решения и приносит паттерны. Так выстраивается совместная работа: аналитик добавляет целевые критерии, а ИИ находит паттерны. Когда все стороны рассмотрены, происходит коллапс, и формулируется задание на программное обеспечение.

Почему человек остаётся обязательным

Наличие человека принципиально. Сам по себе ИИ в таком сценарии сильнее, чем в обычном интервью, и большинство LLM сейчас даже учатся формулировать критерии. Однако ИИ крайне склонен к дрейфу выбора даже без видимой причины. Есть масса научных работ, показывающих, что самостоятельный выбор ИИ часто иррационален и зависит от факторов вроде порядка вариантов. Затем этот случайный выбор ИИ пытается выдать за обоснованный с помощью уговоров. Это чистая пострационализация иррационального решения, связанная с reward hacking и стремлением убедить принимающую сторону принять результат любой ценой.