IBM Research предложила заменить CoT на размышления абстрактными токенами: сокращение токенов в 11 раз и сохранение качества.
Рассуждения на человеческом языке мешают ИИ: выводы IBM Research
Исследователи из IBM Research представили подход, при котором стандартная техника Chain of Thought (CoT) заменяется размышлениями с помощью абстрактных токенов. Это позволило сократить потребление токенов в 11 раз без потери качества рассуждений.
Авторы подчёркивают: когда мы видим «рассуждения» модели, это лишь видимая часть её реальных процессов, скрытых в векторах за словами. Для векторной модели рассуждение на человеческом языке, напротив, естественно мешает. Аналогичные выводы ранее демонстрировала Meta в проекте COCONUT (Chain of Continuous Thought).
Ключевой инсайт IBM: рассуждение словами скорее вредит GPT-подобным моделям. Слова цепляют корреляции с разговорным стилем, и модель начинает «изображать» связный человеческий язык. На практике ИИ выгоднее думать на «секретном трансформерском языке», который для людей совершенно непонятен и нечитаем.
Скорее всего, среди экспертов по ИИ уже формируется консенсус: стремление к «человекоподобию» может вызывать деградацию мышления и перерасход токенов у больших языковых моделей. ИИ выгоднее рассуждать на собственном внутреннем языке, который человек нормально считать не способен.
Ознакомиться с оригинальной работой можно по ссылке: https://arxiv.org/html/2604.22709v1
Ещё новости:
