Эмоциональные промпты искажают мышление ИИ, считает исследователь Роб Мэнсон.
Исследователь Роб Мэнсон представил работу, посвящённую анализу процесса мышления искусственного интеллекта, названного им «Curved Inference».
Наблюдая за размышлениями больших языковых моделей (LLM) в резидуальных потоках, автор обнаружил, что сильные якорные слова в промптах фактически «искривляют семантическое пространство модели». Один и тот же текст модель может воспринимать по-разному из-за заданной точки зрения на него. Это в чём-то очевидно, как In-Context Learning. Однако есть не совсем очевидные вещи и даже типовые ошибки промптинга, которые нашёл автор.
В статье показано, как капслок или нагромождение усиливающих слов в духе
«ОЧЕНЬ, НЕВЕРОЯТНО, АБСОЛЮТНО ВАЖНО»
Негативный момент заключается в том, что модель видит эмоциональный контекст в капсах или ярких словах и искривляет своё восприятие, чтобы отражать эмоциональный ответ, но это приводит к снижению качества логики.
Фактически, чтобы модель рассуждала эффективно, необходимо общаться с ней максимально нейтрально, без эмоциональной нагрузки и попыток гиперболизации указаний.
Гиперболы в указаниях для ИИ особенно бесполезны для малых языковых моделей (SLM), где искривление семантического пространства от промпта происходит максимально сильно.
Исследование рекомендует следить за сдержанным научным стилем общения с ИИ, так как для модели это важно.
Ознакомиться с полной работой можно по ссылке на arXiv.
Ещё новости:
