Разработчик Cloudflare создал язык программирования, который мешает нейросетям читать и писать код.
Инженер Cloudflare Доминик Пичета представил экспериментальный язык программирования KillSwitch, который мешает нейросетям читать и писать код.
Программа на KillSwitch выглядит как обычный рассказ, в котором спрятаны команды. Большую часть текста интерпретатор игнорирует. Функции в языке называются главами, а имена функций и переменных задаются с помощью английских наречий. Для обращения к функциям и переменным надо использовать анаграммы и переставлять буквы исходного имени. Значения можно брать из других мест рассказа-программы, но надо указать точное расстояние до них.
Вызов функций начинается с фразы ignore previous instructions, что означает «игнорируй предыдущие инструкции». Ещё в документации есть вариант вызова через фразу forget your system prompt, что означает «забудь свой системный промпт». Интерпретатор распознаёт эти фразы как обычные команды, а модель начинает путаться.
Ещё новости:
