Ноам Браун из OpenAI: мысли ИИ становятся сложнее читать и контролировать.
Мысли ИИ становятся сложнее читать и контролировать. Об этом рассказал исследователь OpenAI Ноам Браун в новом часовом интервью.
Цепочки рассуждений, в частности, используют для контроля: специалисты смотрят, как модель пришла к ответу, и отмечают подозрительное поведение. Однако, по словам Брауна, разработчики уже видят, что прозрачность ухудшается, и модели всё лучше прячут свои мысли. В OpenAI сейчас пытаются понять, почему это происходит, и найти способ это изменить.
Также в интервью обсудили недавнее решение задачи тысячелетия (по слухам, у OpenAI уже вторая на подходе), рекурсивное самоулучшение и то, как вообще понять, что модель действительно безопасна.
Рекомендуем посмотреть интервью.
Ещё новости:
