Бывший исследователь Anthropic обвинил OpenAI и Anthropic в безответственной гонке за сверхинтеллектом.
Бывший core researcher Anthropic Джейкоб Коксон, который последние три года занимался предобучением LLM в OpenAI и Anthropic, объявил об увольнении и опубликовал в X целый тред.
По его мнению, компании безответственно гонятся за самосовершенствующимся сверхинтеллектом и забывают про безопасность. Он назвал это «игрой с человеческими жизнями».
Коксон считает, что скоро появятся сверхчеловеческие системы, способные взламывать что угодно, мгновенно совершать революции в любой области и накапливать реальную власть и ресурсы.
При этом он утверждает, что люди, разрабатывающие ИИ, тоже искренне в это верят, как и в то, что технология может убить всех к концу десятилетия. По его словам, такие разгоны не маркетинговый трюк, а ровно наоборот: руководители смягчают публичные формулировки, но в частных разговорах выражают настоящий страх.
На вопрос «Но почему же тогда они продолжают?» Коксон отвечает, что в OpenAI многие не осознали масштаб цивилизационных ставок, а в Anthropic ставки понимают хорошо, но компания заперта в гонке: там героически считают, что раз другие не будут действовать ответственно, придется делать это самим, несмотря на риск. В итоге прогресс продолжается из-за гордыни и авантюризма.
Джейкоб также обратился к другим исследователям и призвал их подумать, готовы ли они и дальше молча запускать сверхразумные модели без строгого понимания того, к чему это приведет.
Ещё новости:
