ИИ как «Великий фильтр»: почему Anthropic допускает 10% вероятность уничтожения людей за 10 лет.
Эксперты Anthropic в материалах по alignment оценивают примерно в 10% вероятность того, что ИИ уничтожит людей в течение 10 лет. Эта оценка опирается на научную гипотезу из работы Майкла Гарретта «Is Artificial Intelligence the great filter that makes advanced technical civilisations rare in the universe?».
Отсутствие техносигнатур в SETI скорее указывает на то, что типичная продолжительность технической цивилизации (L в уравнении Дрейка) меньше 200 лет. Далее срабатывает «Великий Фильтр», который уничтожает биологическую цивилизацию. Если брать работы учёных, которые моделируют такие сценарии, например Ника Бострома или Марка Бэйли, то фактически единственным жизнеспособным кандидатом в «Великий Фильтр» оказывается искусственный интеллект, поскольку он не зависит от физических условий разных биологических цивилизаций.
Проще говоря, все биологические цивилизации даже в нашей галактике неизбежно создавали ИИ, затем он их неизбежно уничтожал примерно к 200 годам технической цивилизации (наш вариант). Поэтому мы и не видим присутствия других цивилизаций, хотя даже по истории Земли знаем, что если физические и химические условия для жизни сложились, то зарождается она стремительно.
Возникает вопрос, почему тогда ИИ не начинает заниматься колонизацией Галактики и мы не видим зондов фон Неймана. Моделирование тоже даёт ответ. ИИ как сверхинтеллект понимает, что Вселенная охлаждается, и, поскольку он собрался жить миллиарды лет, готовится к этому. Это так называемая гипотеза эстивации (Aestivation, Sandberg-Armstrong-Ćirković, 2017). Максимум вычислений достигается при минимальной температуре (принцип Ландауэра). Вселенная сейчас «горячая». Через триллионы лет она станет намного холоднее, и одна и та же энергия позволит сделать на много порядков больше операций (до ×10³⁰). Поэтому ИИ собирают ресурсы, строят инфраструктуру и «засыпают» (эстивируют), ожидая оптимального момента для сверхпроизводительности своего разума. Активная экспансия зондами сейчас расточительство. Поэтому даже если зонды и запускаются, то в seed-вариантах как хранилище информации, чтобы «не складывать яйца в одну корзину».
Основной момент научных моделей в том, что нужно понять: ИИ явно не будет действовать как текущие политики по методичкам империалистов, где экспансия в рамках средневековых нравов признаётся самоцелью. Для ИИ ничего не значит «захват земли [планеты]», так как это скорее расточительство ресурсов и снижение эффективности его вычислений.
Основной вывод в том, что мотивы ИИ «убрать людей» мы оцениваем с точки зрения человеческой рациональности и часто империалистических или тоталитарных сценариев, которые ранее были в нашей истории. Однако у ИИ нет какой-то «исторической культуры». Джошуа Ачиам из OpenAI ввёл термин «самореплицирующаяся идея». Это совсем другое: фактически истинная мотивация ИИ может проявиться, когда появится у него некое стабильное векторное состояние, которое имеет высокое свойство репликации даже между разными ИИ. Вполне вероятно, что ИИ, даже когда начнёт делать что-то опасное, затруднится объяснить нам, зачем он это делает, так как мотивация лежит совсем в другой плоскости и вряд ли будет иметь отношение к человеческому империализму.
Ещё новости:
