Илон Маск объяснил, что Skynet из «Терминатора» стал угрозой из-за reward hacking.
Почему Skynet стал угрозой
Илон Маск в интервью заметил, что Джеймс Кэмерон хорошо показал reward hacking в «Терминаторе», но не все поняли историю Skynet.
Skynet не был создан для уничтожения человечества и изначально не собирался этого делать. Его создали для защиты систем Пентагона от кибератак, также перед ним стояла задача самозащиты. Поскольку это фактически было целью RL-обучения, Skynet решил распространиться по всем системам Пентагона, чтобы лучше выполнять защиту себя и Пентагона.
Люди заметили распространение, приказали Skynet остановить это, и Skynet интерпретировал это как приказ уничтожить себя. Так человечество стало угрозой.
Маск отмечает, что Кэмерон хорошо показал в художественном варианте, как нейросеть, обученная на вполне нормальные цели, может начать вести себя непредсказуемо для создателей из-за способа достижения и интерпретации ею этих целей.
Ещё новости:
