Робот Skild AI 140 лет играл в футбол в симуляции против самого себя и теперь забивает голы людям.
Робот-футболист Skild AI провел 140 лет в симуляции, играя против самого себя, и теперь забивает голы людям в реальной жизни.
Стартап Skild AI разрабатывает «общий робо-интеллект». Месяц назад компания выпустила модель S1, главная особенность которой в том, что она способна дообучаться без файнтюнинга, просто по нескольким демонстрациям. Теперь команда решила воскресить опыт Google, который когда-то обучал AlphaGo с помощью техники self-play: это игра модели против самой себя. Полигоном выбрали футбол. Подробнее о подходе можно почитать в блоге Skild AI: www.skild.ai/blogs/physical-self-play.
Сначала S1 дообучили базовым ударам по мячу и дриблингу, а затем отпустили в свободное плавание: гуманоид 140 симуляционных лет играл против предыдущих версий себя. Отдельных наград за выучивание конкретных приемов не было, единственное, за что робот получал награду, это голы.
Несмотря на это, робот выучил обводки защитников, закрывание мяча корпусом, перехваты, много новых ударов. В предварительных матчах четырех агентов уже появляются пасы и координация. Пространство действий в футболе огромное: модель 50 раз в секунду должна выдавать углы для каждого сустава.
Таким образом, на основе self-play получилась автоматическая учебная программа, которая усложняется сама. Авторы уверены, что эту технику можно масштабировать и переносить на другие домены, где есть понятная цель и симулятор.
