Starchild-1 от Odyssey: генерация миров в реальном времени с управлением голосом!
Эволюция генераторов миров
Генератор интерактивных видео Odyssey 2 можно назвать увлекательным инструментом. Разработчики выбрали интересный путь, балансируя между технологиями генерации миров и создания видео. По сути, это интерактивный генератор сцен. Система уже умела редактировать и стримить видео в реальном времени с частотой 20 кадров в секунду.
Теперь команда представила следующую версию под названием Starchild-1, работающую в реальном времени с упором на звук и полную мультимодальность.
Создатели описывают проект так: «Это шаг вперед по сравнению с моделями мира, которые обучаются только на основе визуального наблюдения, к системам, которые обучаются на основе более богатого мультимодального взаимодействия с миром».
Иначе говоря, генерация происходит с учетом действий пользователя, который может управлять процессом в реальном времени, в том числе и голосом. Если развить эту идею, представив работу технологии в отличном качестве, то это настоящая матрица.
В отличие от Odyssey 2, публичная демонстрация на сайте пока отсутствует, однако разработчики выложили технический отчет и множество интересных видео, подписанных как «симуляция в реальном времени».
Подробнее можно узнать на официальном сайте: https://odyssey.ml/introducing-starchild-1
Ещё новости:
