ML-проект недели: определение глубины сцены в реальном времени в браузере.
Проект инженера из Software Mansion (Польша) за сутки набрал 7,4 миллиона просмотров. В его основе лежит TypeGPU, библиотека, которая позволяет писать GPU-шейдеры прямо на TypeScript.
Нейросеть по обычной 2D-картинке восстанавливает карту глубины сцены. На чипе M4 Pro обработка занимает около 8 мс. Кадр видео при 60 fps длится примерно 16,7 мс, поэтому это полноценный реалтайм прямо в браузере.
Всё, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне без передачи данных между CPU и GPU.
Демо выглядит особенно хорошо, но код в открытом доступе не опубликован. Возможно, разработку собираются продать Zoom за несколько миллионов.
Ещё новости:
