ENEAS от Speridlabs: сегментация по описанию не путает объект с двойником.
Speridlabs представила метод ENEAS для сегментации по текстовому описанию. Он не путает настоящий объект с его двойником: если SAM 3 теряет цель при перекрытии и хватается за статую или отражение, ENEAS продолжает удерживать правильный объект, даже когда тот уходит из кадра и возвращается.
Что умеет метод
- трекинг конкретного объекта по текстовому запросу;
- semantic discovery: запрос «стул» находит все стулья в сцене и не путает их с картиной стула или отражением;
- работа с видео, в том числе упорядоченным, и с коллекцией несвязанных кадров.
Код и демо доступны на GitHub и Hugging Face.
Ещё новости:
