Институт Аллена представил полностью открытое семейство мультимодальных моделей Molmo 2.
Институт Аллена выложил в открытый доступ Molmo 2 — мультимодальное семейство моделей, которое понимает видео, изображения и мультикадровые сцены на уровне, ранее доступном только закрытым системам.
Модель умеет точечно указывать, где и когда в кадре происходит событие, отслеживать множество объектов через окклюзии и смены сцен, а также выдавать пиксельные координаты и таймстемпы для каждого действия.
Семейство включает три варианта: Molmo 2 8B и 4B на базе Qwen 3 от Alibaba, а также Molmo 2-O 7B на собственном языковом бэкбоне Olmo — полностью открытом от архитектуры до весов.
На бенчмарках VideoPoint и BURST-VideoCount модель 8B обходит и GPT-5, и Gemini 2.5 Pro.
В задачах мультидоменного трекинга объектов Molmo 2 лидирует среди всех — и проприетарных, и открытых систем, включая специализированные трекеры Sa2VA и связку Molmo + SAM 2.
Всё доступно на GitHub и Hugging Face под лицензией Apache 2.0.
Ещё новости:
