OpenVLHarness: обвязка для мультимодальных моделей от UCLA и Apple без обучения.
Мы изучили OpenVLHarness, открытую обвязку для мультимодальных моделей от UCLA и Apple, которая работает без дообучения. Она дает модели набор инструментов и память прямо по ходу задачи.
Что внутри
- Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры.
- Поиск: текстовый, по картинкам, обход страниц.
- Кодинг-агент для подсчетов и скриптов.
- Мультимодальная память между шагами.
Сама модель не дообучается: веса остаются прежними.
Обвязку дополнительно оптимизировали. Kimi K3 разобрала почти 10 тысяч провальных траекторий и определила, где нужен новый инструмент, а где достаточно поправить промпт. Демо доступно с любым OpenAI-совместимым эндпоинтом, код и данные открыты.
Страница проекта: OpenVLHarness. Исходники: github.com/uclanlp/OpenVLHarness.
Ещё новости:
