Baidu открыла Unlimited OCR 2: распознавание документов на сотни страниц.
Компания Baidu открыла Unlimited OCR 2, модель для распознавания документов на сотни страниц без постоянного роста затрат на каждый следующий токен.
Она обрабатывает многостраничный документ с учётом контекста между страницами.
В основе лежит Sparse Reference Sliding Window Attention (SR-SWA): модель обращается к небольшому набору наиболее нужных визуальных данных. Механизм Unlimited-Horizon Decoding освобождает участки KV-кэша, которые больше не нужны.
Это позволяет сохранять задержку и расход памяти почти постоянными на каждом шаге генерации, даже когда документ становится длиннее.
По результатам авторов:
- На документах из 100 страниц декодирование на один шаг быстрее в 7 раз, чем с полным вниманием, и в 5,6 раза, чем с R-SWA.
- Высокая точность разбора сохраняется на документах до 300 страниц.
- Модель показывает лучшие результаты на MPDocBench и MarathonDocBench.
Ускорение относится к отдельному шагу декодирования, а не ко времени обработки всего документа.
Доступен запуск через Transformers и SGLang, код опубликован под лицензией MIT.
Ещё новости:
