Китайские кандзи стали новым бенчмарком для VLLM: проверка на 3000 лет эволюции письменности.
Мы с интересом изучили запуск открытого визуального бенчмарка Chronicles-OCR, предназначенного для оценки того, насколько хорошо мультимодальные модели понимают древние китайские иероглифы.
В чём особенность проверки
Большинство обычных OCR-тестов проверяет, умеет ли модель читать аккуратный современный текст. Chronicles-OCR подходит к задаче иначе. Моделям дают не современные символы из шрифта, а реальные исторические формы письма, охватывающие 3000 лет эволюции.
Состав датасета
- 7 исторических стилей письма, от гадательных костей до скорописи
- 2800 сбалансированных изображений
- Разнообразные физические носители, где символы выглядят совсем не как «чистый OCR»
- Задачи на поиск символов, распознавание, разбор древнего текста и классификацию стиля письма
Почему это важно
Для мультимодальных моделей такая проверка становится настоящим испытанием. Символ может быть одним и тем же по смыслу, но визуально выглядеть как совершенно другой объект. Chronicles-OCR наглядно показывает, где модель действительно «видит» и понимает трансформацию знака, а где просто пытается угадать по привычным паттернам, не улавливая многовековые изменения в начертании на разных материалах и в разных стилях.
Ещё новости:
