109 млн параметров против 72 млрд: Лекун показал силу нового способа обучения ИИ!
Мы обратили внимание на исследование Яна Лекуна и Рэндалла Балестриеро. Они доказали платоническую гипотезу представлений для архитектур JEPA при определённых условиях.
Суть идеи в том, что модели, обученные на разных типах данных, могут формировать похожие внутренние представления о мире. Одна читает тексты, другая рассматривает изображения, но обе обнаруживают сходные закономерности.
В работе две модели обучаются независимо: визуальная на разных снимках одной сцены, текстовая на разных описаниях. Пары «изображение + текст» для обучения самих моделей не нужны.
Полученные представления совпадают с точностью до поворота пространства признаков. Проще говоря, модели строят совместимые «карты», используя разные системы координат.
Ключевые результаты экспериментов:
- Для одинакового уровня согласования текста и изображений потребовалось в 42 раза меньше обучающих примеров, чем при предсказании следующего токена.
- Текстовая JEPA со 109 млн параметров превзошла все проверенные языковые модели размером до 72 млрд параметров по согласованию с визуальными моделями.
Подробнее можно изучить в alphaxiv.org/abs/2610.39302.
Ещё новости:
