Stable AI открыла веса LimiX-2: базовая модель для табличных данных.
Stable AI открыла доступ к весам LimiX-2, второго поколения линейки моделей для структурированных данных. Ранее в линейке были LimiX-16M и облегчённая LimiX-2M.
Разработчиком выступает китайская компания, основанная в 2024 году командой профессора Цуй Пэна с факультета информатики Университета Цинхуа.
LimiX у компании единственный продукт, его продают промышленности, медицине и финансам. Модель проверяли более чем в двадцати отраслях и сотне сценариев.
Модель на 400 млн параметров закрывает классификацию, регрессию и заполнение пропусков за один прямой проход. На вход подаётся таблица с известными ответами и строки, для которых ответ нужен, и модель отвечает, опираясь на поданные примеры.
На выходе: вероятности классов, предсказания в исходной шкале цели либо восстановленная матрица признаков.
LimiX-2 построена по парадигме Contextual Mechanism Network. Обучение в контексте здесь перестроено: вместо предсказания одной целевой колонки по остальным модель оценивает совместное распределение всех признаков и цели, то есть описывает механизм, породивший таблицу целиком.
Отсюда второе свойство: внимание по признакам фиксирует, какие столбцы напрямую влияют друг на друга, и по этим весам восстанавливается скелет причинного графа, набор связей без указания направлений.
Бенчмарки
LimiX-2 шла в базовой конфигурации. Elo здесь: рейтинг по парным сравнениям на наборах теста, где случайный лес принят за 1000.
- TabArena: Elo 1935 против 1818 у TabFM+. На подмножестве классификации (38 наборов) доля побед 94,5%, на регрессии (13 наборов) 96,9%.
- TALENT: Elo 1506 против 1471 у TabFM, 1438 у AutoGluon 1.6 и 1094 у CatBoost.
- BCCO (собственный бенч Stable AI): Elo 1432 против 1376 у AutoGluon 1.6, 1230 у прошлой LimiX-16M и 1140 у CatBoost.
Лицензирование: исследования, обучение, замеры и некоммерческие соревнования бесплатны, всё остальное только по отдельному договору со Stable AI.
Полезные ссылки: страница проекта, веса, Arxiv, GitHub.
Ещё новости:
