Стоимость обучения Xiaomi в $3,4 млн: почему это только RL и как устроена экономика LLM.
Заявленные $3,4 млн Xiaomi относятся только к Reinforcement Learning
На китайских ИИ-форумах стоимость обучения Xiaomi в $3,4 млн часто подаётся как контраст с миллиардными бюджетами OpenAI и Anthropic. На деле эта сумма относится только к Reinforcement Learning (RL).
Если попытаться линейно оценить pre-training примерно на 20 трлн токенов и RL на 7 млрд токенов, некоторые американские и российские инженеры получают для base-модели с SFT около $4 млрд. Однако такая оценка не бьётся с данными Xiaomi и моделью Tokenomics от SemiAnalysis.
Ло Фули, архитектор моделей Xiaomi и в прошлом один из архитекторов DeepSeek, в интервью отметила: для «простых чатов» соотношение расходов GPU на исследования, предварительное и последующее обучение составляло примерно 3:5:1. В эпоху умных агентов соотношение меняется до 3:1:1, то есть pre-training и Reinforcement Learning почти сравнялись. При прямолинейном толковании общие затраты Xiaomi на обучение находятся в районе $15 млн.
Модель Tokenomics от SemiAnalysis показывает, что доля pre-training упала до 7% от расхода GPU вендоров. Показатель 90% расходов на base с SFT, как у GigaChat, означает отставание от фронтирных лабораторий примерно на два года. Тогда возникает вопрос: откуда у OpenAI и Anthropic около 55% расходов на RL.
Почему pre-training не повторяется, а RL повторяется много раз
Xiaomi, DeepSeek, OpenAI и Anthropic не проводят pre-training постоянно. Это делается один раз для целого семейства моделей. Далее многие модели остаются непубличными исследовательскими, и на одной и той же base-модели много раз запускается разное RL-обучение. Отработанные RL-циклы переносятся в продакшен. Поэтому $3,4 млн это стоимость отдельной попытки RL-обучения.
Фронтирные лаборатории также разделяют pre-training на обучение отдельных моделей-экспертов, из которых затем дистиллируется целевая модель. Такой подход помогает лучше распределять инвестиции в базовые модели.
Основные выводы
- Схема «много RL на один base» позволяет вендорам LLM поддерживать высокую скорость обновления моделей.
- Несмотря на объяснения, экономическая эффективность китайской инженерии обучения LLM не менее чем в 10 раз выше американской.
Полезные ссылки
Ещё новости:
