Google Cloud: сочетайте Gemini и компактные Gemma 4 вместо единой дорогой LLM.
Google Cloud выпустил статью о том, почему AI-продуктам стоит сочетать большие модели с компактными open-weight LLM. Мы собрали главные тезисы.
Проблема знакомая: даже простые операции вроде классификации запросов, извлечения JSON и маршрутизации агентов часто выполняются через дорогие frontier-модели. Google предлагает разделять нагрузку.
Разделение нагрузки
Gemini стоит использовать для сложных рассуждений и планирования, а небольшие Gemma 4 для массовых предсказуемых задач.
Примеры
- Разработчики голосового ассистента Cue перевели обработку транскрипций на локальную Gemma 4 E4B через Ollama. Задержка снизилась на 44%, с 876 до 488 мс.
- BetterSpeak, мобильный преподаватель английского, разместил 4-битную Gemma 4 E2B размером около 2,9 ГБ непосредственно на устройстве. Приложение работает офлайн, без расходов на серверный инференс.
Есть и серверный вариант: Gemma 4 26B A4B, MoE-модель, которая использует около 4 млрд активных параметров на токен.
Практический совет
Для ML-инженеров здесь вполне практический совет: прежде чем оптимизировать промпты дорогой модели, проверьте, какие этапы пайплайна можно перенести на маленькую специализированную LLM.
Разумеется, экономию нужно считать с учётом стоимости GPU, качества ответов и задержек, а не только цены API.
Ещё новости:
