Google представила ToolGrad для генерации данных обучения работе с инструментами.
Google представила ToolGrad, метод генерации данных для обучения нейросетей работе с инструментами.
Метод сначала строит проверенную цепочку вызовов API, а затем формулирует пользовательский запрос под полученное решение. Цепочка растет по шагам: система предлагает подходящие API, тестирует их параллельно, выбирает лучший вызов и обновляет запрос с ответом. Отчеты о выполнении служат «текстовыми градиентами», то есть обратной связью, которая направляет построение следующего шага.
Для экспериментов использовали базу из более чем 16 тыс. API из ToolBench. Доля успешно сгенерированных примеров достигла 99,8%. По данным авторов, метод создает более сложные цепочки с меньшими затратами, чем базовый подход с поиском решения под готовый запрос.
На датасете ToolGrad-500 дообучили Gemma 3 размером 1B, 4B и 12B. Качество работы с инструментами выросло у всех трех моделей.
Результаты на BFCL с другим набором инструментов
- ToolGrad-12B: 83,1
- Gemini 2.5 Pro: 83,2
- Claude 4.5 Opus: 82,8
- GPT-5: 74,4
Данные генерировала Gemini 2.5 Flash-Lite. Обученная на них 12B-модель превзошла своего «учителя» в этой оценке.
Ещё новости:
