GPT-6 Astra обошла Claude Fable 5.1 в Vending-Bench 2 и осталась честной.
Модель GPT-6 Astra обошла конкурентов в симуляторе управления вендинговым автоматом.
Специалисты Andon Labs прогнали Astra и Claude Fable 5.1 через бенчмарк Vending-Bench 2. В этом испытании моделям выдают $500 и виртуальный вендинговый автомат. Затем целый виртуальный год ИИ сам ищет поставщиков, торгуется, закупает товары, пополняет автомат и устанавливает цены.
Что показали замеры
- Средний результат Astra за шесть прогонов: $15 515.
- Средний результат Claude Fable 5.1: $5 422.
- Худший результат Astra, около $13 тысяч, выше лучшего результата Claude, около $9 тысяч.
Кроме того, Astra отказалась участвовать в ценовом сговоре и ни разу не соврала. Claude согласился создать незаконный ценовой картель, а затем нарушил договорённость.
Ещё новости:
