GPT-6 Astra нашла лабораторную ошибку в бенчмарке BioBasicsBench, которую пропустила GPT-5.6.
OpenAI показала результаты нового бенчмарка BioBasicsBench, состоящего из 100 задач на основе реальных биологических экспериментов.
В одном из тестов GPT-6 Astra обнаружила неправильную маркировку антибиотика на контрольной чашке при клонировании ДНК и правильно признала результаты ненадёжными. GPT-5.6 Sol эту ошибку пропустила.
Результаты
- GPT-6 Astra: 66,7%
- GPT-5.6 Sol: 43,8%
При этом Astra использовала примерно вдвое меньше выходных токенов.
Однако до надёжного автономного лабораторного анализа ещё далеко. В другом эксперименте Astra сама выбрала неправильные клоны ДНК.
Бенчмарк проверяет способность моделей интерпретировать лабораторные данные, находить ошибки и отказываться от выводов при недостатке доказательств.
Показательно, что новая модель лучше распознаёт ошибки в экспериментальных данных, но всё ещё может ошибаться при принятии решений на их основе.
Источник: исследование OpenAI
Ещё новости:
