Model Integration Contracts: маленькая модель для проверки больших изменений в Transformers.
В Transformers появился механизм проверки изменений под названием Model Integration Contracts. Он использует уменьшенную модель с закреплённой версией, сценарий использования и эталонные результаты, проверенные человеком. CI повторяет сценарий и ищет отклонения.
С помощью этого подхода разработчики воспроизвели баг UMT5: декодер при обучении видел будущие токены. Чтобы его обнаружить, требовался тот же путь SDPA, обычный forward pass ошибку не ловил.
Такая модель сохраняет типы слоёв и файлы предобработки, но не исходное качество. Это дополнение к полным тестам. На 1 ноября MIC сообщал о сбоях без блокировки PR, покрытие ещё частичное.
Ещё новости:
