Promptfoo: как проверить ответы нейросетей после изменения промпта.
Зачем проверять старые ответы после правки промпта
Если промпт изменился, возникает вопрос: как поведут себя прежние ответы? После правки инструкции полезно проверить ответы на те же обращения: обычный вопрос, неоднозначный запрос, случай, на котором бот уже ошибался.
Promptfoo сравнивает промпты и модели на одном наборе тестов. Команда promptfoo eval запускает проверку, а promptfoo view открывает результаты в веб-таблице. Такой прогон можно включить в CI.
Какие результаты показывает проверка
В ролике авторы показывают четыре тестовых кейса. Их PASS не дают оснований для рейтинга моделей. Прогон проверяет только заданные кейсы и критерии, всех ошибок в проде он не исключает. Если выбран облачный провайдер, данные уходят в его API, запросы могут стоить денег. Большинство провайдеров требует API-ключ.
Ещё новости:
