Как тестировать AI-функции без единого правильного ответа

Хабр и OTUS разобрали подход к проверке AI-фич на примере суммаризации обращений. Когда языковая модель генерирует ответ, стандартные тесты «ожидание = результат» не работают — нужно определить, какие свойства ответа критичны, отделить допустимую вариативность от ошибки и построить понятный критерий pass/fail.

Авторы предложили формировать контракт поведения, набор проверок и подход к регрессионному тестированию для AI-фич. Это актуально для тестировщиков, которые сталкиваются с функциями на базе больших языковых моделей.