Laya против Jev: локальная модель протестирована на трёх датасетах

Разработчик NullPilot сравнил облачную модель Jev с локальной Laya на задаче RAG-реранжирования, протестировав обе на датасетах SciFact, FiQA и NFCorpus. В тестировании измеряли качество поиска, время обработки двадцати документов и потребление видеопамяти.

Код и полные результаты опубликованы на GitHub. Сравнение показывает, можно ли заменить облачное решение локальной альтернативой без потери производительности.