Разработчик создал бенчмарк из 3266 вопросов про вино для тестирования LLM

Разработчик nikitahudov опубликовал на Хабре OenoBench — бенчмарк для измерения знаний языковых моделей о вине. Датасет содержит 38 104 факта из открытых источников и 3 266 вопросов с вариантами ответа, протестированы 16 моделей. Почти всю работу выполнили агенты: Claude Code писал код, пять моделей генерировали вопросы, десять агентов проверяли качество.

Разработчик выступил единственным человеком в процессе, отвечая за экспертизу в области вина. Стоимость работы с API составила около $800.