Слабая модель с проверкой кода обошла сильную без неё

Разработчик Pallarium опубликовал на Хабре анализ эффективности LLM-агентов и обнаружил, что дешёвая модель с циклом верификации решает задачи дешевле, чем продвинутая модель без проверки. За восемь месяцев он построил агентную обвязку, где нейросеть не просто генерирует код, а должна доказать его работоспособность.

По метрике Cost per Task слабая модель с верификацией уверенно опережает сильную модель в режиме «написал и отчитался». Это показывает, что экономика LLM-решений зависит не только от качества самой модели, но и от архитектуры проверки результатов.