Fallback между LLM ломает семантику ответа — нужно разделять retry и резервные модели

Разработчик simonov_tech на Хабре разобрал проблему fallback-механизмов при использовании больших языковых моделей. В отличие от традиционного backend fallback, где резервный исполнитель соблюдает тот же контракт, резервная LLM может вернуть валидный JSON, но с изменённым смыслом результата.

Автор рекомендует разделять retry (повтор одной модели) и fallback (переключение на другую), учитывать деградацию качества и признавать, что честная ошибка иногда лучше «успешного» ответа от другой модели.