Шесть шагов оптимизации инференса LLM на vLLM и Kubernetes

OTUS и автор sproshchaev опубликовали на Хабре гайд по оптимизации инференса больших языковых моделей на стеке vLLM и Kubernetes. В гайде разбирают шесть шагов: от поиска узких мест и расчёта KV-кэша до настройки prefix caching и проверки квантования.

Авторы указывают, что высокая загрузка GPU не гарантирует эффективность — в продакшене часть времени может уходить на повторный расчёт одинаковых промптов и неэффективное распределение кэша. Материал адресован разработчикам, работающим с развёртыванием LLM в облачной инфраструктуре.