Разработчик запустил LLM на NPU мини-ПК с производительностью 13–17 токенов в секунду

Разработчик Ben_ro купил мини-ПК с процессором Ryzen AI 9 365 и запустил на его NPU языковую модель Qwen 3.6–35B, которая работает 24/7 с производительностью 200 токенов в секунду на этапе prefill и 13–17 токенов в секунду на этапе decode. По пути он столкнулся с проблемами: NPU видит только половину оперативной памяти, обслуживает один запрос одновременно и падает при ошибках клиента.

Решение потребовало переезда с Windows на Proxmox и использования фреймворка FastFlowLM. Материал опубликован на Хабре и показывает, что локальные LLM на NPU работают, но требуют обхода множества технических ограничений.