Splash ускорил локальные LLM на Mac через спекулятивное декодирование

Разработчик evgentys00 разобрал движок Splash, который ускоряет языковые модели на Mac с помощью технологии DFlash 2. В материале проанализированы результаты тестов, рассмотрены ограничения движка и даны рекомендации по выбору между режимами Q4 и Q8.

Автор указал требования к памяти и дисковому пространству, а также инструкции по запуску Splash на macOS.