Разработчик оптимизировал 90 инструментов ИИ для слабых видеокарт

Разработчик vad_bel опубликовал на Хабре статью об оптимизации работы ИИ-оркестратора с 90+ инструментами на локальных моделях. Система должна выбирать, какие инструменты показывать модели за раз — все сразу или только релевантные запросу.

Минимальная конфигурация для работы: видеокарта RTX 3090 с 24 ГБ памяти и модель Qwen 27B. Задача — добиться приемлемого качества и скорости выполнения корпоративных задач на слабом оборудовании, в отличие от существующих решений (Hermes, OpenClaw, Ouroboros), рассчитанных на облачные фронтир-модели.