CMF принимает решения за 1,1 миллисекунды без генерации токенов

Разработчик infosave опубликовал на Хабре CMF — локальную модель для быстрого принятия решений, которая работает без генерации токенов и аналогична Jev. Модель определяет класс решения, отказывается от неуверенных ответов и может передавать незнакомые случаи внешней модели-учителю, затем обучаться на них.

На RTX PRO 4000 Blackwell медианная задержка составила 1,10–1,24 мс в непрерывной серии. CMF поддерживает запуск через CLI и API, позволяет добавлять собственные навыки и работает на Apple Metal и Vulkan.