Яндекс научил LLM воспринимать данные во время вычислений

Исследователь Yandex Research Георгий Якушев опубликовал на Хабре статью о манипуляциях KV-кешем для создания интерактивных агентов. Обычные языковые модели работают последовательно: сначала получают запрос, потом думают, потом отвечают — новая информация не поступает во время вычислений.

Для голосовых ассистентов, роботов и систем с видеопотоком это критическое ограничение. Якушев показывает, как переосмыслить KV-кеш не просто как способ ускорить генерацию, а как активное состояние агента, который может получать новые данные прямо во время работы без изменения весов модели.