OpenAI улучшила кэширование в GPT-6 и снизила задержки

OpenAI обновила GPT-6, повысив эффективность кэширования запросов с помощью более высокого процента попаданий в кэш. В обновлении добавлены новые диагностические инструменты, явные точки разрыва и элементы управления, которые снижают задержку обработки и затраты на использование модели.

Улучшение касается технической стороны работы с промптами — системы, которая хранит части запросов для ускорения повторных обращений.