OpenAI и DeepSeek скрывают настоящие модели за дистилляцией

Исследователь a_mongush разобрал архитектуру фронтиер-лабораторий и объяснил, почему публике недоступны внутренние модели OpenAI и DeepSeek. По его анализу, компании создают не одну нейросеть, а целую фабрику: от research-чекпоинтов и экспериментальных моделей до дистиллированных версий для продакшена. Наружу попадает только последний элемент цепочки — облегчённая студент-модель, обученная на поведении дорогостоящего учителя.

Дистилляция позволяет масштабировать доступ: мощная модель генерирует качественные ответы и синтетические данные, а меньшая модель перенимает нужные возможности без воспроизведения учителя целиком. Эта практика распространена в индустрии и объясняет разницу между исследовательским инструментом и продуктом для 100 млн пользователей.