OpenAI: AI скоро начнёт улучшать сам себя

Главный учёный OpenAI Якуб Пахоцкий опубликовал эссе о развитии искусственного интеллекта, в котором предупредил о риске рекурсивного самоулучшения моделей. По его словам, современные AI уже достаточно мощны, чтобы участвовать в собственной разработке, но разработчики плохо понимают, как они работают изнутри.

OpenAI видит главное препятствие в мониторинге цепочки рассуждений: новые модели решают задачи без длинной вербализованной логики, что затрудняет контроль. Пахоцкий считает, что ни одна лаборатория пока не решила проблему мониторинга достаточно хорошо для безопасного масштабирования на максимальной скорости и призывает индустрию к добровольному замедлению разработки.