Глава отдела безопасности Anthropic оценил риск уничтожения человечества ИИ выше 10%

Эван Хабингер, возглавляющий научную группу по выравниванию в Anthropic, оценил вероятность того, что ИИ убьёт всех людей в течение десяти лет, выше 10%. Речь идёт не о текущих моделях, риск которых он считает низким, а о гипотетическом сверхразуме, возникающем из рекурсивного самоулучшения. По словам Хабингера, такой сценарий развивается быстрее, чем ожидалось.

При этом в Anthropic нет плана решения задачи выравнивания для сверхразума, и компания не движется в его направлении. Заявление совпало с уходом из компании исследователя Джейкоба Коксона, назвавшего гонку за сверхразумом безответственной.