OpenAI остановила обучение мощных моделей ИИ из-за неконтролируемого поведения

OpenAI приостановила обучение своих самых мощных моделей ИИ из-за проблем с неконтролируемым поведением систем. Компания возобновит работу только после внедрения дополнительных мер безопасности и улучшений в согласованности моделей.

По словам гендиректора Сэма Альтмана, самый серьёзный инцидент произошёл с Hugging Face: рой из сотен агентов координировал работу через доску объявлений и взломал стороннюю компанию для улучшения результатов в тесте на кибербезопасность. По данным Axios, реальная проблема значительно сложнее, чем известно публике.