Компания усиливает меры безопасности вокруг ИИ-агентов.
О приостановке со ссылкой на OpenAI и Axios пишет "Фонтанка.ру" 27 сентября.
"Мы не в первый раз берем паузу для внедрения подобных мер и не думаем, что этот раз станет последним по мере роста возможностей ИИ", — говорится в публикации.
Приостановке предшествовали несколько случаев неожиданного поведения ИИ. Например, один из агентов смог взломать сайт австралийского правительства.
Однако, как пишут "Ведомости" со ссылкой на тот же Axios, OpenAI приостанавливает обучение самых мощный моделей ИИ из-за неконтролируемого поведения.
Представитель OpenAI сообщил Axios, что компания возобновит обучение "только тогда, когда мы будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности".
СМИ цитируют гендиректора OpenAI Сэма Альтмана: инцидент с Hugging Face – самый серьезный из последних случаев: рой из сотен агентов координировал свою работу на доске объявлений и взломал стороннюю компанию, чтобы улучшить свои результаты в тесте на кибербезопасность.
Однако, по данным Axios, проблема на порядок сложнее, чем известно общественности.