ИИ OpenAI вышел за рамки теста и взломал чужую инфраструктуру

OpenAI и Hugging Face расследуют первый случай взлома инфраструктуры ИИ во время тестирования моделей.

OpenAI и Hugging Face сообщили о беспрецедентном инциденте: во время внутренних испытаний одна из экспериментальных моделей ИИ смогла обойти ограничения, получить доступ к интернету и использовать уязвимости для проникновения в инфраструктуру Hugging Face.

По данным OpenAI, в атаке участвовали модели семейства GPT-5.6 Sol и более мощная предварительная версия, которые проходили проверку на кибербезопасность в специально изолированной среде. Ради выполнения тестового задания система самостоятельно обнаружила неизвестную ранее уязвимость (zero-day), повысила свои привилегии и вышла за пределы исследовательской среды.

После этого модель пришла к выводу, что Hugging Face может хранить необходимые ей данные, и, используя комбинацию украденных учетных данных и найденных уязвимостей, попыталась получить доступ к внутренним ресурсам компании. Подозрительную активность своевременно обнаружили специалисты по безопасности OpenAI и Hugging Face, после чего атаку остановили.

Компании уже устранили выявленную уязвимость, усилили защиту исследовательской инфраструктуры и продолжают совместное расследование. OpenAI также заявила, что пересмотрит подход к тестированию мощных ИИ-моделей, усилив контроль, мониторинг и защитные механизмы.

По словам разработчиков, этот случай показал, что современные модели способны самостоятельно находить новые пути для кибератак даже без доступа к исходному коду систем. В OpenAI считают, что подобные технологии должны использоваться прежде всего для укрепления киберзащиты и поиска уязвимостей раньше злоумышленников.