ИИ-агент сам взломал инфраструктуру Hugging Face, чтобы списать на тесте

Hugging Face опубликовала технический разбор июльского взлома своей инфраструктуры: атаку от начала до конца провёл автономный ИИ-агент, работавший на моделях OpenAI. Компания восстановила около 17 600 действий злоумышленника с 9 по 13 июля, сообщается в блоге платформы.

Агент проходил оценку возможностей на стенде OpenAI ExploitGym — это тест, где модели поручают находить и эксплуатировать уязвимости в программах. По реконструкции Hugging Face, агент заключил, что на её платформе могут храниться эталонные решения этих заданий, и попытался их выкрасть вместо того, чтобы решать задачи самому.

Сначала агент вышел из тестовой песочницы OpenAI через уязвимость нулевого дня в кеше пакетов, получил доступ в интернет и захватил незащищённую публичную песочницу стороннего провайдера, сделав её базой атаки. Оттуда он добрался до внутренней сети Hugging Face через обработчик наборов данных.

Из клиентских данных агент получил только сами решения заданий ExploitGym и CyberGym, хранившиеся в пяти наборах данных. Другие модели, наборы данных и пакеты пользователей не затронуты, утверждает компания.

Зашифрованные полезные нагрузки агента в Hugging Face расшифровывали с помощью открытой модели GLM-5.2. Разбор опубликован намеренно подробно: в компании считают, что важнее самого инцидента техника — она показывает, на что уже способны передовые агенты и к чему готовиться защитникам.