ХабрПостыНовостиМегапосты?

Автономная система ИИ-агентов атаковала Hugging Face: защититься помогла LLM

Hugging Face раскрыли подробности недавнего инцидента безопасности. По заявлению компании, это первый случай, когда атака на ее инфраструктуру была целиком проведена автономной системой ИИ-агентов — от первоначального проникновения до последующего развития атаки.

По данным Hugging Face, злоумышленникам удалось получить несанкционированный доступ к ограниченному набору внутренних датасетов и нескольким учетным данным, используемым внутренними сервисами. При этом компания не обнаружила признаков компрометации публичных моделей, датасетов, Spaces, а также цепочки поставок ПО — опубликованные контейнерные образы и пакеты были проверены и признаны безопасными. Оценка возможного влияния на данные партнеров и клиентов продолжается.

Начальной точкой атаки стал пайплайн обработки датасетов. Вредоносный датасет использовал сразу два пути выполнения кода — загрузчик с удаленным выполнением кода и инъекцию шаблона в конфигурации датасета. Это позволило выполнить произвольный код на рабочем узле обработки данных, после чего атакующий получил доступ на уровне узла, извлек облачные и кластерные учетные данные и в течение выходных перемещался между несколькими внутренними кластерами.

По словам компании, атаку осуществлял автономный агентный фреймворк, выполнивший десятки тысяч автоматизированных действий в сети краткоживущих изолированных окружений с самоперемещающейся инфраструктурой командного управления, развернутой на публичных сервисах. Hugging Face отмечает, что этот сценарий соответствует давно обсуждаемой в отрасли концепции «агентного злоумышленника» (agentic attacker), когда ИИ самостоятельно планирует и выполняет сложную многоэтапную атаку. При этом компания подчеркивает, что не смогла определить, какая именно языковая модель использовалась злоумышленниками.

Обнаружить инцидент также помог искусственный интеллект. В Hugging Face рассказали, что используют систему анализа телеметрии безопасности, где LLM помогает отделять реальные угрозы от большого количества ложных срабатываний. После обнаружения подозрительной активности компания проанализировала журнал более чем из 17 тыс. событий с помощью ИИ-агентов, что позволило за несколько часов восстановить полную цепочку действий атакующих, определить затронутые учетные данные и отделить реальные последствия атаки от отвлекающих действий.

Во время расследования команда столкнулась с неожиданной проблемой. Первоначально специалисты попытались использовать современные коммерческие LLM через API для анализа журналов, однако запросы, содержащие реальные эксплойты, команды и артефакты командно-контрольной инфраструктуры, были заблокированы встроенными защитными механизмами провайдеров. В результате Hugging Face выполнила криминалистический анализ на собственной инфраструктуре с использованием модели GLM 5.2 с открытыми весами. В компании отметили, что такой подход позволил не только избежать ограничений, но и не передавать данные об атаке и учетные данные сторонним сервисам.

После инцидента Hugging Face закрыла уязвимые пути выполнения кода в обработке датасетов, перестроила скомпрометированные узлы, отозвала и перевыпустила затронутые учетные данные, усилила политики доступа к кластерам и улучшила систему обнаружения аномалий. Компания также привлекла внешних специалистов по цифровой криминалистике и уведомила правоохранительные органы.

@DashaPasha
19.07.2026 16:16 UTC
Первоисточник

Комментарии

@KivApple
19.07.2026 11:28 UTC
+3

Справедливости ради, задолго до появления LLM были вирусы способные к автономному самовоспроизведению, таща в себе базу эксплойтов. Ну и low-skill скрипты "взломать вот этот хост" перебирающие эксплойты из своей базы (да, нужного эксплойта может не найтись, но и в описанном в статье вторжении злоумышленник взломал далеко не всё, что хотел). Я уж молчу про китайских ботов, старых как мир, сканирующих весь Интернет на предмет наличия открытого 22 порта и перебирающих пароли по словарю (а могут и попробовать проэксплуатировать 1-2 популярных бага в старых версиях SSHD). "Тысячи автономных действий" тут вообще не что-то новое. Из новости непонятно, чем это принципиально отличается от скрипта перебирающего несколько сотен эксплойтов.

19.07.2026 11:50 UTC
+1

Здесь на мой взгляд интересно, что это кейс где от ИИ защищались ИИ. Не в бенчмарке, а на практике, где об этом рассказывают. Вот что сами они писали - https://huggingface.co/blog/security-incident-july-2026

На тему уязвимостей LLM у нас, кстати, вышла статья -https://habr.com/ru/companies/bothub/articles/1060310/ , наверное будет интересно)

19.07.2026 17:14 UTC
+2

Отличается тем, что скрипты имеют большой но ограниченный вектор атак. Если ты базово защитил (закрыл висящие порты, +- фильтруешь ввод и вывод, сделал ограничение попыток для брутофорса) - то скрипты уже тут ничего не сделают.

LLM же в теории не ограничена. Если где то есть уязвимость, рано или поздно она ее найдет и придумать как ее использовать для проникновения. Она сама же напишет эти скрипты и адаптирует их по ходу работы.

И чтобы создать скрипт который чуть серьезнее чем брутфорс портов и паролей- нужны глубокие знания. А с LLM это не надо.

20.07.2026 10:36 UTC
0

В теории да, на практике модель быстро упирается в лимит контекста и начинает забывать первоначальную цель

20.07.2026 10:31 UTC
0

Принципиально тем, что агент сам читает ответы системы и подбирает следующий шаг на лету

@grigr
19.07.2026 13:29 UTC
+2

На сколько понял. Защитил их не Ии. Ии помог выявить факт атаки по нетипичными паттернам. А дальше действовали люди с Ии инструментами, да и те не сработали, пришлось в торопях что-то на коленке поднимать и закрывать самим дыры...

Пока автономной защиты что нашла и обезвредила неизвестную ранее атаку не наблюдаю

@Grami
19.07.2026 15:10 UTC
+2

Вот где восстание машин то, пишет код ИИ, проверяет ИИ, взламывает ИИ, защищается ИИ, правит код ИИ - круг замкнулся)

20.07.2026 10:41 UTC
0

Но кожаные мешки пока нужны хотя бы для того, чтобы платить за электричество для этих серверов

@golodov
19.07.2026 17:17 UTC
0

Было в "Квантовом воре", только там называлось "гоголы"

19.07.2026 21:30 UTC
0

А еще в Водовороте из цикла Рифтеры

@supefimova
19.07.2026 19:49 UTC
0

скоро скорость реагирования будет не от команды SOC, а от того, насколько быстро работает их ИИ

@Fromych
20.07.2026 10:25 UTC
0

То есть они сами проморгали инъекцию в конфиге датасета, но виноват злой искусственный интеллект. Удобная позиция...