Эксперты организации OWASP в декабре 2024 года представили первый рейтинг критических угроз для систем агентного искусственного интеллекта, включая ИИ-агентов, которые самостоятельно выполняют задачи в промышленности и коммерции. В документе, опубликованном в рамках инициативы по безопасности ИИ, определены ключевые векторы атак, такие как перехват целей агента, компрометация1 его прав доступа и организация каскадных сбоев2 через небезопасную коммуникацию между автономными системами. Аналитики McKinsey в докладе от июня 2025 года сообщают, что с операционными рисками, такими как цепочки уязвимостей3 и несанкционированные действия, столкнулось около 80% организаций, внедряющих агентные системы, причем в 40% случаев это привело к финансовым потерям.
Специалисты в области ИИ компании Domino в исследовании за ноябрь 2025 года отмечают, что ошибка в работе агентного ИИ может обойтись бизнесу значительно дороже, чем сбой в генеративной системе, поскольку затраты включают не только исправление, но и компенсацию ущерба третьим сторонам. При выполнении задачи, автономный агент способен инициировать дорогостоящие процессы или запускать бесконечные циклы вычислений, приводя к неконтролируемому росту облачных расходов и серьёзным операционным задержкам.
Репортер Хэнк Сандерс для газеты The New York Times в июне 2024 года сообщил о прекращении McDonald’s тестирования ИИ-системы для приема заказов после многочисленных сбоев, включая автоматическое добавление в чек 260 не заказанных куриных наггетсов. В феврале 2024 года в издании The Guardian Лейланд Чекко опубликовал решение гражданского суда в Канаде, обязавшего авиакомпанию Air Canada выплатить компенсацию клиенту, который получил неверную информацию от корпоративного чат-бота. По словам репортера, суд отклонил довод компании и постановил, что она несёт полную ответственность за действия своего автоматизированного агента.
Консалтинговая компания Gartner в марте 2024 года прогнозирует, что к 2028 году до одной трети всех взаимодействий с генеративным ИИ будут направлены на выполнение практических задач с помощью автономных агентов. Согласно пресс-релизу, это многократно увеличит частоту и масштаб потенциальных сбоев, в частности в логистике и медицине. Эксперты ИИ-компании Kanerika в обзоре от декабря 2024 года выделяют ключевую техническую сложность — обеспечение сквозной наблюдаемости и контроля над цепочками решений, которые агент принимает самостоятельно в процессе многоэтапной задачи, особенно при работе с неструктурированными данными.
Эксперт по финансам Сиддхарт Дамл в статье для ABA Banking Journal за декабрь 2025 года указывает на возможность непреднамеренного нарушения агентами правил комплаенса4, инициации ошибочных или мошеннических транзакций5 и распространения недостоверной финансовой информации. Участник Forbes Technology Council Ратнеш Пандей в публикации за декабрь 2025 года отмечает, что традиционные модели страхования киберрисков6 не готовы к вызовам агентного ИИ. Страховые полисы не учитывают вероятность масштабных каскадных сбоев, инициированных одним агентом, а также новые категории убытков от автономных решений в реальном времени, что создает значительный пробел в покрытии рисков.
Хуан Васкес в обзоре для платформы WebProNews подчеркивает, что публичные инциденты, подобные случаям с McDonald’s и Air Canada, подрывают доверие пользователей, выступая критическим барьером для массового внедрения любых автономных систем. В исследовании для ИИ-компании Kanerika Хариша Патангай предлагает конкретные решения для смягчения рисков, среди них — встроенные ограничители целей7, системы обязательного человеческого утверждения критических действий и детальный аудит логов всех операций8 агента.
Технологический журналист, специализирующийся на теме искусственного интеллекта. В фокусе внимания — комплексный анализ развития технологий через призму права, этики и их социальных последствий.
Исследую, как алгоритмы и ИИ меняют ключевые сферы: от работы правоохранительных органов и бизнеса до частной жизни. Основные темы — преодоление алгоритмической предвзятости, правовые пробелы в регулировании и адаптация общества к цифровой трансформации.
