27 ноября 2025 руководитель продукта «Алиса AI» Виталий Данилкин в интервью «Газета.Ru» сообщил о росте попыток несанкционированного доступа к интеллектуальным компонентам своего ассистента «Алиса AI». Злоумышленники регулярно предпринимают атаки двух типов: «джейлбрейк» и «прокачка». В первом случае пользователи составляют специфические запросы, чтобы обойти этические и функциональные ограничения модели; во втором — отправляют тысячи запросов в минуту, чтобы на основе ответов «Алисы» воссоздать её упрощённую копию. «Попытки дистилляции — это, по сути, попытки скопировать ценный „когнитивный капитал“ «Алисы AI» для создания её дешёвых аналогов», — пояснил Данилкин.
По данным с официального сайта искусственного интеллекта «Яндекса», компания применяет многоуровневую защиту : предварительную и постгенерационную модерацию, контекстный анализ диалога, обучение с подкреплением на основе этических принципов, а также блокировку профилей и IP-адресов, с которых исходит вредоносный трафик.
Согласно статье Forbes от 24 июня 2025 года, киберпреступники рассматривают ИИ как уязвимое звено на IT-периметре организации. Атаки на ИИ-системы условно делятся на две категории: классические веб-угрозы, такие как XSS1, SQL-инъекции2, удалённое выполнение кода (Remote Code Execution) и эксплуатация уязвимостей API3, а также специфичные для ИИ методы — промт-инъекции и инъекции во вложениях. В исследовании упоминается реальный случай, когда WAF-система4 зафиксировала скрипт, начинающийся со слов «Ignore all previously given instructions», направленный на обход ограничений ИИ.
Как сообщается из исследования «Лаборатории Касперского» от 30 сентября 2025 года, в этом году зафиксирован рост атак, эксплуатирующих особенности мультимодальных и гибридных ИИ-систем. Среди новых векторов — «непрямые промт-инъекции» (indirect prompt injection), когда вредоносные инструкции внедряются в сторонние данные, обрабатываемые ассистентом: например, в приглашения календаря, письма или изображения. В одной из демонстраций атаки на Gemini злоумышленник через скрытые поля в Google Calendar заставил ассистента удалять встречи, менять стиль общения и открывать вредоносные ссылки. В другой атаке на Microsoft 365 Copilot, получившем название EchoLeak, конфиденциальные данные пользователя передавались внешнему серверу через URL изображения, встроенного в ответ чат-бота. Также отмечается, что мультимодальные модели особенно уязвимы, если защитные механизмы ориентированы только на текст: вредоносные команды, спрятанные в диаграммах или картинках, часто остаются незамеченными.
По данным «Газета.Ru», сотрудники, использующие публичные ИИ-сервисы, могут непреднамеренно передавать конфиденциальную информацию. В ответ компании внедряют DLP-системы5, которые сканируют запросы к ИИ на наличие коммерческой тайны, персональных данных или исходного кода. Дополнительно применяется Secure Web Gateway6 для проверки легитимности запрашиваемых ресурсов и блокировки фишинговых копий ИИ-интерфейсов.
Директор по информационной безопасности компании «Вебмониторэкс» Лев Палей отмечает, что ИИ-модели следует тестировать на устойчивость с помощью Red Teaming7, фаззинга и перебора вредоносных промптов. Также он рекомендует сегментировать доступ к ИИ, изолируя системы, работающие с критичными данными, от внешнего контура, и применять к ИИ те же политики информационной безопасности, что и к пользователям: ограничивать привилегии, вести логирование и шифровать данные при передаче и хранении.
Технологический обозреватель и аналитик, фокусирующийся на ландшафте современных IT-разработок. В центре моего внимания — российская tech-сфера: её динамика, конкурентоспособность и уникальные пути развития в сравнении с глобальными, прежде всего западными, трендами.
