Безопасность ИИ-систем 2026. Часть 2: техники атак
Habr ·
Продолжаем цикл статей о безопасности ИИ-систем. В прошлый раз мы разобрали нормативную базу и методологии — что требуют регуляторы и какие фреймворки описывают угрозы и уязвимости. Теперь переходим к практической плоскости. Искусственный интеллект бывает разным: классические ML-алгоритмы, системы компьютерного зрения, рекомендательные алгоритмы, и у каждого класса свои уязвимости и техники атак. Но с 2023 года центр тяжести сместился в сторону больших языковых моделей: их внедряют в бизнес-процессы, к ним прикручивают руки, увеличивают автономность за счет агентности. Рост числа LLM-приложений идет быстрее, чем рост понимания их уязвимостей, поэтому в этой статье и в следующих мы фокусируемся именно на них. Атаки на классические ML-системы, хотя и схожи, имеют свою специфику и заслуживают отдельного материала. В этой статье обсудим, какие существуют техники атак на LLM-системы, как они классифицируются, от ручных jailbreak-промптов до полностью автоматизированных атак с использованием отдельных LLM, и почему LLM-ядро — не единственная цель злоумышленника. Читать далее