Контур вокруг LLM: как AI Gateway снижает риск утечек и prompt injection
Habr ·
Разберём, как защищать данные и языковые модели в компании. Что такое AI Gateway, зачем его ставят между приложением и моделью, что он успевает перехватить и чего не умеет. Посмотрим на реальных примерах, как утекают данные и как работает prompt injection. Из каких проверок собирают защиту, что из них крутится на обычном процессоре, а что требует видеокарты, и сколько это стоит в рублях. Отдельно разберём агентов, которые сами ходят по сети, и то, что требуют ФСТЭК и Банк России. Сразу оговорюсь: полной защиты от prompt injection нет ни у кого, и статья её не обещает. Речь о том, как снизить вероятность атаки и ограничить ущерб от той, что всё равно пройдёт. Читать далее