RAG под защитой: как не превратить корпоративную базу знаний в канал утечки
Habr ·
RAG используют там, где ответ должен опираться на внутренние знания компании : ассистенты по регламентам и политикам, сервисы поддержки сотрудников и клиентов, поиск по файловым ресурсам, справочные системы по договорам и технической документации. Поэтому большинство компаний уже дали ИИ доступ к внутренним документам и базам знаний. Корпоративную базу знаний подключают к ИИ-ассистенту быстро: выгрузили базу знаний компании, построили индекс, получили чат, который отвечает по регламентам. Вместе с этим в индекс попадают персональные данные, документы с ограниченным доступом, конфиденциальная информация. Векторное хранилище не знает, кому что показывать: оно возвращает то, что ближе по смыслу. Для безопасности из этого следует важное: каждый документ в индексе становится частью запроса к модели, а значит, защищать нужно не только модель, но и всё, что в неё «подкладывается». RAG добавляет четыре риска, которых нет у обычного обращения к модели: отравление базы, обход прав, выкачивание и выдумывание . Фильтр промптов на входе и выходе эти риски не закрывает: проблема живёт в данных и в хранилище, а не в тексте вопроса. Защита строится вокруг трёх точек : что попадает в индекс, что достаётся из индекса и на чём построен ответ. Читать далее