Перейти к содержимому
ROENRU

Защита систем с AI

AI может помогать. Контроль должен оставаться у системы.

Защита систем с AI означает контроль данных, передаваемых модели, доверенных инструкций и действий, которые приложение может выполнять. Эти ограничения реализуются вокруг модели, чтобы безопасность не зависела только от промпта.

Подробнее о решении

01 / Для кого

Когда AI получает доступ к данным или может влиять на реальные системы

У вас уже может быть ассистент, RAG, агент или AI-функция, которая читает документы и взаимодействует с программами компании. Чем больше контекста и инструментов получает модель, тем важнее отделить её предложение от фактического разрешения системы. В новом продукте эти границы проектируются с самого начала. В существующем мы анализируем потоки данных, права доступа, интеграцию с моделями и действия с реальными последствиями.

02 / Что может включать проект

Контроль до и после модели

01

Защищаем данные, передаваемые AI

Определяем, какие данные могут попасть в модель и что необходимо отфильтровать, скрыть, обезличить или заменить до запроса. Нужный контекст отделяется от чувствительной информации с учётом пользователя, цели и источника.

02

Ограничиваем инструкции и действия

Промпты, найденные документы и внешний контент считаются входными данными и не могут сами расширять права системы. Инструменты и действия авторизуются отдельно, а чувствительные операции могут требовать подтверждения человеком.

03

Проверяем результат и сохраняем трассируемость

Проверяем структуру и содержание ответа до его выполнения или передачи другой системе. Сохраняем сведения, необходимые для понимания применённого правила, разрешённого или заблокированного действия и причины решения.

03 / Пример использования

Иллюстративный пример: AI-агент, подключённый к CRM

Агент получает свободно сформулированный запрос и находит данные клиента в CRM. Один из найденных документов содержит инструкцию, пытающуюся изменить его поведение. Слой контроля не считает такую инструкцию разрешением: фильтрует допустимые данные, сохраняет назначенные права агента и проверяет предлагаемое действие. Агент может подготовить изменение, но удаление клиента или отправка документа наружу блокируются либо требуют подтверждения. Решение и результат остаются доступными для проверки.

04 / Как мы работаем

Начинаем с реального пути данных и действий

  1. 01

    Картируем AI-систему

    Определяем модели, источники данных, RAG, инструменты, пользователей и доступные действия. Отделяем информацию, которую модель читает, от операций, создающих изменения в других системах.

  2. 02

    Определяем границы

    Устанавливаем допустимые данные, уровни доступа, запрещённые действия и обязательные подтверждения. Отдельно задаём поведение для неоднозначной информации, враждебных инструкций и некорректных результатов.

  3. 03

    Внедряем контроли

    Добавляем фильтрацию, валидацию, политики авторизации, ограничения tool calling, проверку output и необходимый аудит. Критические правила остаются в приложении, а не только в промпте модели.

  4. 04

    Тестируем атаки и исключения

    Проверяем обычные и злоупотребляющие сценарии: prompt injection, инструкции внутри документов, неразрешённый доступ, некорректный output и попытки чрезмерных действий. До расширения доступа правила корректируются.

05 / Что вы получаете

Что может получить проект

  • Оценку AI-архитектуры и конкретных рисков для данных, RAG, агентов и интеграций.
  • Реализованный слой контроля: фильтрация, политики, авторизация, валидация, подтверждения и аудит в согласованном объёме.
  • Тестовые сценарии и правила безопасного расширения источников данных, моделей и действий.

Что может включать проект

Что мы защищаем и чего не обещаем

  • Мы защищаем приложение и процессы вокруг модели; не заявляем, что внешнюю модель можно сделать абсолютно неуязвимой.
  • Фильтрация не заменяет контроль прав. Чувствительные действия авторизуются системой, которая их выполняет.
  • Юридические, договорные и compliance-требования оцениваются отдельно для отрасли и юрисдикции клиента.

С чего начнём

Обсудить проект

Для начала достаточно одного AI-потока: что поступает на вход, какая модель используется, какие данные она видит и что может сделать после ответа. На этой основе определяем поверхность атаки и первый набор контролей.

Оценить безопасность вашей AI-системы