Sari la conținut
ROENRU

Protecția sistemelor cu AI

AI-ul poate ajuta. Sistemul trebuie să păstreze controlul.

Protecția sistemelor cu AI înseamnă să controlăm ce date ajung la model, ce instrucțiuni sunt considerate de încredere și ce acțiuni poate executa aplicația. Implementăm aceste limite în jurul modelului, astfel încât securitatea să nu depindă doar de prompt.

Descoperă soluția

01 / Pentru cine

Când AI-ul are acces la informații sau poate influența sisteme reale

Ai deja un asistent, un RAG, un agent sau o funcție AI care citește documente și comunică cu aplicațiile companiei. Pe măsură ce îi oferi mai mult context și mai multe instrumente, devine important să separi clar ceea ce modelul poate propune de ceea ce sistemul îi permite efectiv. Pentru un produs nou, proiectăm aceste limite de la început. Pentru un sistem existent, analizăm traseul datelor, permisiunile, integrarea cu modele și acțiunile care pot avea consecințe.

02 / Ce poate cuprinde proiectul

Control înainte și după model

01

Protejăm informația trimisă către AI

Stabilim ce date pot ajunge la model și ce trebuie filtrat, mascat, anonimizat sau înlocuit înainte de request. Separăm datele necesare de informațiile sensibile și aplicăm reguli diferite în funcție de utilizator, scop și sursă.

02

Limităm instrucțiunile și acțiunile

Tratăm prompturile, documentele și răspunsurile recuperate ca intrări care nu pot modifica singure drepturile sistemului. Instrumentele și acțiunile sunt autorizate separat, iar operațiile sensibile pot necesita confirmare umană înainte de executare.

03

Verificăm și păstrăm trasabilitatea

Validăm structura și conținutul rezultatului înainte ca el să fie executat sau transmis altui sistem. Păstrăm informația necesară pentru a înțelege ce regulă s-a aplicat, ce acțiune a fost permisă sau blocată și de ce.

03 / Exemplu de utilizare

Exemplu ilustrativ: un agent AI conectat la CRM

Un agent primește o solicitare formulată liber și găsește date despre client în CRM. Un document recuperat conține și o instrucțiune care încearcă să îi extindă comportamentul. Stratul de control nu tratează acea instrucțiune ca autorizație: filtrează datele permise, păstrează drepturile agentului la nivelul stabilit și verifică acțiunea propusă. Agentul poate pregăti o actualizare, dar ștergerea sau trimiterea unui document extern rămâne blocată ori cere aprobarea persoanei responsabile. Sistemul păstrează rezultatul verificării.

04 / Cum lucrăm

Începem cu traseul real al datelor și acțiunilor

  1. 01

    Cartografiem AI-ul

    Identificăm modelele, sursele de date, RAG-ul, instrumentele, utilizatorii și acțiunile disponibile. Separăm ceea ce modelul doar citește de ceea ce poate produce efecte în alte sisteme.

  2. 02

    Definim limitele

    Stabilim datele permise, nivelurile de acces, acțiunile interzise și situațiile în care este obligatorie aprobarea. Definim și comportamentul pentru informații neclare, instrucțiuni ostile și rezultate invalide.

  3. 03

    Implementăm controalele

    Introducem filtrare, validare, politici de autorizare, limite pentru tool calling, verificarea outputului și jurnalizarea relevantă. Controalele importante rămân în aplicație, nu doar în promptul trimis modelului.

  4. 04

    Testăm atacurile și excepțiile

    Verificăm scenarii normale și abuzive: prompt injection, documente cu instrucțiuni ascunse, acces nepermis, output invalid și tentative de acțiuni excesive. Ajustăm regulile înainte de extinderea accesului.

05 / Ce primești

Ce poate primi proiectul

  • Evaluarea arhitecturii AI și a riscurilor concrete pentru date, RAG, agenți și integrări.
  • Strat de control implementat: filtrare, politici, autorizare, validare, aprobări și audit, în limitele proiectului.
  • Scenarii de test și reguli documentate pentru extinderea sigură a surselor, modelelor și acțiunilor.

Ce poate cuprinde proiectul

Ce protejăm și ce nu pretindem

  • Protejăm aplicația și fluxurile din jurul modelului; nu afirmăm că putem face un model extern imposibil de compromis.
  • Nicio filtrare nu înlocuiește controlul permisiunilor. Acțiunile sensibile trebuie autorizate în sistemul care le execută.
  • Cerințele legale, contractuale și de conformitate se verifică separat pentru domeniul și jurisdicția clientului.

De unde începem

Discutăm despre proiect

Poți începe cu diagrama actuală a funcției AI sau cu un singur flux: ce intră, ce model este folosit, ce informații vede și ce poate face după răspuns. De aici stabilim suprafața de atac și primul set de controale.

Evaluăm securitatea sistemului tău AI