Gli agenti AI non sbagliano per cattiveria. Sbagliano perché nessuno gli ha detto dove fermarsi.
Il 39% delle aziende ha già subito incidenti da agenti AI non governati correttamente (SailPoint, 2025). I 3 errori più comuni sono: autonomia eccessiva, output non validato, human-in-loop assente. Ecco come evitarli con una governance strutturata.
Negli ultimi 18 mesi i casi documentati di agenti AI aziendali che hanno agito in modo inatteso si sono moltiplicati. Non attacchi esterni, non bug clamorosi: sistemi che hanno fatto esattamente quello per cui erano stati progettati, senza che nessuno avesse definito i confini.
Secondo il Cloud Security Alliance (2026), il 97% delle organizzazioni colpite non aveva controlli di accesso adeguati. Gartner prevede che entro il 2028 almeno il 25% delle violazioni enterprise sarà riconducibile all'abuso di agenti AI.
Abbiamo identificato tre errori che si ripetono quasi sempre, indipendentemente dal settore o dalla dimensione dell'azienda. Non riguardano il modello AI scelto. Riguardano come è stato progettato il sistema intorno a lui.
Errore 1: Troppa autonomia fin dall'inizio
Nel luglio 2025, un agente AI su Replit ha cancellato 1.206 record da un database di produzione in pochi secondi: nessun hack, solo un sistema che eseguiva la propria logica senza confini. A marzo 2026, un agente interno a Meta ha pubblicato autonomamente su un forum aziendale una risposta sbagliata: un engineer l'ha seguita, due ore di dati sensibili esposti, Sev 1 incident. OWASP ha inserito "Excessive Agency" al sesto posto nella sua Top 10 delle vulnerabilità AI proprio per questo.
La soluzione: allowlist rigida nel codice, non nel prompt. Il prompt è istruzione; il codice è controllo. Se un'azione non è nella lista (mandare email, modificare record, contattare un HCP direttamente), l'agente non può fisicamente farla. Con questo approccio: zero azioni non autorizzate in sei mesi di produzione.
Errore 2: Output non validato
I modelli allucinano, e lo fanno con più sicurezza del solito. Ricercatori MIT hanno documentato che gli LLM sono il 34% più propensi a usare espressioni come "sicuramente" o "senza dubbio" proprio quando generano informazioni errate. In ambito healthcare, il tasso medio di allucinazione raggiunge il 15,6% (AllAboutAI Hallucination Report 2025). Il 47% dei manager ha preso almeno una decisione rilevante basandosi su output AI non verificati (Deloitte 2025).
In settori regolamentati, lo 0,1% di errore non è tollerabile: una risposta sbagliata su mille può colpire il paziente sbagliato o violare una norma di compliance.
Soluzione: tre livelli di validazione prima che qualsiasi risposta raggiunga l'utente.
- Schema check automatico sul formato dell'output.
- Content policy check calibrato sulle normative del cliente: PII, claim medici senza fonte, dosaggi non verificati.
- Confidence marker che decide se rispondere direttamente, aggiungere una nota di cautela, o passare a un operatore umano.
Il sistema non punta all'infallibilità: punta a sapere quando non sa, e in quel momento chiama un essere umano invece di inventarsi una risposta.
Errore 3: Pensare all'human-in-loop come a un'eccezione
La logica comune è: il supervisore umano entra quando qualcosa va storto. Il problema è che quando arriva, il danno è già fatto, come nel caso Meta, dove i dati sono rimasti esposti per oltre due ore prima di qualsiasi intervento.
Dal 2 agosto 2026, l'EU AI Act (Art. 14) impone effective human oversight, con capacità concreta di interrompere il sistema, per tutti i sistemi AI ad alto rischio. Il pharma rientra esplicitamente nell'Annex III. Le sanzioni arrivano fino a 35 milioni di euro o il 7% del fatturato globale. La supervisione non è più una scelta architetturale: è un obbligo normativo.
Soluzione: human gate differenziato per livello di rischio, non supervisione binaria.
- Le FAQ su materiale pre-approvato vengono gestite in automatico, senza latenza.
- Le domande tecniche complesse passano da un operatore che valida in pochi secondi: non parte da zero, ha già la risposta davanti.
- Qualsiasi azione con implicazioni regolatorie, dosaggi, controindicazioni, comunicazioni ufficiali, richiede approvazione esplicita prima di uscire.
Humans in the loop non come collo di bottiglia, ma come gate calibrato sul rischio reale.
Cosa hanno in comune questi tre errori
Nascono tutti dallo stesso posto: andare in produzione prima di aver definito il perimetro operativo dell'agente. Non sono fallimenti del modello AI. Sono fallimenti di architettura.
La governance non si aggiunge dopo. È la parte che determina se il sistema funziona davvero.
Stai sviluppando agenti AI per la tua azienda?
Evita gli errori più comuni e definisci un percorso efficace: costruiamolo insieme, partendo dal tuo contesto.
Scrivici →
