Gestione del rischio AI: cos’è e come implementarla

La gestione del rischio AI parte da una domanda pratica: che cosa potrebbe andare storto quando un modello, una pipeline di dati, un’applicazione, un prompt, un workflow o una decisione umana si basa sull’AI? La risposta riguarda raramente solo l’accuratezza del modello. Un sistema potrebbe utilizzare dati non aggiornati, esporre campi sensibili tramite il retrieval, generare una risposta plausibile ma errata, subire drift dopo l’implementazione o produrre una decisione difficile da spiegare quando un’autorità di regolamentazione richiede prove.

Poiché i rischi sono molto eterogenei, la gestione del rischio AI deve riguardare l’intero ciclo di vita del sistema. Offre alle organizzazioni un approccio strutturato per comprendere dove i sistemi AI possono causare danni, stabilire quali rischi siano accettabili e applicare controlli che li mantengano entro limiti definiti. Consente inoltre di stabilire quale livello di rischio residuo sia accettabile, quali controlli siano necessari prima del rilascio e quale monitoraggio debba proseguire dopo che il sistema è stato reso disponibile agli utenti.

La gestione del rischio AI è il processo di identificazione, valutazione, mitigazione e monitoraggio dei rischi derivanti dai sistemi di AI nell’intero ciclo di vita dell’AI: durante lo sviluppo, l’implementazione e l’esecuzione in produzione. Riguarda il modello, ma comprende anche i dati utilizzati, il contesto applicativo in cui opera, le persone interessate dai suoi output, le policy che ne disciplinano l’uso e le prove necessarie per dimostrare l’applicazione dei controlli.

La gestione del rischio AI ha quindi un ambito più ampio rispetto alla gestione del rischio di modello. La gestione del rischio di modello, soprattutto nel settore bancario e in altri contesti finanziari regolamentati, si concentra sul rischio che un modello produca risultati errati, utilizzati in modo improprio o interpretati erroneamente. La gestione del rischio AI comprende questo aspetto, ma considera anche l’intero sistema che circonda il modello: provenienza dei dati di addestramento, contesto di retrieval, controlli degli accessi, interazione con gli utenti, comportamento dei prompt, impatto sui workflow downstream, risposta agli incidenti e monitoraggio successivo all’implementazione.

In pratica, un programma di gestione del rischio AI deve rispondere a domande operative come:

• Quali set di dati sono stati utilizzati per addestrare, testare o contestualizzare il sistema?

• Chi è responsabile del caso d’uso, del modello e del processo aziendale interessato?

• Quali rischi sono stati identificati durante lo sviluppo, il testing e l’implementazione?

• Quali controlli riducono questi rischi e quale rischio residuo permane?

• In che modo l’organizzazione rileverà drift, usi impropri, eventi di sicurezza o risultati dannosi dopo il rilascio?

Queste risposte trasformano il rischio dell’AI da problema astratto a insieme di decisioni verificabili, controlli e audit trail.

I sistemi AI introducono rischi che i programmi tradizionali di gestione del rischio aziendale non sono concepiti per valutare autonomamente. Un’applicazione basata su regole si comporta in genere allo stesso modo quando riceve lo stesso input. I sistemi AI, in particolare i sistemi di AI generativa, possono essere non deterministici: lo stesso prompt può produrre risposte diverse e il comportamento del sistema può cambiare al variare di modelli, dati, prompt o contesto di retrieval.

Il rischio deriva inoltre da più livelli. Un modello può essere tecnicamente valido e causare comunque danni se viene addestrato su dati distorti, collegato a record sensibili senza controlli degli accessi adeguati, utilizzato al di fuori dello scopo previsto o distribuito in un workflow in cui gli utenti fanno eccessivo affidamento sui suoi output. Ad esempio, un modello antifrode può ottenere buoni risultati durante la convalida, ma peggiorare quando cambiano i modelli delle transazioni. Analogamente, un’applicazione con retrieval augmentation può esporre informazioni riservate se la sua logica di accesso non è allineata alle autorizzazioni dell’utente.

Il rischio legato all’AI evolve anche dopo il deployment. Data drift, input avversari, prompt injection, modifiche normative, aggiornamenti dei fornitori e nuovi modelli di utilizzo possono alterare il profilo di rischio di un sistema che ha superato la valutazione iniziale. Per questo motivo, la gestione del rischio AI non può concludersi con l’approvazione. Richiede monitoraggio, procedure di escalation, trigger per il riaddestramento, segnalazione degli incidenti e criteri di dismissione.

Le categorie di rischio dell’AI consentono di distinguere la causa di un rischio dal sintomo che produce. Le categorie seguenti consentono di ricondurre questi rischi al controllo, al responsabile e al processo di revisione appropriati.

Rischio tecnico e di performance

Il rischio tecnico comprende accuratezza, robustezza, affidabilità, allucinazioni, model drift e disponibilità del sistema. Nell’AI generativa, il malfunzionamento più evidente può essere una risposta allucinata, ma la causa sottostante potrebbe risiedere in un contesto di retrieval insufficiente, una provenienza dei dati inadeguata, guardrail mancanti o un workflow che invia a un cliente una risposta generata dall’AI senza revisione. La gestione dei rischi dipende dalla capacità dell’organizzazione di testare il sistema rispetto all’uso previsto, definire soglie di performance accettabili e rilevare quando gli output non soddisfano più tali soglie.

Rischio relativo ai dati

Il rischio relativo ai dati comprende data poisoning, fuga di dati, lacune nella gestione del consenso, problemi di provenienza e qualità, nonché bias nei dati di addestramento. Un modello addestrato o ancorato a dati scarsamente documentati può ereditare errori difficili da rintracciare in seguito. Per i sistemi AI che utilizzano dati aziendali, il data lineage, la classificazione, la cronologia degli accessi e i controlli della qualità dei dati diventano parte integrante della gestione dei rischi, anziché elementi secondari della governance.

Rischio di sicurezza

I rischi di sicurezza dell’AI comprendono prompt injection, inversione del modello, inferenza di appartenenza, furto del modello, esfiltrazione dei dati e manipolazione avversaria. I rischi di sicurezza dell’AI sono particolarmente critici perché i sistemi AI spesso si interpongono tra gli utenti e dati sensibili, strumenti o workflow. Un prompt compromesso o un contesto manipolato può influenzare non solo la risposta generata da un modello, ma anche l’azione che un’applicazione basata sull’AI tenta di eseguire.

Rischio etico e di equità

Il rischio di equità, analizzato dal punto di vista dell’etica dell’AI, può comprendere risultati discriminatori, lesioni della dignità, mancanza di trasparenza e carenze nella supervisione umana. Questi rischi emergono spesso quando i sistemi tecnici interagiscono con le persone, ad esempio nello screening dei candidati, nelle decisioni creditizie, nelle raccomandazioni sanitarie o negli strumenti per la produttività del personale. Una gestione efficace del rischio di equità richiede chiarezza sulle popolazioni interessate, sull’uso previsto, sui diritti di riesame e sulle procedure di escalation.

Rischio legale e normativo

Il rischio legale e normativo comprende la non conformità alle leggi specifiche sull’AI, le violazioni della privacy, le questioni relative alla proprietà intellettuale e una documentazione inadeguata. L’AI Act dell’Unione europea, ad esempio, impone ai fornitori di sistemi AI ad alto rischio di istituire, attuare, documentare e mantenere un sistema di gestione dei rischi, definendolo come un processo continuo e iterativo durante l’intero ciclo di vita del sistema AI. La compliance dell’AI è una componente essenziale della gestione dei rischi.

Rischio operativo

Il rischio operativo comprende vendor lock-in, superamento dei costi, responsabilità poco chiare, risposta agli incidenti inadeguata e dipendenze non gestite. Un’applicazione AI utile può risultare difficile da gestire se nessuno è responsabile del monitoraggio, della gestione delle eccezioni, degli aggiornamenti del modello, delle revisioni degli accessi o delle decisioni di dismissione.

Rischio reputazionale

Il rischio reputazionale comprende malfunzionamenti resi pubblici, reazioni negative degli utenti e controlli delle autorità di regolamentazione. Questi rischi sono spesso conseguenze di altri problemi, come output distorti, contenuti non sicuri, dati esposti, decisioni non spiegate o un divario evidente tra quanto promesso da un’organizzazione e ciò che il suo sistema AI ha effettivamente fatto.

Rischio sociale

Il rischio sociale comprende spiazzamento occupazionale, danni alla democrazia, concentrazione del potere ed effetti sistemici più ampi. Non tutte le organizzazioni valutano questi rischi allo stesso modo, ma i programmi maturi di gestione del rischio AI considerano se l’impatto di un sistema si estenda oltre gli utenti diretti e i risultati aziendali immediati.

Il framework di gestione dei rischi dell’AI del NIST (AI RMF) è un framework volontario che consente alle organizzazioni di gestire i rischi derivanti dai sistemi AI per le persone, le organizzazioni e la società. Il NIST descrive il framework come uno strumento per integrare considerazioni sull’affidabilità nella progettazione, nello sviluppo, nell’uso e nella valutazione di prodotti, servizi e sistemi di AI. Nel luglio 2024, il NIST ha inoltre pubblicato il profilo sull’AI generativa per l’AI RMF. Il profilo è una risorsa complementare per applicare l’AI RMF ai rischi specifici dell’AI generativa o da essa amplificati.

L’AI RMF è articolato in quattro funzioni principali: Govern, Map, Measure e Manage. Il NIST sottolinea che queste funzioni non costituiscono una semplice checklist né una sequenza fissa. Devono essere applicate in modo iterativo lungo l’intero ciclo di vita dell’AI, mentre la governance orienta costantemente le altre funzioni.

Governare

La funzione Govern stabilisce le basi organizzative per la gestione del rischio AI. Comprende responsabilità, policy, ruoli, formazione, cultura del rischio e supervisione. In termini pratici, significa definire chi può approvare un caso d’uso dell’AI, chi è responsabile del modello o dell’applicazione, quali policy si applicano e come documentare le decisioni relative al rischio.

Mappare

La funzione Map identifica il contesto in cui opererà un sistema AI. Occorre definire l’uso previsto, gli usi esclusi dall’ambito, le parti interessate, l’ambiente di implementazione e l’impatto sui processi aziendali. Lo stesso modello può comportare rischi diversi in base al contesto di utilizzo. Ad esempio, un modello di sintesi applicato alla documentazione pubblica di un prodotto presenta un profilo di rischio diverso rispetto a un modello utilizzato per cartelle cliniche o contratti legali.

Misurare

La funzione Measure valuta i rischi rispetto a caratteristiche di affidabilità come validità, attendibilità, robustezza, sicurezza, protezione, resilienza, spiegabilità, privacy ed equità. La misurazione può includere test quantitativi, revisioni qualitative, red teaming, audit dei bias, valutazioni della privacy e test avversariali.

Gestire

La funzione Manage assegna una priorità ai rischi, alloca le risorse, applica misure di mitigazione, monitora i controlli e comunica le decisioni relative al rischio. In questa fase la valutazione del rischio si traduce in azioni: approvare un caso d’uso con determinate condizioni, aggiungere una revisione umana, limitare l’accesso, modificare il modello di implementazione, accettare il rischio residuo o decidere di non procedere.

La gestione del rischio AI è più efficace quando è integrata nel ciclo di vita anziché aggiunta solo alla fine. Considerare l’intero ciclo di vita consente di individuare i diversi rischi quando è ancora possibile ridurli, testarli o sottoporli a escalation.

Prima dello sviluppo

Prima di addestrare, ottimizzare o collegare un modello, occorre convalidare il caso d’uso. Ciò include definire l’obiettivo aziendale, identificare gli utenti interessati, assegnare un livello di rischio, verificare che l’AI sia appropriata e, se necessario, completare una valutazione dell’etica dell’AI o dell’impatto dell’AI. Un assistente interno per la produttività a basso rischio può richiedere una revisione semplificata, mentre un sistema che influisce su credito, occupazione, assistenza sanitaria o servizi pubblici può richiedere una valutazione formale dell’impatto e l’approvazione della dirigenza.

Sviluppo

Durante lo sviluppo, la gestione del rischio si concentra sul data lineage, sulla qualità dei dati, sui controlli della privacy, sugli audit dei bias e sulla documentazione. È necessario conoscere la provenienza dei dati di addestramento, test e convalida, le trasformazioni applicate, l’eventuale presenza di campi sensibili e la rappresentatività del set di dati rispetto all’uso previsto.

La documentazione del modello deve registrare le scelte progettuali, le ipotesi, le limitazioni, i risultati delle valutazioni e i rischi noti. Queste evidenze diventano importanti quando occorre spiegare perché un sistema è stato approvato o perché una versione del modello è cambiata.

Prima dell’implementazione

Prima del rilascio, occorre testare il sistema in condizioni simili a quelle dell’ambiente di produzione. Le attività possono includere red teaming, test contraddittori (adversarial testing), revisioni della spiegabilità, della sicurezza e della privacy, nonché punti di approvazione formale. Per i sistemi di AI generativa, i test devono includere prompt che tentino di produrre contenuti non sicuri, divulgare dati sensibili, ignorare le istruzioni o attivare comportamenti esclusi dall’ambito previsto.

L’obiettivo non è dimostrare che nessun errore sia possibile, bensì comprendere le probabili modalità di errore, applicare misure di mitigazione mirate e decidere se il rischio residuo sia accettabile.

Implementazione

I controlli di implementazione contribuiscono a ridurre il rischio quando il sistema entra in uso. Tra gli approcci disponibili figurano il rilascio graduale, il canary deployment, il gruppo ristretto di utenti, i requisiti di supervisione umana, la policy di logging e lo schema di accesso ristretto. Questi controlli consentono di osservare il comportamento del sistema prima di estenderne l’utilizzo.

Per i sistemi ad alto rischio, l’implementazione deve includere anche un percorso di escalation chiaro. Gli utenti devono sapere quando considerare attendibile il sistema, quando ignorarne le indicazioni e come segnalare comportamenti imprevisti.

Dopo l’implementazione

La gestione del rischio AI prosegue dopo il lancio. Occorre monitorare la drift, il degrado delle prestazioni, gli schemi di utilizzo insoliti, gli eventi di sicurezza, i reclami degli utenti e le modifiche normative. Occorre inoltre definire le condizioni che attivano un nuovo addestramento, i requisiti per la segnalazione degli incidenti e i criteri di dismissione.

Il monitoraggio successivo all’implementazione è particolarmente importante perché i sistemi AI possono deteriorarsi gradualmente. Un modello può rimanere disponibile e reattivo mentre la sua accuratezza diminuisce, i dati di input cambiano o gli output diventano meno coerenti con il caso d’uso originale.

L’AI RMF del NIST è un riferimento diffuso, ma non è l’unico framework utilizzato dalle organizzazioni.

• La norma ISO/IEC 23894 fornisce indicazioni alle organizzazioni che sviluppano, producono, distribuiscono o utilizzano prodotti, sistemi e servizi basati sull’AI per gestire i rischi correlati all’AI. L’ISO descrive la norma come una guida per integrare la gestione dei rischi nelle attività e nelle funzioni correlate all’AI.

• La norma ISO/IEC 42001 è uno standard certificabile per i sistemi di gestione dell’AI. L’ISO la descrive come una norma per istituire, implementare, mantenere e migliorare continuamente un sistema di gestione dell’AI, prestando attenzione ai rischi e alle opportunità associati all’AI.

• L’AI Act dell’Unione europea introduce obblighi giuridici per determinati sistemi AI, in particolare quelli ad alto rischio. Le sue disposizioni sulla gestione dei rischi impongono il riesame continuo, l’identificazione e la valutazione dei rischi, misure di mitigazione, test e la valutazione del rischio residuo.

• Le organizzazioni bancarie e dei servizi finanziari possono inoltre fare riferimento a linee guida sul rischio di modello, come SR 11-7 e OCC 2011-12, che hanno un ambito più ristretto rispetto alla gestione dei rischi dell’AI, ma restano importanti per la governance regolamentata dei modelli. Hai ragione e non avevo verificato prima di scriverlo. Lo faccio adesso.

• Altre linee guida operative, come il Model AI Governance Framework di Singapore, consentono alle organizzazioni di tradurre i principi della governance dell’AI in ruoli, processi, documentazione e controlli differenziati per livello di rischio.

La gestione del rischio AI si basa su evidenze verificabili. È necessario sapere quali dati ha utilizzato un modello, come sono stati governati, chi vi aveva accesso, quale versione del modello è stata distribuita, quali guardrail sono stati applicati e che cosa è accaduto dopo il rilascio. Snowflake supporta questa catena di evidenze per dati, modelli, app e workflow di governance.

Snowflake Horizon Catalog rende più visibile l’esposizione ai rischi dell’AI mostrando informazioni contestuali sulla governance, come individuazione dei dati, cronologia degli accessi, tagging degli oggetti e strumenti di compliance. Cortex Guard aggiunge misure di protezione in fase di runtime per i casi d’uso di AI generativa in Snowflake Cortex AI. Consente di filtrare le risposte potenzialmente non sicure o dannose prodotte da un modello linguistico.

Snowflake ML Model Registry consente di gestire modelli e relativi metadati in Snowflake e supporta il monitoraggio delle prestazioni e del drift tramite Snowflake ML Observability. È inoltre possibile aggiornare metadati come commenti, tag e metriche, inclusi i tag che registrano finalità, algoritmo, data set di addestramento o fase del ciclo di vita di un modello.

La certificazione ISO/IEC 42001 ottenuta da Snowflake per il suo sistema di gestione dell’intelligenza artificiale offre un ulteriore livello di garanzia. Nel loro insieme, queste funzionalità consentono alle organizzazioni di collegare la gestione del rischio AI ai controlli operativi più importanti: accesso governato ai dati, data lineage, metadati, guardrail, monitoraggio ed evidenze di audit.

La gestione del rischio AI è il modello operativo che consente alle organizzazioni di comprendere che cosa deve fare un sistema AI, che cosa potrebbe non funzionare, quali controlli riducono il rischio e quali evidenze dimostrano l’efficacia dei controlli.

Con la crescente integrazione dell’AI nei workflow aziendali, la superficie di rischio si estende a dati, modelli, app, utenti, fornitori e decisioni successive. Un programma concreto di gestione del rischio AI consente di gestire questa superficie senza bloccare o rallentare ogni progetto. Definisce i livelli di rischio, assegna le responsabilità, documenta le decisioni, sottopone i sistemi a test prima del rilascio e li monitora dopo la distribuzione.

Per le aziende, i programmi più solidi sono quelli che collegano le policy a controlli operativi. È qui che la gestione del rischio AI traduce i principi dell’AI responsabile in controlli operativi, sistemi monitorati e risultati verificabili.