LET’S TALK & CONNECT

L’adozione dell’intelligenza artificiale nelle organizzazioni sta accelerando: dai chatbot per il customer service agli assistenti basati su LLM, fino ai sistemi agentici in grado di interagire con dati e processi aziendali, le imprese stanno sperimentando nuove forme di automazione e supporto decisionale. Cresce però in parallelo la consapevolezza sui rischi legati a un uso poco accorto dell’AI dopo i diversi incidenti, come quando lo scorso luglio agenti AI di OpenAI sono evasi da un ambiente di test isolato e hanno compromesso i server della piattaforma Hugging Face. In questo contesto emerge l’interesse per una disciplina destinata a diventare sempre più rilevante: l’AI Red Teaming, un insieme di attività volte a verificare la robustezza, l’affidabilità e la sicurezza dei sistemi di intelligenza artificiale, simulando comportamenti anomali, errori o veri e propri attacchi per individuare vulnerabilità prima che possano produrre conseguenze operative o reputazionali. Ne parliamo in questa intervista con Federico Cerutti, Full Professor of Robust and Trustworthy Artificial Intelligence presso l’Università di Brescia, che su questo tema è intervenuto nel corso del CISO PANEL di TIG, lo scorso 15 settembre.

Testare la robustezza dell’AI

L’AI Red Teaming è una metodologia volta a testare la qualità dell’offerta di intelligenza artificiale che utilizziamo nelle nostre aziende, soprattutto in termini di robustezza rispetto a input che non siano esattamente allineati con quello che ci aspettiamo. Il tema assume particolare importanza con la diffusione degli assistenti aziendali basati su AI, che sempre più spesso accedono a documenti, policy interne e basi di conoscenza aziendali. «Questi sistemi possono leggere documenti e informazioni presenti nei nostri repository, contenuti che costituiscono la memoria e le istruzioni operative dell’intelligenza artificiale – dice Federico Cerutti -. Se un documento contiene informazioni errate, obsolete o addirittura manipolate da un attaccante, il sistema non è in grado di distinguere autonomamente ciò che è corretto da ciò che non lo è e agirà di conseguenza».

Non si tratta necessariamente di scenari malevoli, anche la semplice obsolescenza delle informazioni può generare problemi. «Gli esseri umani possono sapere che una procedura è cambiata perché se ne è discusso informalmente in azienda, mentre l’AI potrebbe continuare a fare riferimento a documenti non aggiornati. Questo può generare comportamenti non coerenti con le aspettative aziendali» dice Cerutti.

Da chatbot ad agenti, aumenta il livello di rischio

L’AI Red Teaming può essere applicato a diversi contesti. Un primo ambito riguarda le soluzioni rivolte all’esterno, come ad esempio una chatbot di customer service. In questi casi è consigliabile verificare che il sistema non sia soggetto a comportamenti non previsti. «L’idea è comprendere l’intento di chi interagisce con la chatbot e verificare se tale intento sia coerente con ciò che l’azienda desidera comunicare. Un Red Team prova deliberatamente a portare il sistema fuori dal seminato» spiega Federico Cerutti. Purtroppo, i malfunzionamenti possono essere numerosi. «Ci sono stati casi in cui chatbot progettate per un determinato servizio sono state indotte a svolgere attività completamente diverse. Ricordo un caso in cui una chatbot aziendale arrivava a fornire risposte a problemi di programmazione Python, pur non essendo stata progettata per quello scopo» dice Cerutti. Ancora più delicata è la situazione quando l’AI è integrata nei processi aziendali interni. Nel momento in cui utilizziamo sistemi agentici stiamo delegando a un’entità terza una parte delle attività operative dell’azienda: diventa fondamentale verificare che le azioni eseguite siano coerenti con le policy, i processi e gli obiettivi organizzativi.

Perché il Red Teaming per l’AI è diverso dal penetration testing?

A prima vista, l’AI Red Teaming potrebbe apparire come una naturale evoluzione delle tradizionali attività di vulnerability assessment e penetration testing. In realtà presenta caratteristiche molto differenti. «Nel mondo delle applicazioni tradizionali abbiamo procedure consolidate di verifica – dice Cerutti -. Conosciamo le vulnerabilità più comuni, sappiamo come testare una SQL injection o un errore di configurazione e disponiamo di metodologie molto strutturate». Nel caso dell’intelligenza artificiale generativa, invece, la variabilità degli input cresce enormemente. «La superficie di attacco diventa molto più ampia perché non stiamo più lavorando solo con dati strutturati o input rigidamente definiti. Lavoriamo con linguaggio naturale, contesti complessi, documenti, informazioni provenienti da fonti diverse. Questo aumenta drasticamente il numero di combinazioni possibili».

Chi deve occuparsi di AI Red Teaming in azienda? E come introdurre questa tematica?

Per rispondere a tutte le domande rimandiamo all’intervista completa sul canale cybersecurity di TIG: https://channels.theinnovationgroup.it/cybersecurity/ai-red-teaming/.

Elena Vaciago
Research manager, TIG – The Innovation Group