Governare l’intelligenza artificiale, le priorità per i CISO
Il Caffè Digitale
L’adozione dell’intelligenza artificiale all’interno dei processi aziendali sta vivendo un’accelerazione senza precedenti, segnando il passaggio dalle tradizionali chatbot a sistemi agentici autonomi in grado di operare direttamente su dati e decisioni strategiche. Tuttavia, considerando la crescente complessità tecnologica e l’evoluzione del quadro normativo, la gestione dell’AI non può più essere considerata un tema ad esclusivo appannaggio del dipartimento IT. Richiederà sempre più una governance integrata tra sicurezza informatica, gestione del rischio finanziario/ assicurativo, compliance legale. E’ quanto è emerso nel corso del “CISO Panel Milano” dello scorso 15 settembre, dal confronto tra esperti del settore, il professore Federico Cerutti (ordinario di Robust and Trustworthy Artificial Intelligence presso l’Università di Brescia), Cesare Burei (AD di Margas – Gruppo Verspieren Italia) e l’avvocato Alessandro Cecchetti, Socio e Manager di Colin & Partners, che hanno analizzato nei loro interventi i rischi, le responsabilità e le best practice per i responsabili cybersecurity e i decisori aziendali.
Quando il controllo va fatto sulle decisioni dell’AI
È emersa, dai fatti di cronaca degli ultimi mesi, l’urgente necessità di testare la robustezza e l’affidabilità dei sistemi AI generativi e agentici prima che eventuali malfunzionamenti o vulnerabilità possano implicare impatti operativi e reputazionali per le organizzazioni. L’intervento del Professore Federico Cerutti ha fatto il punto sulla disciplina dell’“AI Red Teaming”, che sta diventando una priorità per i CISO, da quando l’AI sta passando da sistemi che rispondono a sistemi che agiscono, accedono alla conoscenza aziendale, utilizzano altri strumenti, prendono decisioni operative e possono intervenire in processi critici.
Incrementare l’autonomia comporta nuovi rischi, ad esempio, la manipolazione del contesto, l’uso improprio di strumenti e risorse critiche, decisioni non coerenti con le policy e responsabilità poco chiare. “Il punto è costruire controlli proporzionati al livello di delega dato ai sistemi AI, con test ricorrenti, governance chiara e pratiche operative che aiutino a usare agenti AI senza trasformarli in nuovi punti ciechi del rischio aziendale” ha affermato Federico Cerutti.
Quando l’azienda adotta sistemi agentici integrati ai repository interni, delegando loro attività operative, gli agenti AI accedono direttamente a documenti e procedure aziendali: se un documento contiene informazioni obsolete o manipolate, l’AI non è in grado di distinguerne l’inaccuratezza e agisce di conseguenza. Serve quindi un nuovo paradigma per il security testing: se, nel caso tradizionale, il Red Team cercava vulnerabilità, punti di ingresso e modalità per compromettere un sistema, oggi con gli agenti AI il problema diventa più articolato. Non basta più verificare se un input può essere manipolato, occorre capire come il sistema reagisce alle informazioni che riceve, all’ambiente nel quale opera e agli strumenti che ha a disposizione. “Gli agenti AI possono essere inseriti in ambienti complessi, caratterizzati da identità, strumenti, memoria delle interazioni precedenti, informazioni e capacità di coordinamento con altri agenti – ha detto Federico Cerutti -. In questi contesti, una manipolazione dell’ambiente può modificare il comportamento dell’agente e, potenzialmente, condurlo verso una decisione non prevista”.
Da qui deriva un cambio di prospettiva per il Red Teaming: l’obiettivo non è soltanto cercare vulnerabilità tecniche, ma verificare se, in determinate condizioni, il sistema possa violare alcuni vincoli operativi considerati fondamentali dall’organizzazione. Come ha sintetizzato Cerutti, “Fare Red Team significa oggi modificare l’ambiente con l’obiettivo di modificare le decisioni di un agente, per vedere se si può aggirare un vincolo operativo”. Il concetto di vincolo diventa quindi centrale. In concreto, un’organizzazione dovrebbe innanzitutto identificare quali condizioni non devono essere violate – per esempio l’integrità di un processo o la continuità operativa – e successivamente costruire test capaci di verificare la robustezza dell’agente rispetto a quei vincoli.
La polizza cyber come elemento del risk management
Se l’AI introduce nuove modalità di rischio, la domanda successiva è: come trasferire questo rischio. L’intervento di Cesare Burei, AD di Margas – Gruppo Verspieren Italia, è partito da una provocazione molto diretta: siamo davvero sicuri che la polizza cyber ci serva? La risposta è: “Dipende”. La polizza può essere uno strumento importante, ma soltanto se inserita all’interno di un processo più ampio. “La polizza è solo l’ultimo anello di un processo completo di gestione del rischio”, ha sottolineato Burei.
Prima di acquistare una copertura, quindi, l’azienda deve essere in grado di rispondere a domande come: ho le persone per gestire un incidente? esistono processi interni definiti? sono in grado di raccogliere tempestivamente le evidenze richieste dall’assicuratore? ho testato la capacità di reazione? Il punto è particolarmente importante perché esiste ancora una percezione errata, secondo Burei, secondo cui l’assicurazione comporta risarcimenti integrali del danno da attacchi informatici: in realtà, non è così. Ad esempio, la polizza non ripaga della perdita dei dati: la copertura può riguardare i costi necessari al recupero o alla ricostruzione, ma non il valore intrinseco del dato perduto. La stessa attenzione deve essere dedicata alla dipendenza dai servizi cloud e alle condizioni contrattuali che li regolano: è bene che l’azienda sappia in quale quadro giuridico si colloca il servizio e quali eventi sono esclusi dalla copertura.
È un tema che acquista ulteriore rilevanza in uno scenario nel quale infrastrutture, dati e servizi digitali sono sempre più distribuiti e nei quali la localizzazione fisica dei server non coincide necessariamente con la giurisdizione applicabile. “Il cloud è fatto di computer di altri” ha ricordato Burei, invitando le organizzazioni a considerare con maggiore attenzione la propria dipendenza da infrastrutture esterne. Anche qui, dunque, emerge un principio comune al test della sicurezza: il rischio deve essere conosciuto prima di poter essere gestito. La simulazione degli incidenti diventa nel nuovo contesto un elemento essenziale. Non basta più avere una procedura scritta, bisogna verificare come le persone reagiscono davvero quando si verifica un incidente.
AI, incidenti e responsabilità: il problema non è soltanto tecnico
Il successivo intervento dell’avvocato Alessandro Cecchetti, Socio e Manager di Colin & Partners, ha portato il ragionamento sul terreno della responsabilità legale. Se i sistemi AI entrano nei processi aziendali e possono produrre effetti concreti, chi è responsabile quando una tecnologia autorizzata produce un comportamento non previsto? Nel modello tradizionale della cybersecurity, il rischio era associato all’azione di un soggetto o di un sistema non autorizzato: con l’AI, invece, può essere proprio una tecnologia autorizzata e integrata nei processi aziendali a produrre un incidente con gravi conseguenze.
Vanno valutate le conseguenze di eventuali malfunzionamenti non soltanto dal punto di vista tecnico, ma anche rispetto agli obblighi normativi e alle procedure di gestione degli incidenti. Per fare ordine in materia, secondo Alessandro Cecchetti le organizzazioni dovrebbero iniziare a definire quali sono gli eventi AI che costituiscono incidenti, come devono essere classificati e quali obblighi fanno scattare.
Il problema è particolarmente delicato quando l’AI opera in processi critici. Cecchetti ha richiamato, a titolo esemplificativo, il caso di un sistema AI utilizzato in un contesto industriale per monitorare la sicurezza delle macchine: un errore del modello potrebbe tradursi non semplicemente in un malfunzionamento digitale, ma in un rischio per la safety delle persone. A quel punto entrano in gioco molteplici livelli di responsabilità: la qualità dei dataset, le modalità di addestramento, i test, la valutazione degli output, le decisioni dell’organizzazione e, naturalmente, la governance.
Dalla compliance alla governance integrata
In sintesi, dal confronto è emersa la necessità di superare una gestione frammentata del rischio e di considerare come trattare integralmente impatti di GDPR, NIS2, AI Act, CRA, responsabilità degli amministratori, contratti con i fornitori, cybersecurity e gestione del rischio. “Non si può pensare che l’IT gestisca il tema AI, la compliance quello dei contratti, il DPO quanto riguarda il GDPR e così via: le diverse normative sono interconnesse e richiedono una valutazione complessiva, dal punto di vista tecnologico, legale, della responsabilità aziendale” ha osservato Cecchetti.
Il rischio AI, ad esempio, non può più essere considerato una semplice estensione del tradizionale rischio cyber. L’AI modifica, infatti, contemporaneamente la superficie di attacco, il comportamento dei sistemi, la gestione degli incidenti, il trasferimento del rischio e il perimetro della responsabilità. Servono nuove competenze trasversali e un abbattimento dei silos, una comunicazione sinergica: se il Red Teaming deve imparare a mettere alla prova non soltanto il software, ma anche le decisioni che gli agenti possono prendere in determinati ambienti, dall’altra parte, il risk management deve poter verificare concretamente la capacità dell’organizzazione di reagire a un incidente prima ancora di chiedersi quale assicurazione acquistare. Infine, la funzione legale deve confrontarsi con sistemi tecnologici capaci di produrre effetti che possono coinvolgere dati personali, sicurezza, continuità operativa, responsabilità contrattuali e responsabilità dell’impresa. In questo scenario, la vera sfida per il CISO e per il management non è semplicemente “mettere in sicurezza l’AI”. È costruire un modello nel quale tecnologia, rischio e copertura assicurativa, governance, persone, contratti e responsabilità sono considerati come parti di un unico sistema. Perché più aumenta l’autonomia dell’AI, più diventa importante sapere che cosa l’organizzazione consente a un agente di fare, cosa non dovrà mai fare e come verificare concretamente che questi vincoli siano rispettati.
Elena Vaciago
Research manager, TIG – The Innovation Group
