Il controllo “umano” sull’intelligenza artificiale è un’illusione
La Trasformazione Digitale

Tra “agenti” e “guardiani”, sembra di essere in tutt’altro ambito, in un film poliziesco magari. E invece parliamo di intelligenza artificiale e questi sono solo nomi, metafore che rendono più comprensibili anche ai non addetti ai lavori dei temi nati come tecnologici e tecnici. Temi destinati, però, a entrare nella nostra quotidianità di professionisti e cittadini. I guardian agent una tipologia di agenti AI deputata, come il nome suggerisce, a svolgere un’attività di controllo e sorveglianza: non sulle persone, ma su altri sistemi di intelligenza artificiale.
La necessità di sorvegliare in qualche modo l’AI non è un argomento nuovo. Un concetto ricorrente nelle discussioni e teorizzazioni degli ultimi anni è quello di human in-the-loop, che implica la presenza degli esseri umani (con la loro volontà, la loro azione e il loro ragionamento) nel “circolo” di ideazione, sviluppo, distribuzione e gestione dell’AI. Un esempio, nell’ambito dell’addestramento degli algoritmi, è il supervised learning: una tecnica che prevede un ruolo attivo dei data scientist in diversi passaggi, sia nella creazione manuale dei set di dati di training sia nella valutazione delle prestazioni del modello.
L’elemento umano è chiamato in gioco anche in riferimento all’Agentic AI, di cui tantissimo si è parlato in questi ultimi mesi grazie alla notevole accelerata, da parte dei vendor, nei lanci di prodotto, piattaforme di sviluppo low-code e servizi pronti all’uso. Sviluppatori, data scientist e anche manager, cioè personale non tecnico ma autorevole in azienda, possono materialmente condizionare la definizione degli agenti AI, il loro funzionamento, i dati a cui attingono e gli strumenti a disposizione. Spetta alle persone decidere se un agente AI ha superato la fase di test e può entrare, a quel punto, nell’ingranaggio dei processi aziendali. E si può sempre schiacciare un tasto, cioè un’icona, per decidere di fermare tutto.
Umani nel loop, ma non troppo
Il fatto è che per star dietro alla velocità dell’AI, alla sua proliferazione rapida, al volume di dati e processi gestiti, serve per forza un’altra intelligenza artificiale. Per operazioni di AI su larga scala l’umano resta nel loop, da qualche parte, ma deve anche rinunciare a parte del controllo. “Se la vostra strategia per l’affidabilità dell’AI basa principalmente sullo human in the loop, è ora di ripensarla”, ha scritto Leigh McMullen, distinguished vice president analyst di Gartner.
Ed è qui che entrano in gioco i guardian agent, ovvero modelli di intelligenza artificiale che controllano altri sistemi di AI, garantendo monitoraggio continuo, osservabilità (cioè visibilità), conformità a normative, policy o linee guida di sicurezza, etica, trasparenza e quant’altro. Lo scopo è quello di rendere più sicuri e controllabili i sistemi di intelligenza artificiale, allo stesso tempo riducendo la quantità di lavoro che ricade sul personale aziendale. Per dirla con le parole dell’analista di Gartner, dobbiamo “accogliere i guardian agent per espandere la capacità di supervisione umana”. Espandere è una parola che piace agli analisti, ma a volte si dovrebbe, forse, ammettere che stiamo delegando all’AI quello che non possiamo o più controllare.
D’altra parte già assistiamo a una prima fase di adozione di tecnologie di Agentic AI, favorita dal fatto che molti vendor stanno proponendo funzionalità integrate all’interno di software esistenti, o comunque piattaforme che aiutano a configurare agenti di intelligenza artificiale con interfacce grafiche e comandi in linguaggio naturale, senza scrittura di codice. C’è poi tutto un mercato di startup che propongono applicazioni di Agentic AI specifiche per mercati verticali come la sanità, il manifatturiero, i servizi finanziari e i trasporti. Siamo solo all’inizio: secondo i calcoli di MarketsandMarkets, nel 2024 gli agenti AI hanno smosso a livello mondiale un giro d’affari di 5,25 miliardi di dollari ed entro il 2030 il mercato varrà dieci volte tanto. Citiamo anche i dati di Gartner, secondo cui entro il 2028 oltre il 70% delle applicazioni di intelligenza artificiale impiegherà sistemi multi-agente.
I guardiani dell’AI, oggi e domani
Insomma, vista la rapida proliferazione dell’intelligenza artificiale nelle sue varie forme, già oggi e soprattutto in futuro il controllo “umano” sarà necessariamente parziale. Ma l’irruzione dei guardian agent va vista anche come un potenziamento del controllo umano. “Oggi abbiamo dei guardrail di governance dell’intelligenza artificiale, che definiscono comportamenti e limiti appropriati”, ha scritto McMullen. “Presto avremo agenti guardiani che rafforzano questi limiti”.
A detta di Gartner, l’evoluzione dei guardian agent seguirà tre fasi. Inizialmente, queste tecnologie saranno usate per garantire che i sistemi di AI (generativi, agenti, machine learning di altro tipo) producano gli output attesi, con il livello di accuratezza che ci si aspetta da loro. Saranno, quindi, soprattutto uno strumento di controllo qualità. In una seconda fase, i “guardiani” saranno usati per attività di supervisione e monitoraggio, per garantire che un sistema di AI svolga il lavoro designato e anche per intervenire in caso di comportamenti inattesi (come chiamate API non autorizzate o file di log che non rispettano determinate regole) o allucinazioni. Non si limiteranno a osservare ma potranno anche agire, attivandosi come “prima linea di difesa” di fronte a un’intelligenza artificiale difettosa o fuori controllo. Nella terza fase teorizzata da Gartner, infine, gli agenti guardiani funzioneranno in modo più sofisticato, potendo rilevare segnali di anomalie e prevenire o bloccare sul nascere eventuali comportamenti avversi da parte di sistemi di AI “canaglia” (rogue AI).
Ma quali saranno le concrete applicazioni di queste tecnologie? Di tutto e di più, secondo gli analisti. Gli ambiti di utilizzo sono potenzialmente i più disparati, dal controllo dei sistemi di guida autonoma alle operazioni di cybersicurezza, passando per il supporto clienti. In base alle previsioni di Gartner, entro il 2030 i guardian agent rappresenteranno almeno il 10% (ma forse il 15%) del giro d’affari globale dell’Agentic AI.
