LET’S TALK & CONNECT

C’è una domanda che si sente sempre più spesso, di solito pronunciata da un amministratore delegato reduce da una demo entusiasmante: «Possiamo far fare tutto questo alla nostra intelligenza artificiale?». La risposta onesta è: dipende da cosa significhi “tutto”. Ed è proprio in questo “dipende” che si gioca la differenza tra un progetto di GenAI che genera valore duraturo e uno che, dopo un anno di entusiasmo, produce un bilancio che non quadra o un rapporto di audit imbarazzante.

Il tema non è ideologico. Si tratta di capire quale compito stiamo affidando a quale tipo di macchina, perché non tutte le macchine sono progettate per fare la stessa cosa. Confondere questa distinzione non è un dettaglio da lasciare all’IT: è una decisione strategica che riguarda la solidità dei processi aziendali critici — contabilità, fatturazione, gestione degli ordini, decisioni regolate su credito e rischio.

Un foglio Excel, quando gli si chiede di sommare una colonna, esegue sempre la stessa operazione: stesso input, stesso output, ogni volta. Un modello linguistico, invece, non calcola in questo senso: stima. Genera la risposta più probabile parola dopo parola e può produrre risposte diverse a parità di domanda. Non è un difetto che verrà risolto con la prossima versione. Studi recenti individuano almeno quattro livelli nei quali si introduce la variabilità: la regola di campionamento, il modo in cui il sistema risolve i pareggi tra parole con probabilità identica, le operazioni sulle GPU che possono restituire risultati diversi a seconda dell’ordine dei calcoli e il raggruppamento delle richieste in produzione.

In molti compiti questa variabilità è un valore: generare idee, scrivere varianti di un testo, sintetizzare un documento in modi diversi per pubblici differenti. In questi casi la varietà è desiderabile. Ma quando si parla di un saldo di conto, di una fattura, di un movimento contabile o del calcolo degli interessi non esiste “una risposta plausibile”: ne esiste una sola, corretta al centesimo. Ogni deviazione si traduce in errori a valle, riconciliazioni che non tornano e contenziosi. La regola operativa è semplice: la certezza riproducibile richiede un calcolo deterministico; stima, approssimazione e creazione sono invece il terreno della GenAI. Confondere queste due categorie significa ritrovarsi con numeri che non stanno più insieme.

I sistemi OLTP (Online Transaction Processing), che gestiscono contabilità, fatturazione e ordini in tempo reale, sono costruiti su proprietà tecniche note come ACID, che garantiscono uno stato del database deterministico e privo di ambiguità. Un LLM, sistema probabilistico per costruzione, non è progettato per offrire questa garanzia. Per questo le architetture più mature non gli affidano mai l’esecuzione diretta della transazione: lo utilizzano come traduttore tra linguaggio naturale e funzioni predefinite di un sistema deterministico, con validazioni a valle e conferma umana per le operazioni più critiche.

Lo stesso vale per le prestazioni. Un sistema OLTP deve gestire migliaia di transazioni al secondo, in pochi millisecondi e con un costo unitario minimo. Un LLM di frontiera richiede invece centinaia di millisecondi o diversi secondi per ogni risposta, con costi per interazione di ordini di grandezza superiori rispetto a un’operazione su database. Questo non significa che la GenAI sia incompatibile con i processi finanziari: significa che il suo ruolo corretto è quello di interfaccia e di orchestrazione sopra un sistema transazionale tradizionale, non quello di sostituirlo.

Esiste poi un altro tema, meno discusso ma altrettanto critico per chi opera in settori regolati — banche, assicurazioni e sanità —: la ricostruibilità delle decisioni. Nei processi soggetti ad audit non basta prendere la decisione corretta: bisogna poter ricostruire ex post il percorso logico che l’ha prodotta.

Qui emerge un problema poco noto al di fuori degli ambienti specialistici. Quando un modello linguistico spiega “come” è arrivato a una risposta, produce una traccia di ragionamento (chain of thought) che spesso non corrisponde al reale processo interno che ha generato quell’esito. Alcune ricerche hanno individuato centinaia di casi in cui la spiegazione fornita diverge dal meccanismo decisionale sottostante, un fenomeno che tende ad accentuarsi nei modelli più sofisticati e nei domini più complessi, cioè proprio dove la posta in gioco è più alta. Altri studi mostrano inoltre che il ragionamento espresso può essere influenzato da segnali che il modello non rivela nella propria spiegazione.

Per i manager, questo non è un dettaglio accademico. Se un algoritmo basato su LLM nega un credito o segnala una transazione sospetta, la spiegazione può essere linguisticamente impeccabile e, allo stesso tempo, non rappresentare fedelmente il reale meccanismo decisionale. In sede di audit questo diventa un problema di accountability legale, non un’imperfezione da tollerare nell’attesa di modelli migliori.

Ne discende un principio di governance chiaro: nei workflow regolati il motore decisionale deve rimanere deterministico e ricostruibile. La GenAI può svolgere un ruolo importante, ma ben definito: interfaccia con l’utente oppure orchestratore di strumenti esterni secondo regole predefinite. Non può essere il motore che prende la decisione finale.

Il control plane — il livello di governance che definisce regole e permessi di un sistema di AI — può e deve stabilire ciò che un agente è autorizzato a fare: quali dati può leggere, quali sistemi può interrogare e quali azioni può eseguire autonomamente. Non può invece, con gli strumenti oggi disponibili, vincolare o verificare in modo affidabile il modo in cui il modello ragiona internamente. Alcuni ricercatori osservano che le tracce di ragionamento rimangono comunque utili per il debugging, ma essere “informative” ed essere “probanti in sede di audit” sono due standard profondamente diversi.

I tre temi — correttezza e prestazioni nei sistemi transazionali, determinismo nei calcoli e ricostruibilità delle decisioni nei contesti regolati — non sono questioni separate, ma manifestazioni dello stesso principio architetturale: la GenAI va collocata come livello di comprensione del linguaggio e di orchestrazione sopra sistemi deterministici, mai come loro sostituto. Per le aziende questo non rappresenta un limite alla trasformazione digitale basata sull’AI; al contrario, è la condizione che rende i progetti di trasformazione sostenibili e difendibili nel tempo, davanti a un auditor, a un regolatore e, prima ancora, davanti ai propri numeri.

Ezio Viola
Consigliere, TIG – The Innovation Group