L’errore dell’algoritmo, di chi è la colpa quando l’IA sbaglia?

In medicina l’errore non è mai un fatto astratto. Ha un volto, un nome, una storia clinica. È qualcosa che accade a qualcuno e qualcun’altro si deve assumere la responsabilità. Per questo, quando oggi l’intelligenza artificiale (IA) entra sempre più spesso nei processi decisionali medici, la domanda sull’errore diventa inevitabile e scomoda: se un algoritmo sbaglia, di chi è la colpa?

Per lungo tempo l’errore medico è stato pensato come un fallimento individuale. Un giudizio sbagliato, una distrazione, una mancanza di competenza. Negli ultimi decenni, la cultura della sicurezza ha spostato lo sguardo verso i sistemi, mostrando come molti errori nascano da contesti organizzativi complessi. L’ingresso dell’IA aggiunge un ulteriore livello. L’errore non è più solo umano, ma nemmeno semplicemente tecnico. È il risultato di un’interazione tra dati, modelli, contesti e decisioni. L’intelligenza artificiale in sanità viene spesso presentata come uno strumento per ridurre l’errore. E in parte lo è. Numerosi studi mostrano che i sistemi di supporto decisionale possono diminuire la variabilità, segnalare anomalie, evitare dimenticanze. Ma ridurre alcuni errori significa anche crearne di nuovi. Errori diversi, meno visibili, spesso più difficili da riconoscere. Quando un algoritmo suggerisce una diagnosi errata, una priorità sbagliata o una stima di rischio fuorviante, l’errore non nasce in quel momento. È il punto finale di una catena che inizia molto prima, nella selezione dei dati di addestramento, nelle scelte progettuali, nelle metriche di ottimizzazione. Un algoritmo non sbaglia “per distrazione”. Sbaglia in modo coerente con ciò che gli è stato insegnato a fare. Questo rende l’errore algoritmico particolarmente insidioso. Può essere sistematico senza apparire tale. Può colpire sempre gli stessi gruppi, le stesse condizioni, gli stessi contesti. Studi pubblicati su riviste specializzate hanno mostrato come alcuni sistemi di IA possano avere performance inferiori su popolazioni sottorappresentate, senza che questo sia immediatamente evidente agli utilizzatori. L’errore non è rumoroso. È silenzioso, ripetibile, strutturale.

Dal punto di vista clinico, però, ciò che conta è quello che accade al momento della decisione. Se un medico utilizza un sistema di IA e segue un suggerimento errato, chi è responsabile? La tentazione è quella di spostare la colpa sulla tecnologia. L’algoritmo ha sbagliato. Il sistema era difettoso. Ma questa risposta rischia di svuotare il senso stesso della responsabilità professionale. Attualmente nessuna normativa riconosce all’algoritmo una responsabilità autonoma. L’IA non è un soggetto morale né giuridico. Non può rispondere delle conseguenze delle sue indicazioni. La responsabilità resta umana. Ma non è una responsabilità semplice, individuale, isolata. È una responsabilità distribuita, che coinvolge sviluppatori, istituzioni, aziende sanitarie e clinici. In questo intreccio, il medico resta l’ultimo anello della catena, colui che firma, che decide, che si assume il rischio. Questo crea una tensione profonda. Da un lato, al medico viene chiesto di utilizzare strumenti avanzati per migliorare la qualità delle cure. Dall’altro, gli viene chiesto di rispondere pienamente degli errori, anche quando questi derivano da sistemi complessi e opachi. È una posizione fragile, che può alimentare nuove forme di medicina difensiva. Se l’algoritmo suggerisce una scelta, discostarsene può apparire rischioso. Seguirlo, però, non mette al riparo dalla responsabilità.

Esiste poi un problema cognitivo che complica ulteriormente il quadro. L’automation bias spinge a fidarsi delle indicazioni automatiche, soprattutto quando sono presentate come basate su grandi quantità di dati. Studi pubblicati su BMJ Quality & Safety mostrano che i clinici possono ridurre il proprio controllo critico in presenza di sistemi percepiti come altamente affidabili. In questo senso, l’errore non è solo dell’algoritmo, ma dell’interazione tra algoritmo e decisione umana. La questione dell’errore chiama in causa anche la trasparenza. Molti sistemi di IA funzionano come scatole nere. Forniscono un output senza rendere comprensibile il percorso che ha portato a quel risultato. Quando qualcosa va storto, ricostruire la catena causale diventa difficile. Privo di spiegazioni, l’errore resta senza storia. E un errore senza storia è difficile da prevenire in futuro.

Le principali istituzioni internazionali insistono sulla necessità di affrontare questo nodo. L’uso dell’intelligenza artificiale in sanità deve essere accompagnato da sistemi di governance che rendano chiaro chi fa cosa, chi decide cosa e chi risponde di cosa. L’errore non può essere attribuito a una “macchina” indistinta. Deve essere analizzato come evento sistemico, per migliorare il sistema e non solo per individuare un colpevole. Per il medico in formazione, questa prospettiva è particolarmente impegnativa. Significa imparare a convivere con strumenti potenti senza delegare ad essi il peso della decisione; mantenere una postura critica, anche quando la tecnologia sembra offrire una risposta semplice; accettare che l’errore non scomparirà, ma cambierà forma.

C’è anche una dimensione etica più profonda. L’errore, nella relazione di cura, è legato alla fiducia. Il paziente accetta il rischio perché riconosce al medico competenza e responsabilità. Se l’errore viene percepito come il risultato di una decisione automatizzata, questa fiducia può incrinarsi. Non perché la tecnologia sia inaffidabile in sé, ma perché non è chiaro chi se ne faccia carico. Parlare di errore algoritmico significa allora ripensare il concetto stesso di responsabilità medica. Non per ridurla, ma per renderla più consapevole. Il medico non è responsabile di ogni singola linea di codice, ma è responsabile dell’uso che fa dello strumento. È responsabile di interrogare il risultato, di valutarne la coerenza con il quadro clinico, di riconoscere quando qualcosa non torna.

Alla fine, la domanda “di chi è la colpa” rischia di essere mal posta. Più che cercare un colpevole, la medicina deve imparare a costruire sistemi che rendano l’errore visibile, discutibile, correggibile. L’IA può ridurre alcuni errori, ma non eliminerà la necessità di assumersi responsabilità. Può supportare il giudizio, ma non sostituire il peso morale della decisione. Forse è proprio questo il punto in cui l’umanità della medicina resiste all’automazione. Nell’accettare che decidere significa esporsi al rischio di sbagliare, e che nessuna tecnologia può assorbire completamente questo rischio al posto dell’uomo. L’errore dell’algoritmo, in fondo, ci ricorda che la medicina non è mai solo una questione di correttezza tecnica. È una pratica umana, imperfetta, responsabile. E proprio per questo, ancora necessaria.