L’impiego crescente di sistemi di Intelligenza Artificiale – soprattutto quelli classificati come ad alto rischio – sta trasformando settori cruciali: credito, lavoro, sanità, istruzione, servizi pubblici, giustizia.
Questa trasformazione porta con sé opportunità ma anche rischi concreti: decisioni errate, discriminazioni, errori di classificazione, valutazioni arbitrarie, fino alle cosiddette allucinazioni dei modelli generativi.

Benché l’Intelligenza Artificiale prometta rivoluzioni in tutti gli ambiti della nostra vita, il rischio di deumanizzazione dei processi decisionali è reale.

Secondo l’OECD AI Incidents Monitor, oltre il 40% degli incidenti documentati riguarda errori di classificazione o bias nei dataset. Uno studio del MIT (2023) ha rilevato che alcuni modelli generativi producono risposte “allucinate” nel 15–20% dei casi in contesti complessi.

In questo scenario, chi subisce una decisione algoritmica ingiusta (un prestito negato, un punteggio reputazionale errato, un accesso a un servizio pubblico bloccato), grazie alla normativa regolatoria europea e nazionale potrà finalmente esercitare il diritto capire “cosa e perché è accaduto” e trovare spazi di tutela, anche nel caso di danni che la decisione algoritmica può provocare.

L’analisi delle principali fonti normative a disposizione sulla disciplina dei sistemi di Intelligenza Artificiale, mi ha fatto pensare (senza pretesa di esaustività) a un modello operativo di tutela che sarà senz’altro, in un futuro non troppo lontano, arricchito dall’evoluzione della normativa e della giurisprudenza.

Le fonti riferimento da cui attingo per questo modello sono:

• AI Act (Reg. UE 2024/1689): disciplina i sistemi di IA, con obblighi specifici per quelli ad alto rischio;
• Convenzione quadro del Consiglio d’Europa sull’IA (2024): introduce principi di trasparenza, accountability e tutela dei diritti fondamentali.
• Legge italiana sull’IA (L. 132/2025): integra l’AI Act e definisce criteri di utilizzo responsabile nei settori pubblici e privati.

Difendersi dall’Intelligenza Artificiale: le principali causa di errore dei sistemi AI

Le principali cause di errore nei sistemi di IA includono:

• errori e distorsioni (bias) nei dataset: se i dati di addestramento sono distorti, anche l’output lo sarà;
• allucinazioni: i modelli generativi possono produrre risposte inventate ma plausibili;
• uso improprio del sistema: impiego in contesti diversi da quelli previsti dal fornitore;
• input carenti, incompleti o errati: dati sbagliati inseriti dall’operatore umano;
• mancanza di supervisione: affidamento cieco all’algoritmo senza controllo umano;
• modelli opachi: difficoltà nel comprendere come il sistema raggiunge un certo risultato.

Il rischio non è solo tecnico ma anche e, forse, soprattutto giuridico: una decisione algoritmica errata può violare diritti fondamentali, dando luogo a discriminazioni e causare danni (anche irreversibili) a persone e imprese.

Tutela legale dall’Intelligenza Artificiale: il modello operativo contro le decisioni ingiuste

1. Identificare il sistema di IA utilizzato

Riferimenti normativi:

• AI Act, artt. 6–7-71, Allegato III
• Legge italiana IA, artt. 3–5

Chi subisce una decisione deve poter sapere quale sistema è stato utilizzato, da chi è stato fornito, e se rientra nella categoria dei sistemi ad alto rischio.
Questa informazione è essenziale perché attiva obblighi specifici di trasparenza, documentazione e supervisione.

Il primo passo è perciò squisitamente ispettivo.
Un algoritmo non è un’entità astratta ma un prodotto giuridico. La legge europea sull’Intelligenza Artificiale (AI Act) richiede che tutti i sistemi di Intelligenza Artificiale classificati “ad alto rischio” devono essere censiti in un’apposita banca dati pubblica. Dunque, la prima cosa da fare è verificare se il software è censito (la versione censita), in modo da poterne controllare la conformità nativa.

Se il sistema non è censito o mappato correttamente, ogni attività “ad alto rischio” compiuta è pressoché illegale.

2. Verificare qualità e affidabilità dei dataset

Riferimenti normativi:

• AI Act, art. 10
• Convenzione quadro, art. 12

I sistemi di Intelligenza Artificiale devono essere addestrati su dataset che devono garantire, per l’intero ciclo di vita, pertinenza, rappresentatività e, per quanto possibile, essere privi di errori e distorsioni.
Fondamentale è verificare la natura, qualità e affidabilità dei dati usati per addestrare la macchina.

Se l’algoritmo applica parametri estranei al contesto o al settore specifico nel quale l’Intelligenza Artificiale è calata, impiegata, consultata, il risultato finale sarà viziato, e potenzialmente dannoso, fin dall’origine.

3. Valutare la coerenza tra sistema e contesto d’uso

Riferimenti normativi:

• AI Act, art. 9
• Legge italiana IA, art. 7

Un sistema progettato per un contesto può diventare pericoloso se usato in un altro.
Esempio: un algoritmo di scoring sviluppato per il credito al consumo usato per valutare l’affidabilità di un lavoratore.

Anche un software eccellente utilizzato nel contesto sbagliato produce danni certi. Decisivo sarà valutare se esiste coerenza tra l’Intelligenza Artificiale prescelta ed il contesto o ambito della valutazione, analisi, diagnosi, prognosi richiesti.

4. Verificare l’uso conforme alle istruzioni del fornitore

Riferimenti normativi:

• AI Act, art. 29 (Obblighi per gli utilizzatori)
• Convenzione quadro, art. 14

L’utilizzatore (banca, datore di lavoro, PA) deve:

• seguire le istruzioni d’uso;
• monitorare il funzionamento;
• evitare modifiche non autorizzate;
• segnalare incidenti.

Se l’ente ha usato il sistema di Intelligenza Artificiale “ad alto rischio” in modo improprio, la decisione può essere contestata. L’errore più comune è immaginare che la colpa possa essere riferita al solo software.
L’AI Act introduce una distinzione fondamentale: la software house è il fornitore, ma rilevanti responsabilità ricadono sull’utilizzatore (deployer).

Ai sensi dell’articolo 26 dell’AI Act, il deployer ha l’obbligo tassativo di utilizzare il sistema rispettando le “istruzioni d’uso” del fornitore, di monitorare sia il corretto funzionamento dello strumento, che di evitare il fenomeno del Model Drift (la deriva dell’algoritmo quando muta il contesto).

Se l’utilizzatore si limita a un’accettazione passiva del dato senza monitoraggio, vigilanza e correzione, è responsabile di uso distorto o non conforme del sistema di Intelligenza Artificiale.

5. Analizzare gli input e la loro correttezza

Riferimenti normativi:

• AI Act, art. 29
• Convenzione quadro, art. 11

Gli input potrebbero essere la più elevata causa di errori.
Il destinatario finale di un output derivato da sistemi di Intelligenza Artificiale ha diritto di sapere:

• quali dati sono stati inseriti;
• se erano corretti;
• se erano aggiornati;
• se sono stati manipolati o riprogrammati.

Un input errato può invalidare l’intera decisione. Non basta sapere quali dati sono stati inseriti, occorrerà pretendere la prova della loro integrità e pertinenza.
Da dove provengono i dati che hanno alimentato la decisione? Se un algoritmo di credit scoring attinge a database non aggiornati o a metadati comportamentali (social media, abitudini di acquisto) non pertinenti, l’intero processo è viziato alla radice.

Sarà essenziale valutare se gli input siano essere esenti da errori materiali. Un errore di digitazione o un dato mancante in un database può generare un effetto domino che l’algoritmo non è in grado di correggere, magari solo di amplificare.

6. Verificare l’output e la sua spiegabilità

Riferimenti normativi:

• AI Act, artt. 13–14
• Convenzione quadro, artt. 8–9
• Legge italiana IA, art. 10

L’output deve essere:

• coerente con gli input;
• spiegabile;
• verificabile da un umano;
• contestabile.

La mancanza di spiegabilità è un indice di non conformità.
L’output deve essere spiegabile in linguaggio naturale. Ogni decisione algoritmica che incide su diritti deve prevedere la possibilità di un intervento umano significativo che possa ribaltare il verdetto della macchina.

La spiegazione dell’output deve permettere di capire quale specifico parametro ha condotto il sistema di Intelligenza Artificiale, cioè deve spiegare “come” il sistema sia raggiunto a “quella” valutazione, analisi, soluzione, verdetto.
Se la spiegazione fornita non consente di arrivare a questa granularità, allora non rispetta i requisiti di legge.

Conclusioni. Un approccio giuridico per difendersi dalle decisioni ingiuste dell’Intelligenza Artificiale

Come ho detto all’inizio l’Intelligenza Artificiale non è infallibile: è uno strumento potente che deve essere governato e da cui, in contesti dannosi e discriminatori, ci saranno momenti in cui occorrerà difendersi. Conoscere gli spazi di tutela da questa tecnologia sarà essenziale per impedire all’algoritmo di decidere ingiustamente il futuro di persone e imprese.

Da qui in avanti la sfida forense, scientifica e civica si giocherà sulla capacità di presidiare gli spazi di tutela che le nuove tecnologie e le normative hanno inaugurato.
Inoltre ci si potrà più permettere il lusso dell’ignoranza tecnologica: comprendere i meccanismi regolatori – dall’AI Act alle tutele costituzionali – diventa l’unico rimedio per evitare che cittadini e imprese siano danneggiati da decisioni algoritmiche opache o ingiuste.

Continuiamo a leggere e sentir dire dai più che la tecnologia corre, ma l’uomo ha la priorità. Per farlo è però necessario sradicare l’errore più insidioso di questa transizione epocale: l’appiattimento acritico sugli esiti delle valutazioni dei sistemi di Intelligenza Artificiale.
Un output algoritmico non è una verità dogmatica o un verdetto divino: è il prodotto di un calcolo probabilistico di una macchina alimentata da dati.

Riconoscere l’errore della macchina e contestarlo, pretendere la tracciabilità degli input e la supervisione umana non sono ostacoli all’innovazione, ma le precondizioni essenziali affinché la tecnologia rimanga uno strumento di emancipazione e mai di sottomissione.