Salta al contenuto
Scarica

Il controllo umano non è una spunta in fondo alla schermata

5 min di lettura

In breve

  • Un controllo su un risultato che non mostra da dove viene è una fiducia con un clic in mezzo.
  • Se il programma sostituisce e poi chiede conferma, la distrazione produce un testo sicuro; se propone e aspetta, produce un documento con i nomi dentro.
  • Una macchina sbaglia dove una persona si fida: la ventottesima occorrenza, scritta in un altro modo, in una nota.

Ogni discorso sull’uso responsabile dell’intelligenza artificiale finisce sulla stessa frase: la decisione resta a una persona. È vera, ed è anche la frase più facile da rendere finta, perché una persona che preme «conferma» su una schermata è formalmente una persona che decide.

Le tre condizioni che rendono un controllo reale

La prima è che ci sia qualcosa da vedere. Un controllo su un risultato che non mostra da dove viene non è un controllo: è una fiducia con un clic in mezzo. Uno strumento che dice «ho trovato 47 dati personali» e ne sostituisce 47 non permette nessuna verifica; uno che mostra il valore, il tipo e il punto del documento in cui sta, sì.

La seconda è che il verso predefinito sia quello prudente. Se il programma sostituisce e poi chiede conferma, la distrazione produce un testo sicuro e un po’ illeggibile; se propone e aspetta, la distrazione produce un documento con i nomi dentro. Le due interfacce si assomigliano e falliscono in modo opposto.

La terza è che verificare costi meno che rifare a mano. Se il controllo richiede di rileggere tutto, non verrà fatto, e la spunta diventerà quella cosa che si preme guardando altrove.

Il tipo di errore che una macchina fa, e che una persona non si aspetta

Un rilevatore di dati personali sbaglia in un modo che non somiglia all’errore umano. Prende quarantasette occorrenze di un nome e ne lascia una, quella scritta in un modo diverso, in una nota, a pagina trentuno. Una persona che rilegge tende a fidarsi proprio dove la macchina è debole, perché la macchina è impeccabile ovunque intorno.

È il motivo per cui la revisione utile è quella che l’interfaccia guida: un elenco dei rilevamenti con il contesto, e la possibilità di aggiungere quello che manca, invece di una rilettura libera del documento finale.

Questo fenomeno ha un nome

La tendenza ad accettare quello che propone un sistema automatico, e a smettere di cercare gli indizi contrari, si chiama bias di automazione. È studiata da decenni nell’aviazione e in medicina, e si presenta in due forme che vale la pena distinguere perché si correggono in modi diversi.

La prima è l’errore per adesione: il sistema propone una cosa sbagliata e la persona la segue, perché contraddirlo costa attenzione e di solito ha ragione lui. La seconda è l’errore per omissione, ed è quella che riguarda l’anonimizzazione: la persona non nota il problema perché il sistema non l’ha segnalato, e l’assenza di un avviso viene letta come assenza di un problema.

La conseguenza è controintuitiva e va detta per intero: più uno strumento è accurato, peggiore diventa il controllo umano su di esso. La fiducia si tara sull’esperienza media, e l’esperienza media di uno strumento che sbaglia una volta su cento è che ha sempre ragione. Chi lo usa smette di guardare esattamente in proporzione a quanto raramente serve guardare, e quella volta su cento arriva comunque.

Da qui una conclusione pratica che il buon senso non produce: il controllo umano non si difende chiedendo alle persone più attenzione, perché l’attenzione è la risorsa che il sistema stesso sta consumando. Si difende cambiando quello che hanno davanti: un elenco dei rilevamenti invece di un documento finito, il valore nel suo contesto invece di un conteggio, un verso predefinito che perdona la distrazione.

Che cosa chiede la legge, quando lo chiede

La legge 132/2025si apre in una scheda nuova chiede, per le professioni intellettuali, che il lavoro intellettuale del professionista resti prevalente, e che l’intelligenza artificiale sia usata per attività strumentali e di supporto. È una formula che descrive un rapporto, non una procedura: non dice quanti minuti, dice chi comanda.

Il Tribunale di Firenze, con ordinanza del 14 marzo 2025, l’ha applicata a un caso concreto: un atto che citava sentenze inesistenti generate da ChatGPT. Il collegio ha escluso la lite temeraria per un errore isolato e in buona fede, ma ha scritto che l’uso di questi strumenti non sostituisce il controllo e la verifica delle informazioni da parte del professionista. La cosa che manca in quel caso non è una tecnologia migliore, è un passaggio in più fatto da qualcuno.

La parola che l’AI Act aggiunge: autorità

Il regolamento europeo affronta la stessa questione da un’altra parte, e per i sistemi ad alto rischio la chiama sorveglianza umana. Per uno studio professionale quegli obblighi non scattano (un assistente che riassume documenti non è un sistema ad alto rischio), ma la definizione che il regolamento usa vale come descrizione del lavoro anche fuori dal suo perimetro.

Quando l’AI Actsi apre in una scheda nuova elenca i doveri di chi usa un sistema ad alto rischio, chiede di affidare la sorveglianza a persone che abbiano la competenza, la formazione e, la parola che sorprende, l’autorità per esercitarla. È il pezzo che manca in quasi tutte le procedure scritte: chi controlla deve poter dire di no. Un praticante che rilegge un atto ma non ha modo di fermare un deposito non sta esercitando una sorveglianza, sta compilando un passaggio.

Per uno studio la traduzione è breve, e non richiede nessun documento nuovo: chi fa il controllo dev’essere qualcuno che, se trova qualcosa, può fermare la cosa. Se non può, il controllo va spostato su chi può, o va spostato prima, dove fermare costa poco.

Il controllo che si può mostrare

C’è una differenza fra dire «l’ho verificato» e poter mostrare che cosa si è verificato. La seconda richiede che lo strumento tenga traccia di quello che ha proposto e di quello che avete deciso, e che la traccia resti dove state voi.

In Omissia la revisione è la parte centrale del programma e non un passaggio finale: i valori si vedono uno per uno nel punto del documento in cui stanno, si confermano o si scartano, e si può aggiungere a mano quello che il rilevatore non ha visto. I valori con un carattere di controllo (codice fiscale, partita IVA, IBAN) non sono proposte ma verifiche, ed è una differenza che conviene conoscere. Come funziona, passo per passo, sta in Come funziona.

Da qui si continua

Se la domanda che resta è come si fa in pratica, i quattro passi e la parte che passa in rete stanno in «Come funziona».

Come si anonimizza

Domande frequenti

Che cosa rende un controllo umano reale?

Tre condizioni: che ci sia qualcosa da vedere, cioè il valore e il punto del documento in cui sta; che il verso predefinito sia quello prudente, così la distrazione produce un testo sicuro e non un documento con i nomi dentro; e che verificare costi meno che rifare a mano.

Dove sbaglia un rilevatore automatico?

In un modo che non somiglia all’errore umano. Prende quarantasette occorrenze di un nome e ne lascia una, quella scritta in un altro modo, in una nota, a pagina trentuno. Chi rilegge tende a fidarsi proprio lì, perché intorno la macchina è impeccabile.

La legge chiede una percentuale di controllo umano?

No. La legge 132/2025 chiede che il lavoro intellettuale del professionista resti prevalente e che l’intelligenza artificiale sia di supporto: descrive un rapporto, non una procedura. Non dice quanti minuti, dice chi comanda.

Perché più uno strumento è preciso, meno lo si controlla?

Ha un nome: bias di automazione. La fiducia si tara sull’esperienza media, e l’esperienza media di uno strumento accurato è che ha sempre ragione; l’attenzione cala esattamente in proporzione a quanto raramente serve. È il motivo per cui un controllo non si regge sulla buona volontà di chi lo fa, ma su un’interfaccia che gli dà qualcosa da guardare.

Fonti

Sullo stesso tema

Provalo su un atto che hai già chiuso.

Tre giorni con tutte le funzioni. L’atto resta sul tuo computer, e alla fine della prova decidi tu.

Usiamo cookie tecnici necessari al funzionamento del sito e, solo con il tuo consenso, cookie di analisi per monitorarne il corretto funzionamento e migliorare l’esperienza di navigazione. Cookie policy