Ia e decisioni cliniche: quando l'algoritmo sbaglia, il medico continua a fidarsi. Lo studio

Non sono solo i pazienti a fidarsi “ciecamente” dell’intelligenza artificiale, ma anche i medici che arrivano a giudicare un farmaco efficace o non efficace indipendentemente dai risultati che vedono con i loro occhi solo perché lo dice l’IA. È quanto emerge da uno studio, pubblicato su PLOS Digital Health, che per la prima volta documenta in modo sperimentale l'impatto del bias da automazione sulla pratica clinica reale.

I ricercatori hanno condotto due esperimenti separati con campioni finali di 105 e 118 partecipanti, per un totale di 223 medici con esperienza professionale media rispettivamente di 13,1 e 10,6 anni rispettivamente. Le specialità più rappresentate erano medicina generale, pediatria e medicina interna.

In entrambi gli esperimenti, i partecipanti interagirono con un sistema di intelligenza artificiale che classificava 60 pazienti fittizi — affetti da una malattia rara inventata, la sindrome di Lyndsay — in due gruppi: più sensibili e meno sensibili a un farmaco sperimentale. Nell'Esperimento 1, il farmaco ha mostrato un'efficacia media per entrambi i tipi di pazienti, mentre nell'Esperimento 2, il trattamento è risultato completamente inefficace per entrambi i tipi di pazienti. La classificazione era deliberatamente scorretta: i pazienti dei due gruppi rispondevano al trattamento in modo identico, rendendo la distinzione dell'algoritmo priva di qualsiasi valore predittivo reale. I medici dovevano decidere se somministrare il farmaco a ciascun paziente e ricevevano immediatamente il feedback sull'esito; informazione in teoria sufficiente per accorgersi che i due gruppi si comportavano allo stesso modo e che la classificazione dell'IA era quindi errata.

In entrambi gli esperimenti, i partecipanti hanno largamente ignorato le evidenze che contraddicevano la classificazione dell'IA. Nel primo esperimento, hanno somministrato il trattamento all'89,3% dei pazienti classificati dall'algoritmo come altamente sensibili, contro il 55,7% di quelli classificati come scarsamente sensibili, nonostante i dati di esito mostrassero che i due gruppi rispondevano in modo identico. Nel secondo esperimento, hanno trattato il 78,3% dei pazienti di un gruppo e il 36,8% dell'altro, anche in questo caso ignorando che il farmaco fosse del tutto privo di efficacia.

Il dato più preoccupante riguarda proprio il secondo esperimento: i medici hanno giudicato il farmaco efficace nonostante ogni singolo paziente trattato e non trattato avesse la stessa probabilità di guarire. In altre parole, l'etichetta attribuita dall'algoritmo ha indotto una percezione di efficacia del tutto illusoria, un fenomeno che gli autori attribuiscono a una combinazione di bias e illusioni causali.

Inoltre, in generale, chi aveva in partenza un'opinione più positiva dell'IA tendeva anche a giudicarla più affidabile, mentre l'avere riserve sull'IA non si traduceva necessariamente in una valutazione di minore affidabilità, un dato che suggerisce come le preoccupazioni teoriche sull'IA non si traducano automaticamente in un approccio pratico. Gli stessi ricercatori riconoscono che il comportamento osservato potrebbe in parte riflettere non un bias irrazionale, ma una risposta adattiva razionale all'incertezza: di fronte a una malattia sconosciuta e a un farmaco mai testato, affidarsi a un sistema classificatorio apparentemente autorevole può sembrare la scelta più prudente.

Tuttavia, le implicazioni per la sicurezza del paziente sono difficili da ignorare. «Sebbene l'uso dell'IA si stia espandendo nella pratica clinica, tali sistemi dovrebbero essere usati con cautela come strumenti di supporto, non come sostituti del processo decisionale clinico», concludono gli autori. Il messaggio per il clinico è chiaro: la supervisione critica degli output dell'IA non è un optional, ma una competenza da sviluppare attivamente in un'epoca in cui gli algoritmi entrano sempre più nelle corsie e negli ambulatori.

Matteo Vian