Intelligenza artificiale e diagnosi, uno studio valuta quando serve l'intervento del medico

Un agente di intelligenza artificiale che opera interamente sui server dell'ospedale, senza inviare dati a servizi cloud, raggiunge un'accuratezza diagnostica del 90,04% su un benchmark di sette patologie e, misurando quanto sono stabili le sue risposte quando il caso viene ripetuto, riesce a individuare i casi in cui è affidabile: con una soglia di coerenza di 0,90 ne gestisce in autonomia il 49,4% con un'accuratezza del 98,9%, lasciando il resto alla revisione del clinico. Lo dimostrano i risultati di uno studio pubblicato su Nature Medicine dall’Technische Universität di Dresda.

Il sistema simula un incontro clinico tra un medico e un paziente: il primo raccoglie l'anamnesi con un dialogo a più turni, richiede esame obiettivo, esami di laboratorio e di imaging, può prescrivere farmaci e procedure e infine formula una diagnosi con la relativa motivazione. È stato testato su due benchmark derivati dal database MIMIC-IV, MIRA-v2, con 551 casi e sette condizioni (appendicite, colecistite, diverticolite, pancreatite, polmonite, embolia polmonare e infezione delle vie urinarie), e CDM, con 2.400 casi e quattro categorie addominali, oltre che su VivaBench, 990 casi tratti da pubblicazioni su dieci specialità.

Sul benchmark principale il miglior modello open-weight in locale, Qwen-3.5, ha raggiunto il 90,0% di accuratezza, seguito da GLM-5 (89,7%), GLM-4.5-Air (88,4%) e GPT-OSS (85,3%), contro il 90,7% del riferimento cloud GPT-5.2, cioè a 0,7 punti percentuali. Su CDM Qwen-3.5 ha ottenuto l'83,8%, mentre il miglior risultato open-weight riportato in precedenza era del 70,5%. Una revisione in cieco su 181 casi da parte di medici ha giudicato clinicamente valide sia la diagnosi dell'agente sia l'etichetta di riferimento nell'81,8% dei casi, e nel 4,4% la diagnosi dell'agente era valida pur discordando dalla cartella.

Per misurare l'affidabilità sono stati confrontati tre tipi di segnale: la probabilità interna del modello, le espressioni di incertezza nel linguaggio e la stabilità del comportamento in cinque esecuzioni indipendenti dello stesso caso. La coerenza diagnostica tra le esecuzioni è risultata il miglior discriminante tra diagnosi corrette ed errate (AUC 0,860, contro 0,747 della probabilità interna), e ha resistito a una prova di stress in cui all'agente paziente veniva negata la storia iniziale, condizione in cui l'accuratezza è scesa dal 90,6% al 70,2% ma l'AUC della coerenza è rimasta a 0,875. Con la soglia a 0,90, 272 casi su 551 sono stati trattati in autonomia con tre errori residui, mentre i 49 errori rimanenti si sono concentrati nel gruppo destinato alla revisione. Su VivaBench la coerenza ha mantenuto il ruolo di miglior segnale ma con prestazioni inferiori (AUC 0,719), e l'accuratezza massima osservata è stata dell'89,9% con una copertura del 32%.

Entrambi i benchmark principali provengono da un solo centro e i casi riguardano condizioni internistiche e addominali acute, senza patologie neurologiche; quindi, non si può estrapolare alla pratica neurologica; la valutazione è limitata al testo, senza interpretazione nativa delle immagini; alcuni errori restano ad alta coerenza, perché l'agente può convergere in modo stabile su una diagnosi plausibile ma sbagliata. Inoltre, il metodo richiede più esecuzioni per ogni caso e le soglie vanno calibrate sul sistema in uso.

Per il clinico il messaggio è soprattutto di metodo: prima di affidare compiti decisionali a un agente, accanto all'accuratezza media servono segnali che indichino quando fidarsi e quando passare la mano, e una distribuzione locale può conciliare la protezione dei dati con prestazioni vicine a quelle dei modelli cloud. Una validazione su dati indipendenti e in flussi di lavoro prospettici resta il passaggio necessario prima di qualunque uso clinico.