I Large Language Models come ChatGPT, Bard e Gemini possono essere uno strumento di supporto nel ragionamento diagnostico? Uno studio pubblicato su JAMA Network Open ha indagato questo aspetto, rivelando che l’accesso a ChatGPT Plus (GPT-4) non migliora significativamente le performance diagnostiche dei medici rispetto all’uso di risorse convenzionali come UpToDate e Google. In un’analisi secondaria il modello linguistico ha però mostrato, quando utilizzato in autonomia, una capacità diagnostica superiore a quella dei medici.
L’indagine, condotta tra novembre e dicembre 2023, ha coinvolto 50 tra medici specializzandi e strutturati in medicina generale, medicina interna e medicina di emergenza. I partecipanti sono stati divisi in due gruppi: uno con accesso a ChatGPT Plus in aggiunta alle risorse tradizionali (UpToDate e Google) e un gruppo di controllo con accesso alle sole risorse convenzionali. Entrambi i gruppi hanno avuto 60 minuti per analizzare sei casi clinici e formulare una diagnosi.
I risultati hanno mostrato che il punteggio medio di ragionamento diagnostico per caso è stato del 76% nel gruppo con accesso a ChatGPT e del 74% nel gruppo di controllo, una differenza non statisticamente significativa. Anche il tempo medio impiegato per caso è risultato poi simile tra i due gruppi.
Un’analisi esplorativa secondaria ha invece valutato le capacità diagnostiche di ChatGPT Plus in autonomia, rivelando un punteggio di accuratezza del 92%. Questo dato suggerisce che il potenziale dell’intelligenza artificiale nel supporto decisionale clinico è elevato, ma la sua integrazione nella pratica clinica richiede un’ottimizzazione dell’interazione uomo-macchina.
Per migliorare l’utilizzo di questi strumenti, gli autori dello studio suggeriscono di investire nella formazione dei medici per favorire una migliore interazione con i modelli linguistici, con particolare attenzione alle tecniche di “prompt engineering”. Inoltre, raccomandano l’integrazione di questi strumenti nei flussi di lavoro clinici e una riprogettazione della formazione medica per adattarla alle nuove tecnologie. Infine, sottolineano l’importanza di condurre ulteriori studi sull’interazione uomo-computer per comprendere meglio le implicazioni dell’implementazione di tali sistemi nella pratica clinica.
Bibliografia
1. Goh E, Gallo R, Hom J, et al. Large Language Model Influence on Diagnostic Reasoning: A Randomized Clinical Trial. JAMA Netw Open. 2024 Oct 1;7(10):e2440969. doi: 10.1001/jamanetworkopen.2024.40969.
