Chatbot AI in medicina: utili, ma sbagliano spesso

Uno studio italiano pubblicato sulla rivista European Journal of Pathology ha analizzato l’affidabilità dei chatbot medici basati su IA nel contesto della diagnosi patologica.
Il dato più rilevante è che, su un totale di circa 200 domande cliniche poste al chatbot, circa il 70% delle risposte conteneva almeno un errore, e circa il 30% dei casi presentava riferimenti bibliografici inaccurati o addirittura inesistenti.

Il progetto, avviato nel 2023 da un team guidato da Vincenzo Guastafierro, specializzando in Anatomia Patologica presso la Humanitas University (Rozzano), ha simulato cinque scenari clinici riguardanti la patologia. Le domande sono state sottoposte al sistema, un chatbot come ChatGPT o equivalente, ponendo quesiti aperti o a risposta multipla, con o senza richiesta di fonti.
I quesiti erano allineati alle linee guida diagnostiche correnti e validati da patologi esperti.

I risultati indicano che il chatbot ha dato “risposte utili” nel 62,2% dei casi, mentre solo il 32,1% delle risposte risultava completamente priva di errori. Il restante – quasi il 70% – conteneva almeno un errore.

Per quanto riguarda i riferimenti bibliografici, dei 214 riportati dal sistema, il 70,1% risultava corretto, il 12,1% inaccurato e il 17,8% addirittura inesistente (“hallucinations”) – cioè citazioni inventate dal sistema.
Fra gli errori più eclatanti, lo studio cita una diagnosi errata di carcinoma della pelle e una diagnosi sbagliata relativa a un tumore al seno, con riferimenti bibliografici inventati.
Il dato è rilevante soprattutto perché molti pazienti (o operatori non specialisti) potrebbero affidarsi al chatbot per autodiagnosi o supporto clinico, ignorando il rischio di errore.
Lo studio sottolinea dunque che l’IA può essere un utile supporto, ma non un sostituto della competenza umana (l’“occhio clinico” del patologo).
La riflessione che ne scaturisce riguarda il ruolo futuro dell’IA nella medicina: pur mostrando potenzialità, i sistemi di chatbot attuali non sono ancora adatti all’uso diagnostico di routine.

Occorrono ulteriori verifiche, standardizzazione, maggiore accuratezza delle fonti, e soprattutto supervisione clinica umana per evitare decisioni terapeutiche inappropriate. In questo contesto, la cautela è d’obbligo sia per gli operatori sia per i pazienti che utilizzano autonomamente strumenti digitali.

Unveiling the risks of ChatGPT in diagnostic surgical pathology