L’algoritmo di ChatGPT ha risposto in modo adeguato a 350 domande normalmente utilizzate nei test che abilitano gli studenti alla professione. Alcuni centri ospedalieri lo utilizzano già anche per riscrivere i referti più complessi.
Come funziona nella pratica ChatGPT?
Il programma di intelligenza artificiale ChatGPT, lanciato nello scorso mese di novembre dall’organizzazione senza fini di lucro OpenAI e diventato rapidamente famoso per le sue capacità di rispondere in modo naturale e con un’ottima proprietà di linguaggio (e capacità di scrittura) alle più svariate domande, continua a stupire, anche in un ambito specialistico come la medicina.
ChatGPT utilizza una rete neurale di tipo Transformer per elaborare e generare testo in modo autonomo. Questo consente di rispondere alle domande degli utenti e di interagire con loro attraverso una chat, utilizzando il linguaggio naturale e cercando di fornire risposte coerenti e pertinenti alle loro richieste.
ChatGPT può superare un esame di medicina?
Sottoposto a centinaia di domande presenti nei normali test che le università statunitensi utilizzano per assegnare o meno l’autorizzazione all’esercizio della professione medica, ChatGPT ha dimostrato di avere una preparazione più che sufficiente per superare l’esame.
L’esperimento è stato effettuato da un gruppo di ricercatori di diverse università americane, che hanno sottoposto il programma di intelligenza artificiale – senza alcun addestramento o rinforzo specializzato – all’esame standard, chiamato United States Medical Licensing Exam (USMLE), che consiste in tre prove d’esame (step 1, 2CK, e 3) con domande sulla maggior parte delle discipline mediche, dalla biochimica, al ragionamento diagnostico, alla bioetica.
Prima di eseguire la prova, i ricercatori hanno effettuato una selezione per eliminare le domande basate sull’interpretazione delle immagini radiologiche e di altro genere (che richiedono una formazione specifica). Il risultato della scrematura è stato una lista di 350 domande (su un totale originario di 376) presenti nei test effettuati negli Stati Uniti fino alla primavera del 2022.
Il risultato ottenuto da ChatGPT, come spiegano gli studiosi sulla rivista scientifica PLoS Digital Health, è stato di notevole valore, perché ChatGPT ha azzeccato tra il 52,4 e il 75% delle risposte. E visto che la percentuale considerata sufficiente per essere promossi è intorno al 60%, le possibilità di farcela, per il sistema di intelligenza artificiale, sarebbero state alte. Inoltre, ChatGPT ha mostrato un’elevatissima coerenza, del 94,6%, nelle sue risposte (cioè non ha fornito risposte in contraddizione le une con le altre), e ha prodotto spiegazioni non scontate o ovvie, a dimostrazione di una sorta di intuizione, nell’88,9% delle sue risposte.
Da notare che l’analogo sistema creato dal più grande archivio di pubblicazioni scientifiche del mondo, PubMed, chiamato PubMedGPT, sottoposto allo stesso USMLE, non ha superato quasi mai il 50% di risposte esatte, e si è rivelato, quindi, ancora molto indietro rispetto a ChatGPT.
Un’intelligenza artificiale in aiuto agli studenti
Questo sistema di intelligenza artificiale - scrivono i ricercatori - ha dimostrato di avere grandi potenzialità anche per quanto riguarda lo studio e la preparazione degli studenti, che potranno dunque usarlo per allenarsi ai test e per migliorare le proprie conoscenze. Ma in alcuni centri ospedalieri statunitensi ChatGPT viene già utilizzato anche per riscrivere i referti più complessi, in modo che i pazienti possano comprendere meglio l’esito di un accertamento, di una diagnosi o di una terapia.
Anche gli autori dello studio pubblicato su PLoS Digital Health, d’altronde, hanno deciso di usare ChatGPT per rielaborare la prima stesura del loro testo, valutare la consequenzialità logica di quanto avevano scritto e formulare in modo diverso i punti meno chiari: una prassi che è sempre più usata, nella scrittura dei lavori scientifici, ma sulla quale non tutti gli editori sono d’accordo.
Non si collega a internet
Va infine sottolineato che, a differenza di altri “chatbot” (programmi informatici che utilizzano l'intelligenza artificiale per simulare una conversazione con gli utenti), ChatGPT non è in grado di navigare o eseguire ricerche su Internet. Quindi tutte le risposte vengono generate dall’algoritmo interno, che attinge dall’enorme deposito di informazioni presenti nel sistema ed è addestrato per prevedere la probabilità di una data sequenza di parole in base al contesto delle parole che le precedono.
