CNN di 10 anni supera i LLM all'avanguardia nel test di diagnosi del cancro della pelle

In una svolta sorprendente, una rete neurale convoluzionale (CNN) di dieci anni ha superato i più recenti modelli linguistici di grandi dimensioni (LLM) all'avanguardia nella diagnosi del cancro della pelle. Il test, condotto dal Dr. Magnus Lynch, dermatologo consulente al Guy's Hospital e lettore onorario al King's College di Londra, ha messo a confronto GPT-6 Astra e Claude Fable 5.1 con un modello Inception v3 ottimizzato. I risultati sfidano l'ipotesi che modelli AI più grandi e generali siano sempre migliori per compiti medici specializzati.

L'esperimento: 200 lesioni confermate da biopsia

Il Dr. Lynch ha selezionato 200 lesioni cutanee dal dataset MILK10k, una risorsa pubblica rilasciata attraverso la International Skin Imaging Collaboration nel 2025. Ogni lesione aveva due immagini: un primo piano clinico e un'immagine dermoscopica. Tutte sono state confermate da istopatologia, rendendo questo un test particolarmente impegnativo. L'insieme includeva 100 lesioni che non dovevano essere dimesse (30 melanomi, 25 carcinomi basocellulari, 25 carcinomi squamocellulari e 20 cheratosi attiniche) e 100 che erano sicure da dimettere (50 nevi benigni e 50 cheratosi seborroiche).

Ogni lesione è stata biopsiata, comprese quelle benigne, il che significa che il dataset era deliberatamente più difficile delle presentazioni cliniche tipiche. Come osserva il Dr. Lynch, "un neo che qualcuno ha deciso di asportare è uno che ha preoccupato un clinico." Questa configurazione garantisce che il test rifletta la difficoltà diagnostica del mondo reale.

I modelli: vecchio contro nuovo

Ai LLM—GPT-6 Astra e Claude Fable 5.1—sono state fornite entrambe le immagini e è stato chiesto di fornire la diagnosi più probabile tra sei opzioni, un livello di confidenza, una seconda scelta e una raccomandazione (dimissione, biopsia o follow-up). Entrambi i modelli hanno ricevuto prompt identici alle impostazioni predefinite e non hanno mai rifiutato un caso.

Al contrario, la CNN non era deliberatamente all'avanguardia. Il Dr. Lynch ha utilizzato Inception v3, pubblicato per la prima volta da Google nel 2015, e lo ha ottimizzato su 68.011 immagini dermoscopiche e cliniche dall'ISIC Archive. L'ottimizzazione ha richiesto solo circa 20 minuti su una singola GPU H100. Fondamentalmente, la CNN non aveva mai visto le 200 lesioni del test, né alcuna immagine della stessa lesione o paziente, poiché sono state rimosse dai suoi dati di addestramento.

I risultati: un chiaro vincitore

La CNN ha identificato correttamente la diagnosi in 125 casi su 200 (62%), mentre GPT-6 Astra ne ha gestiti 84 (42%) e Claude Fable 5.1 ha raggiunto 85 (42%). Quando è stata consentita una seconda scelta, la CNN ha raggiunto 173 su 200, rispetto a 134 e 138 per i LLM. Il divario è stato più pronunciato sulle lesioni benigne: la CNN ha riconosciuto 37 dei 50 nei e 26 delle 50 cheratosi seborroiche, mentre GPT-6 Astra ne ha identificati solo 16 e 13, rispettivamente, e Claude Fable 5.1 ne ha gestiti 33 e 6.

Forse la cosa più preoccupante per i sostenitori dei LLM sono i modelli di errore. GPT-6 Astra ha chiamato 75 lesioni carcinoma basocellulare quando solo 25 lo erano, incluse 14 dei 30 melanomi. Claude Fable 5.1 ha favorito la cheratosi attinica, diagnosticando 53 lesioni come tali quando solo 20 lo erano. Gli errori della CNN erano più distribuiti e ha nominato correttamente 13 dei 30 melanomi, rispetto a 8 e 11 per i LLM.

Implicazioni per la sicurezza: decisioni di dimissione

Oltre all'accuratezza grezza, lo studio ha esaminato le decisioni critiche per la sicurezza. Alla sua soglia preimpostata, la CNN avrebbe tenuto 77 delle 100 lesioni non sicure per il trattamento e dimesso 76 delle 100 lesioni sicure. Tuttavia, quando le soglie sono state abbinate per la sensibilità, la CNN poteva tenere 98 o 99 lesioni non sicure, ma poi avrebbe dimesso molte meno lesioni sicure (2 o 1 melanoma). I LLM, al contrario, hanno tenuto 97 e 96 lesioni non sicure ma hanno dimesso solo 32 e 22 lesioni sicure—il che significa che erano eccessivamente cauti, portando probabilmente a procedure non necessarie.

Perché è importante

Questo studio evidenzia un'intuizione critica: i modelli specializzati e specifici per compito possono ancora superare l'AI generica in domini ristretti. L'esperimento del Dr. Lynch non è una condanna dei LLM, ma un promemoria che "all'avanguardia" non significa sempre "migliore" per ogni applicazione. Il successo della CNN è attribuito al suo addestramento focalizzato su immagini dermatologiche, mentre i LLM sono addestrati su vasti e diversificati dataset che potrebbero non catturare i sottili segni visivi delle lesioni cutanee.

Inoltre, la CNN è notevolmente leggera—funziona interamente in un browser del telefono utilizzando WebGPU, senza caricamento di dati. Questa accessibilità potrebbe renderla uno strumento pratico per contesti di assistenza primaria, specialmente in regioni con accesso limitato ai dermatologi.

Avvertenze e considerazioni

Lo studio ha limitazioni. Con solo 200 lesioni e 30 melanomi, la potenza statistica è limitata. Ogni LLM è stato eseguito una volta e le risposte possono variare tra le esecuzioni. Inoltre, il dataset MILK10k è pubblico dal 2025, quindi i LLM potrebbero averlo visto nell'addestramento—anche se questo li avrebbe aiutati, non ostacolati. La CNN sicuramente non aveva visto le immagini del test.

Il Dr. Lynch nota anche che Inception v3 è una baseline. L'AI all'avanguardia per il cancro della pelle utilizza ensemble di trasformatori di immagini addestrati su più dati, e i prodotti regolamentati costruiti su di essi funzionano considerevolmente meglio. Tuttavia, il fatto che un'architettura di 10 anni possa battere gli ultimi LLM è una dichiarazione potente.

La prospettiva del paziente

È interessante notare che, quando ai LLM è stato chiesto come paziente con una sola fotografia clinica e la domanda "devo vedere un medico?", hanno consigliato di vedere un medico in quasi tutti i casi—anche per lesioni innocue. Per 99 e 98 di ulteriori 100 melanomi confermati da biopsia, hanno correttamente consigliato una visita. Ciò suggerisce che i LLM potrebbero essere più utili per il triage che per la diagnosi specifica.

Il punto fondamentale

L'esperimento del Dr. Lynch, disponibile integralmente con dati e codice, funge da campanello d'allarme. Mentre i LLM sono impressionanti generalisti, non sono ancora pronti a sostituire gli strumenti diagnostici specializzati. La CNN di 10 anni, ottimizzata per 20 minuti, è una testimonianza del valore duraturo dell'AI costruita per uno scopo specifico. Mentre il campo si evolve, la lezione è chiara: per compiti medici ad alto rischio, i modelli specializzati mantengono ancora la loro posizione.