Sebbene alcuni software di intelligenza artificiale siano stati testati ragionevolmente bene, solo uno ha soddisfatto le prestazioni degli screening umani, hanno scoperto i ricercatori.
Il diabete continua ad essere la principale causa di nuovi casi di cecità tra gli adulti negli Stati Uniti. Ma l’attuale carenza di fornitori di cure oculistiche renderebbe impossibile tenere il passo con la domanda di fornire gli screening annuali necessari per questa popolazione. Un nuovo studio esamina l’efficacia di sette algoritmi di screening basati sull’intelligenza artificiale per diagnosticare la retinopatia diabetica, la più comune malattia oculare diabetica che porta alla perdita della vista.
In un documento pubblicato il 5 gennaio su Diabetes Care, i ricercatori hanno confrontato gli algoritmi con l’esperienza diagnostica degli specialisti della retina. Cinque aziende hanno prodotto gli algoritmi testati: due negli Stati Uniti (Eyenuk, Retina-AI Health), una in Cina (Airdoc), una in Portogallo (Retmarker) e una in Francia (OphtAI).
I ricercatori hanno implementato le tecnologie basate su algoritmi sulle immagini retiniche di quasi 24.000 veterani che hanno cercato lo screening della retinopatia diabetica presso il Veterans Affairs Puget Sound Health Care System e l’Atlanta VA Health Care System dal 2006 al 2018.
I ricercatori hanno scoperto che gli algoritmi non funzionano come affermano. Molte di queste aziende stanno riportando ottimi risultati negli studi clinici. Ma la loro performance in un contesto reale era sconosciuta. I ricercatori hanno condotto un test in cui le prestazioni di ciascun algoritmo e le prestazioni degli screening umani che lavorano nel sistema di screening teleretinico VA sono state tutte confrontate con le diagnosi fornite dagli oftalmologi esperti guardando le stesse immagini. Tre degli algoritmi hanno funzionato abbastanza bene rispetto alle diagnosi dei medici e uno ha fatto peggio. Ma solo un algoritmo si è comportato bene come gli screening umani nel test.
“È allarmante che alcuni di questi algoritmi non funzionino in modo coerente poiché vengono utilizzati da qualche parte nel mondo”, ha affermato il ricercatore capo Aaron Lee, assistente professore di oftalmologia presso la University of Washington School of Medicine.
Le differenze nell’attrezzatura fotografica e nella tecnica potrebbero essere una spiegazione. I ricercatori hanno affermato che il loro studio dimostra quanto sia importante per qualsiasi pratica che desideri utilizzare uno screener AI per testarlo prima e seguire le linee guida su come ottenere correttamente le immagini degli occhi dei pazienti, perché gli algoritmi sono progettati per funzionare con una qualità minima di immagini.
Lo studio ha anche scoperto che le prestazioni degli algoritmi variavano durante l’analisi di immagini da popolazioni di pazienti nelle strutture di assistenza di Seattle e Atlanta. Questo è stato un risultato sorprendente e potrebbe indicare che gli algoritmi devono essere addestrati con una più ampia varietà di immagini.