Tecno

L’intelligenza artificiale è arrivata in medicina. I pazienti sono a rischio?

I prodotti per la salute alimentati dall’intelligenza artificiale si riversano nelle nostre vite, dalle app dei dottori virtuali ai sensori indossabili e ai chatbot delle farmacie.

IBM si vantava che la sua IA potesse “pensare troppo al cancro”. Altri sostengono che i sistemi informatici che leggono i raggi X renderanno obsoleti i radiologi.

“Non ho visto nulla nei miei oltre 30 anni di studio di medicina che potrebbero avere un impatto e una trasformazione” come l’intelligenza artificiale, ha affermato il dott. Eric Topol, cardiologo e vicepresidente esecutivo di Scripps Research a La Jolla, California. Aiutare i medici a interpretare le risonanze magnetiche del cuore, le scansioni TC della testa e le fotografie della parte posteriore dell’occhio e potrebbero potenzialmente farsi carico di molte faccende mediche banali, liberando i medici per fargli passare più tempo a parlare con i pazienti, Topol ha detto.

Perfino la Food and Drug Administration – che ha approvato più di 40 prodotti di intelligenza artificiale negli ultimi cinque anni – afferma che “il potenziale della salute digitale è a dir poco rivoluzionario”.

Eppure, molti esperti del settore sanitario temono che i prodotti basati sull’intelligenza artificiale non siano in grado di eguagliare l’hype. Molti medici e sostenitori dei consumatori temono che l’industria tecnologica, che vive secondo il mantra “fallisce velocemente e lo risolverà più tardi”, sta mettendo a rischio i pazienti e i regolatori non stanno facendo abbastanza per proteggere i consumatori.

I primi esperimenti di intelligenza artificiale forniscono un motivo di cautela, ha affermato Mildred Cho, professore di pediatria presso il Centro per l’etica biomedica di Stanford.

I sistemi sviluppati in un ospedale spesso cadono quando vengono schierati in una struttura diversa, dice Cho. Il software utilizzato nella cura di milioni di americani ha dimostrato di discriminare le minoranze. E i sistemi di intelligenza artificiale a volte imparano a fare previsioni basate su fattori che hanno meno a che fare con la malattia rispetto al marchio della macchina per la risonanza magnetica utilizzata, il tempo in cui viene eseguito un esame del sangue o se un paziente è stato visitato da un cappellano. In un caso, il software AI ha erroneamente concluso che le persone con polmonite avevano meno probabilità di morire se avevano l’asma, un errore che avrebbe potuto indurre i medici a privare i pazienti asmatici delle cure extra di cui hanno bisogno.

“È solo questione di tempo prima che qualcosa del genere porti a un grave problema di salute”, ha dichiarato il dott. Steven Nissen, presidente di cardiologia presso la Cleveland Clinic.

L’intelligenza artificiale medica, che ha raccolto $ 1,6 miliardi di fondi di capitale di rischio nel solo terzo trimestre, è “quasi al culmine delle aspettative gonfiate”, ha concluso un rapporto di luglio della società di ricerca Gartner. “Man mano che la realtà verrà messa alla prova, ci sarà probabilmente una brutta scivolata nella depressione della disillusione.”

Tale controllo della realtà potrebbe presentarsi sotto forma di risultati deludenti quando i prodotti di intelligenza artificiale vengono introdotti nel mondo reale. Perfino Topol, l’autore di “Deep Medicine: come l’intelligenza artificiale può rendere la sanità di nuovo umana”, riconosce che molti prodotti di intelligenza artificiale sono poco più che aria calda. “È un miscuglio”, ha detto.

Esperti come il Dr. Bob Kocher, partner della società di venture capital Venrock, sono controproducenti. “La maggior parte dei prodotti di intelligenza artificiale ha poche prove a supporto”, ha affermato Kocher. Alcuni rischi non saranno evidenti fino a quando un gran numero di pazienti non utilizzerà un sistema di IA. “Continueremo a scoprire tutta una serie di rischi e conseguenze non intenzionali dell’utilizzo dell’IA sui dati medici”, ha affermato Kocher.

Nessuno dei prodotti di IA venduti negli Stati Uniti è stato testato in studi clinici randomizzati, la più forte fonte di prove mediche, ha detto Topol. Il primo e unico studio randomizzato di un sistema di intelligenza artificiale – che ha scoperto come la colonscopia con diagnosi assistita da computer ha rilevato più piccoli polipi rispetto alla colonscopia standard – è stato pubblicato online in ottobre.

Poche startup tecnologiche pubblicano le loro ricerche su riviste peer-reviewed, che consentono ad altri scienziati di controllare il proprio lavoro, secondo un articolo di gennaio sull’European Journal of Clinical Investigation. Tale “ricerca invisibile”, descritta solo in comunicati stampa o eventi promozionali, spesso sopravvaluta i risultati di un’azienda.

E sebbene gli sviluppatori di software possano vantarsi dell’accuratezza dei loro dispositivi di intelligenza artificiale, gli esperti notano che i modelli di intelligenza artificiale sono per lo più testati su computer, non in ospedali o altre strutture mediche. L’uso di software non comprovato “può trasformare i pazienti in inconsapevoli cavie”, ha affermato Ron Li, direttore dell’informatica medica per l’integrazione clinica dell’IA presso la Stanford Health Care.

I sistemi di intelligenza artificiale che imparano a riconoscere modelli nei dati sono spesso descritti come “scatole nere” perché anche i loro sviluppatori non sanno come hanno raggiunto le loro conclusioni. Dato che l’IA è così nuova – e molti dei suoi rischi sconosciuti – il campo necessita di un’attenta supervisione, ha affermato Pilar Ossorio, professore di giurisprudenza e bioetica all’Università del Wisconsin-Madison.

Tuttavia, la maggior parte dei dispositivi AI non richiede l’approvazione della FDA.

“Nessuna delle società in cui ho investito è coperta dalle normative FDA”, ha affermato Kocher.

La legislazione approvata dal Congresso nel 2016 – e sostenuta dall’industria tecnologica – esonera molti tipi di software medico dalla revisione federale, tra cui alcune app di fitness, cartelle cliniche elettroniche e strumenti che aiutano i medici a prendere decisioni mediche.

Ci sono state poche ricerche sul fatto che le 320.000 app mediche attualmente in uso migliorino effettivamente la salute, secondo un rapporto sull’intelligenza artificiale pubblicato il 17 dicembre dalla National Academy of Medicine.

“Quasi nessuna delle cose (AI) commercializzate ai pazienti funziona davvero”, ha dichiarato il dott. Ezekiel Emanuel, professore di etica medica e politica sanitaria presso la Perelman School of Medicine dell’Università della Pennsylvania.

La FDA ha da tempo focalizzato la sua attenzione sui dispositivi che rappresentano la maggiore minaccia per i pazienti. E i sostenitori dei consumatori riconoscono che alcuni dispositivi, come quelli che aiutano le persone a contare i loro passi quotidiani, hanno bisogno di meno controllo di quelli che diagnosticano o curano le malattie.

Alcuni sviluppatori di software non si preoccupano di richiedere l’autorizzazione o l’autorizzazione della FDA, anche quando legalmente richiesto, secondo uno studio del 2018 in Annals of Internal Medicine .

Gli analisti del settore affermano che gli sviluppatori di intelligenza artificiale hanno scarso interesse a condurre prove costose e che richiedono tempo. “Non è la preoccupazione principale di queste aziende sottoporsi a rigorose valutazioni che sarebbero pubblicate in una rivista peer-reviewed”, ha dichiarato Joachim Roski, direttore di Booz Allen Hamilton, società di consulenza tecnologica e coautore della National Rapporto dell’Accademia. “Non è così che funziona l’economia americana”.

Ma Oren Etzioni, amministratore delegato dell’Allen Institute for AI di Seattle, ha affermato che gli sviluppatori di AI hanno un incentivo finanziario per assicurarsi che i loro prodotti medici siano sicuri.

“Se fallisce velocemente significa che un sacco di persone moriranno, non credo che vogliamo fallire velocemente”, ha detto Etzioni. “Nessuno sarà felice, compresi gli investitori, se le persone muoiono o sono gravemente malate”.

Standard rilassanti alla FDA

Negli ultimi anni la FDA è stata messa a fuoco per aver consentito la vendita di pericolosi dispositivi medici, che sono stati esaminati dal consorzio internazionale dei giornalisti investigativi e collegati a 80.000 morti e 1,7 milioni di feriti negli ultimi dieci anni.

Molti di questi dispositivi sono stati approvati per l’uso attraverso un controverso processo chiamato 510 (k) path, che consente alle aziende di commercializzare prodotti “a rischio moderato” senza test clinici purché siano considerati simili ai dispositivi esistenti.

Nel 2011, un comitato della National Academy of Medicine ha concluso che il processo 510 (k) è talmente fondamentalmente imperfetto che la FDA dovrebbe buttarlo via e ricominciare da capo.

Invece, la FDA sta usando il processo per rendere più disponibili i dispositivi AI.

Dei 14 prodotti di AI autorizzati dalla FDA nel 2017 e nel 2018, 11 sono stati eliminati attraverso il processo 510 (k), secondo un articolo di JAMA di novembre. Nessuno di questi sembra aver avuto nuovi test clinici, ha detto lo studio. La FDA ha autorizzato un dispositivo di intelligenza artificiale progettato per aiutare a diagnosticare il cancro del fegato e dei polmoni nel 2018 in base alla sua somiglianza con il software di imaging approvato 20 anni prima. Il software stesso era stato cancellato perché ritenuto “sostanzialmente equivalente” ai prodotti commercializzati prima del 1976.

I prodotti di IA approvati dalla FDA oggi sono in gran parte “bloccati”, in modo che i loro calcoli e risultati non cambieranno dopo che sono entrati nel mercato, ha dichiarato Bakul Patel, direttore per la salute digitale presso il Centro per i dispositivi e la salute radiologica della FDA. La FDA non ha ancora autorizzato i dispositivi di intelligenza artificiale “sbloccati”, i cui risultati potrebbero variare di mese in mese in modi che gli sviluppatori non possono prevedere.

Per far fronte al diluvio di prodotti di IA, la FDA sta testando un approccio radicalmente diverso alla regolamentazione dei dispositivi digitali, concentrandosi sulla valutazione delle aziende, non dei prodotti.

Il programma pilota di “pre-certificazione” della FDA, lanciato nel 2017, è progettato per “ridurre i tempi e i costi di accesso al mercato per gli sviluppatori di software”, imponendo il sistema “meno oneroso” possibile. I funzionari della FDA affermano di voler tenere il passo con gli sviluppatori di software di intelligenza artificiale, che aggiornano i loro prodotti molto più frequentemente rispetto ai produttori di dispositivi tradizionali, come le macchine a raggi X.

Scott Gottlieb ha dichiarato nel 2017, mentre era commissario della FDA, come i regolatori del governo devono assicurarsi che il suo approccio ai prodotti innovativi “sia efficiente e promuova, non impedisca, l’innovazione”.

Secondo il piano, la FDA pre-certificerebbe le aziende che “dimostrano una cultura della qualità e dell’eccellenza organizzativa”, che consentirebbe loro di fornire meno dati anticipati sui dispositivi.

Le aziende precertificate potrebbero quindi rilasciare dispositivi con una revisione “semplificata” o nessuna revisione della FDA. Una volta che i prodotti sono sul mercato, le aziende saranno responsabili del monitoraggio della sicurezza dei propri prodotti e della segnalazione all’FDA. Nove aziende sono state selezionate per il pilot: Apple, FitBit, Samsung, Johnson & Johnson, Pear Therapeutics, Phosphorus, Roche, Tidepool e Verily Life Sciences.

I prodotti ad alto rischio, come i software utilizzati nei pacemaker, riceveranno comunque una valutazione completa della FDA. “Sicuramente non vogliamo che i pazienti vengano colpiti”, ha affermato Patel, che ha osservato come i dispositivi eliminati tramite pre-certificazione possono essere richiamati, se necessario. “Ci sono ancora molti guardrail in atto.”

Ma la ricerca mostra che anche dispositivi a basso e moderato rischio sono stati richiamati a causa di gravi rischi per i pazienti, ha affermato Diana Zuckerman, presidente del National Center for Health Research. “Le persone potrebbero essere danneggiate perché non è stato necessario dimostrare che qualcosa fosse accurato o sicuro prima di essere ampiamente utilizzato.”

Johnson & Johnson, ad esempio, ha ricordato protesi d’anca e rete chirurgica.

In una serie di lettere alla FDA, l’American Medical Association e altri hanno messo in dubbio la saggezza di consentire alle aziende di monitorare le proprie prestazioni e la sicurezza dei prodotti.

“Il sistema d’onore non è un regime regolamentare”, ha affermato la dott.ssa Jesse Ehrenfeld, che presiede il consiglio di fondazione del gruppo di medici.

In una lettera di ottobre alla FDA, la Sens. Elizabeth Warren (D-Mass.), Tina Smith (D-Minn.) E Patty Murray (D-Wash.) Hanno messo in dubbio la capacità dell’agenzia di garantire che i rapporti sulla sicurezza dell’azienda siano “accurati, tempestivi e basato su tutte le informazioni disponibili. ”

Quando i buoni algoritmi vanno male

Alcuni dispositivi AI sono testati più attentamente di altri.

Uno strumento di screening basato sull’intelligenza artificiale per la retinopatia diabetica è stato studiato in 900 pazienti in 10 ambulatori delle cure primarie prima di essere approvato nel 2018. Il produttore, IDx Technologies, ha lavorato con la FDA per otto anni per ottenere il prodotto giusto, ha affermato il Dr. Michael Abramoff , fondatore e presidente esecutivo dell’azienda.

Il test, venduto come IDx-DR, controlla i pazienti per la retinopatia diabetica, una delle principali cause di cecità, e rimanda i pazienti ad alto rischio agli specialisti oculistici, che formulano una diagnosi definitiva.

IDx-DR è il primo prodotto di intelligenza artificiale “autonomo”, in grado di prendere una decisione di screening senza un medico. La società ora lo sta installando in cliniche di assistenza primaria e farmacie, dove può essere gestito da dipendenti con un diploma di scuola superiore. La società Abramoff ha preso la strana fase di acquisto dell’assicurazione di responsabilità civile per coprire eventuali lesioni ai pazienti.

Tuttavia, alcune innovazioni basate sull’intelligenza artificiale destinate a migliorare l’assistenza hanno avuto l’effetto opposto.

Una società canadese, ad esempio, ha sviluppato un software di IA per prevedere il rischio di una persona di Alzheimer in base al proprio processo digitale. Le previsioni erano più precise per alcuni pazienti rispetto ad altri. “La difficoltà a trovare la parola giusta potrebbe essere dovuta alla non familiarità con l’inglese, piuttosto che a compromissione cognitiva”, ha detto il co-autore Frank Rudzicz, professore associato di informatica all’università di Toronto.

I medici del Mount Sinai Hospital di New York speravano che l’IA potesse aiutarli a usare le radiografie del torace per prevedere quali pazienti erano ad alto rischio di polmonite. Sebbene il sistema abbia fatto previsioni accurate dai raggi X sparati sul Monte Sinai, la tecnologia ha fallito quando testata su immagini scattate in altri ospedali. Alla fine, i ricercatori hanno capito che il computer aveva semplicemente imparato a distinguere le radiografie del torace portatili di quell’ospedale – prese al capezzale di un paziente – con quelle prese nel reparto di radiologia. I medici tendono ad usare le radiografie del torace portatili per i pazienti troppo malati per lasciare la loro stanza, quindi non sorprende che questi pazienti abbiano un rischio maggiore di infezione polmonare.

DeepMind, una società di proprietà di Google, ha creato un’app mobile basata sull’intelligenza artificiale in grado di prevedere quali pazienti ospedalizzati svilupperanno una insufficienza renale acuta con 48 ore di anticipo. Un post sul blog sul sito Web di DeepMind descriveva il sistema, utilizzato in un ospedale di Londra, come un “punto di svolta”. Ma il sistema di intelligenza artificiale ha anche prodotto due falsi allarmi per ogni risultato corretto, secondo uno studio di luglio su Nature. Ciò potrebbe spiegare perché la funzione renale dei pazienti non è migliorata, ha affermato il dott. Saurabh Jha, professore associato di radiologia presso l’Ospedale dell’Università della Pennsylvania. Qualsiasi beneficio derivante dalla diagnosi precoce di gravi problemi renali potrebbe essere stato diluito da un alto tasso di “diagnosi eccessiva”, in cui il sistema di intelligenza artificiale ha segnalato problemi ai reni borderline che non necessitavano di trattamento, ha detto Jha. Google non ha commentato in risposta a Jha ‘

I falsi positivi possono danneggiare i pazienti spingendo i medici a ordinare test non necessari o a sospendere i trattamenti raccomandati, ha detto Jha. Ad esempio, un medico preoccupato per i reni di un paziente potrebbe smettere di prescrivere l’ibuprofene, un antidolorifico generalmente sicuro che presenta un piccolo rischio per la funzionalità renale, a favore di un oppioide, che comporta un grave rischio di dipendenza.

Come dimostrano questi studi, il software con risultati impressionanti in un laboratorio informatico può fondare quando testato in tempo reale, ha affermato Cho di Stanford. Questo perché le malattie sono più complesse – e il sistema sanitario molto più disfunzionale – di quanto molti scienziati informatici prevedono.

Molti sviluppatori di intelligenza artificiale raccolgono cartelle cliniche elettroniche perché detengono enormi quantità di dati dettagliati, ha affermato Cho. Ma quegli sviluppatori spesso non sono consapevoli del fatto che stanno costruendo in cima a un sistema profondamente rotto. Le cartelle cliniche elettroniche sono state sviluppate per la fatturazione, non per l’assistenza ai pazienti, e sono piene di errori o dati mancanti.

Un’indagine KHN pubblicata a marzo ha riscontrato a volte errori potenzialmente letali negli elenchi dei farmaci dei pazienti, nei test di laboratorio e nelle allergie.

In considerazione dei rischi connessi, i medici devono intervenire per proteggere gli interessi dei loro pazienti, ha affermato il dott. Vikas Saini, cardiologo e presidente del Lown Institute senza scopo di lucro, che sostiene un più ampio accesso all’assistenza sanitaria.

“Mentre è compito degli imprenditori pensare in grande e correre rischi”, ha detto Saini, “è compito dei medici proteggere i propri pazienti”.