Interview met Drs. Rosa Verhoeven, drs. Otis van Varsseveld en prof. dr. Jan Hulscher

Over de betrouwbaarheid van een AI -keuzehulp.
07-04-2023 - Drs. Rosa Verhoeven (promovenda Universitair Medisch Centrum Groningen (UMCG)), drs. Otis van Varsseveld (arts-promovendus UMCG), dr. Elisabeth Kooi (neonatoloog UMCG) en prof. dr. Jan Hulscher (kinderchirurg UMCG, coördinator van dit onderzoek) onderzoeken de betrouwbaarheid van een keuzehulp gebaseerd op het BAIT-model (Behavioural Artificial Intelligence Technology). Deze AI-keuzehulp kan artsen en ouders - in geval van een te vroeg geboren kindje met de ernstige darmziekte necrotiserende enterocolitis (NEC) - helpen bij het beslissen om wel of niet te opereren door inzicht te geven in de factoren die een rol spelen bij het maken van deze moeilijke keuze. In dit interview komen drie van de vier betrokken onderzoekers aan het woord.

“Ons AI-model is geen blackbox: de uitkomsten zijn te verklaren”

Interview

Hoe ontstond het idee om een AI-keuzehulp te ontwikkelen?

Jan: Tijdens een vakantie vertelde een bevriende hoogleraar aan de TU Delft over zijn betrokkenheid op het gebied van AI bij het maken van een morele keuze in de context van defensie. Zittend bij het zwembad dacht ik al pratend met deze vriend na over een AI-toepassing in de zorg. Ik zag aanknopingspunten voor een keuzehulp voor ouders en artsen die de keuze moeten maken een (veel) te vroeggeboren kind met NEC wel of niet te opereren.
Eerder was er al de wens om belangrijke afwegingen van ouders en artsen bij het maken van zo’n keuze te onderzoeken. In dit project komen deze wens en AI bij elkaar met als doel inzicht te krijgen in de factoren die bij deze keuze een rol spelen en een keuzehulp voor ouders en artsen te ontwikkelen.

Op welke wijze gebruiken jullie AI in het project?

Jan: In een eerdere pilot bepaalden artsen factoren die een rol spelen in het advies om een kindje met NEC wel of niet te opereren [1]. Denk bijvoorbeeld aan bloeddruk, echo van de hersenen, maar ook draagkracht van de ouders. Op basis van deze factoren maakten we 35 ‘papieren patiënten’ of cases. Deze cases zijn in ons vervolgonderzoek aan neonatale zorgexperts door heel Nederland voorgelegd [2].  
Otis: Deze 62 artsen - neonatologen en kinderchirurgen - met ervaring in de zorg voor NEC-patiënten gaven aan wat voor deze 35 ‘papieren patiënten’ hun advies zou zijn: wel of niet opereren.
Rosa: De artsen gaven op deze manier input voor ons AI-model.
Jan: De verschillen tussen de cases maakten duidelijk hoe zwaar bepaalde factoren meewegen in adviezen van artsen. Deze factoren en het gewicht ervan zijn de basis van ons AI-model. De uitkomst van ons model is een percentage artsen dat in een specifiek geval wel of niet voor opereren kiest. Voor artsen is dit een ‘second opinion’ die kan helpen in het gesprek met de ouders over wel of niet opereren.
Otis: Vaak wordt gevraagd of de uitkomst van ons model de gouden standaard (de beste keuze) is. Omdat ons AI-model zich baseert op keuzes en overwegingen van diegenen die de keuzehulp invullen — namelijk de 62 artsen in het onderzoek — is de uitkomst genuanceerd en gedetailleerd. Juist het inzicht van meewegende keuzefactoren is belangrijk bij het maken van zo’n moeilijke keuze, waarvoor eigenlijk geen gouden standaard bestaat. De uitkomst van het keuzemodel geeft ook ouders inzicht in de keuzefactoren die een rol bij het nemen van een beslissing.

Waarin verschilt de AI-toepassing in dit project van andere AI-toepassingen?

Rosa: In tegenstelling tot de meeste AI-toepassingen, werkt ons keuzemodel zonder grote hoeveelheden data.
Jan: De inputdata in ons model zijn keuzes van artsen (experts) in een specifieke casus. Dit maakt een uitkomst uit ons model begrijpelijk, ook omdat het gewicht van elke factor direct duidelijk is. Andere AI-toepassingen zijn vaak een ‘blackbox’ waarvan de uitkomst niet wordt verklaard.
Ons AI-model is ook een lerend systeem waarin nieuwe cases met keuzes van artsen kunnen worden opgenomen. Het model groeit mee met de kennis en keuzes van artsen.

Hoe zijn de ouders betrokken?

Jan: Het model voor ouders wilden we ongeveer hetzelfde inrichten als het model voor artsen. Patiëntenorganisatie Care4Neo gaf aan dat die werkwijze te confronterend is voor ouders.
Rosa: Voor ouders is het veel moeilijker de factoren over hun ernstig zieke kindje objectief te beoordelen dan voor artsen. Het idee nu is ouders steeds twee stellingen voor te leggen en te vragen welke stelling het meest bij hen past. Met Care4Neo gaan we na welke stellingen we kunnen gebruiken en wat het juiste moment is om ouders die voor zo’n ingrijpende keuze staan hiermee te benaderen.
Zo achterhalen we wat voor ouders zwaarwegende factoren zijn bij het maken van de keuze om hun kindje met NEC wel of niet te laten opereren.
Deze informatie en het advies van de arts zijn belangrijk in het gesprek tussen arts en ouders waarin de moeilijke keuze om wel of niet te opereren wordt gemaakt.

Kan jullie AI-model dit gesprek tussen arts en ouders vervangen?

Jan: Nee, dat gesprek blijft altijd het belangrijkste. Om ervoor te zorgen dat ouders en arts voor dit gesprek relevante informatie over elkaars afwegingen hebben, kan de uitkomst van ons model worden gebruikt. Op deze manier wordt een goed doordacht besluit genomen waar zowel ouders als arts achter staan.

Wat leverde de bijdrage van de For Wis(h)dom Foundation tot nu toe concreet op?

Rosa: Mijn aanstelling als promovenda in dit project wordt betaald uit de financiële bijdrage van de For Wis(h)dom Foundation. Zonder deze bijdrage zouden we de betrouwbaarheid van ons AI-model niet kunnen onderzoeken.
Op basis van situaties van twintig echte NEC-patiënten uit het verleden, kunnen we nu al zien dat keuzes gemaakt met ons model en de werkelijk gemaakte keuzes door artsen behoorlijk overeenkomen.
Overigens zouden we ons onderzoek niet kunnen doen zonder AI-bedrijf Councyl uit Delft en de inspanningen van onze collega Elisabeth Kooi!

Wat zijn stappen die binnenkort worden gezet?

Rosa: Ik ga verder met het controleren van de betrouwbaarheid van ons keuzemodel aan de hand van cases van toekomstige NEC-patiënten. Ook bespreken we met Care4Neo de aangepaste werkwijze voor ouders.
Jan: De overwegingen waarop artsen in de Nederlandse UMC’s hun keuze baseren verschillen niet veel van elkaar. Om te onderzoeken of artsen uit andere landen hierin van elkaar verschillen, rollen we ons AI-model binnenkort in Europees verband uit binnen het Europese Referentienetwerk ERNICA en de Europese vereniging voor onderzoek bij kinderen (ESPR).
Otis: Recent verscheen een publicatie over de bevindingen uit ons onderzoek [2]. Het betrouwbaarheidsonderzoek en het onderzoek onder artsen uit andere Europese landen zijn het vervolg hierop.

Wanneer is de keuzehulp klaar voor gebruik?

Rosa: Tot begin 2025 werk ik als promovenda aan dit project. Ik hoop dan het bewijs te hebben dat ons AI-model betrouwbaar en klaar voor gebruik is! Artsen zijn enthousiast om ons model ook bij moeilijke keuzemomenten bij andere aandoeningen te gebruiken.

Verwachten jullie nog grote uitdagingen in het project?

Rosa: De uitwerking van de methode voor ouders is nog wel een uitdaging. En omdat er momenteel wat minder NEC-patiënten zijn verloopt het verzamelen van keuze-uitkomsten en daarmee de controle van de betrouwbaarheid van ons model wat langzamer.

Doen jullie nog ander onderzoek op het gebied van NEC bij kinderen?

Jan: Ja zeker! We onderzoeken bij (extreem) te vroeg geboren kinderen of NEC te voorspellen is. Inmiddels doen er 120 kinderen aan dit onderzoek mee; in totaal zijn 150 kinderen nodig. Ook bestuderen we de verschillen in het ontstaan van NEC tussen extreem te vroeg geboren kinderen geboren en wat minder te vroeg geboren kinderen. Hopelijk is met deze inzichten mogelijk het ontstaan van NEC te voorkomen

Wat willen jullie nog bereiken in de toekomst?

Rosa: Ik zie veel mogelijkheden voor AI-toepassingen in de medische wereld en daarom ga ik daar mee door. Ik kijk waar de behoefte is en waar AI inzetbaar is om artsen te ondersteunen.
Otis: Met mijn promotieonderzoek onderzoek ik de ontwikkeling en chirurgische behandeling van NEC bij extreem te vroeg geboren kinderen met het doel om de gezonde overlevingskans te vergroten. Het werken als arts wil ik graag combineren met het doen van wetenschappelijk onderzoek. Ook blijf ik nieuwe medische inzichten en toepassingen op AI-gebied volgen, met vooral interesse in de chirurgie.
Jan: Ik ben kinderchirurg geworden omdat ik ‘verliefd’ werd op de ziekte NEC. Nog steeds weten we onvoldoende over hoe NEC ontstaat, hoe het is vast te stellen en welke behandeling effectief is. Mijn streven is vóór mijn pensioen een antwoord op één van deze vragen te hebben!

Publicaties

Publicatie waarin de pilot voorafgaand aan dit onderzoek staat beschreven:
Ten Broeke A, Hulscher J, Heyning N, Kooi E, Chorus C. BAIT: A New Medical Decision Support Technology Based on Discrete Choice Theory. Med Decis Making. 2021;41(5):614-619. doi:10.1177/0272989X211001320


De recente publicatie over het lopende onderzoek:
Van Varsseveld OC, Ten Broeke A, Chorus CG, Heyning N, Kooi EMW, Hulscher JBF. Surgery or comfort care for neonates with surgical necrotizing enterocolitis: Lessons learned from behavioral artificial intelligence technology. Front Pediatr. 2023;11:1122188. Published 2023 Feb 28. doi:10.3389/fped.2023.1122188