AI-modellen kunnen veel taken uitvoeren, maar ze worden ook steeds complexer. Het vakgebied Explainable AI (XAI) houdt zich bezig met het ontrafelen van het complexe gedrag van deze modellen om het voor mensen begrijpelijk te maken. In het project HUE: bridging AI representations to Human-Understandable Explanations ontwikkelen onderzoekers Giovanni Cinà (Faculteit der Geneeskunde) en Sandro Pezzelle (Faculteit der Natuurwetenschappen, Wiskunde en Informatica) een methode die het mogelijk maakt om AI-modellen ‘door te lichten’ en transparanter te maken.

Confirmation bias

‘Veel AI-modellen zijn black boxes’, legt Pezzelle uit. ‘We kunnen ze voeden met een heleboel data en ze kunnen een voorspelling doen – die al dan niet correct kan zijn – maar we weten niet wat er intern gebeurt.’ Dat is problematisch, want we zijn geneigd de output te interpreteren volgens onze eigen verwachtingen. Die neiging noemen we ook wel ‘confirmation bias’.

Cinà: ‘We zijn eerder geneigd verklaringen te geloven die overeenkomen met onze eerdere overtuigingen. We geloven makkelijker dingen die ons logisch lijken, en dat kan ertoe leiden dat we modellen vertrouwen die niet betrouwbaar zijn. Dat is een groot probleem, bijvoorbeeld wanneer we AI-modellen gebruiken om medische gegevens te interpreteren en zo ziektes op te sporen. Onbetrouwbare modellen kunnen artsen gaan beïnvloeden, en dat kan ertoe leiden dat zij verkeerde diagnoses stellen.

Verklaringen onderzoeken

De onderzoekers ontwikkelen een methode om deze confirmation bias te beperken. ‘We proberen ervoor te zorgen dat wat we denken dat het model doet, overeenkomt met wat het daadwerkelijk doet’, vertelt Cinà. ‘Om een model transparanter te maken, moeten we een aantal verklaringen onderzoeken voor waarom het met bepaalde voorspellingen komt.’ Daarvoor ontwikkelen de onderzoekers een kader waarmee ze voor mensen begrijpelijke hypotheses kunnen formuleren over wat het model heeft geleerd, en deze nauwkeuriger kunnen testen.

Pezzelle: ‘Onze methode kan worden toegepast op elk machine learning- of deep learning-model, zolang we het maar kunnen onderzoeken. Om die reden is een model als ChatGPT geen goede kandidaat: we hebben er geen inzage in, we krijgen alleen de uiteindelijke output. Onze methode werkt alleen met modellen die open source zijn.

Geïntegreerde aanpak

Cinà en Pezzelle, die verschillende academische achtergronden hebben – respectievelijk medische AI en Natural Language Processing (NLP) – hebben hun krachten gebundeld om een methode te ontwikkelen die in verschillende vakgebieden kan worden toegepast. Pezzelle: ‘Oplossingen die in een van deze disciplines worden voorgesteld, bereiken op dit moment niet altijd ook andere vakgebieden. Ons doel is dus om een meer geïntegreerde aanpak te creëren.

Cinà: ‘Dat is een technische uitdaging, en ook een uitdaging op het gebied van expertise: we praten over systemen die in grote lijnen op elkaar lijken, maar we gebruiken heel verschillende terminologie. Maar tegelijkertijd is het heel waardevol om gebruik te kunnen maken van elkaars expertise.’