HUE: bridging AI representations to Human-Understandable Explanations
Bij het overwegen van verklaringen voor het gedrag van een AI-model, bijvoorbeeld verklaringen van het type "wat vond het model belangrijk bij het produceren van deze output", kan confirmation bias ons doen geloven dat een machine betrouwbaar is omdat een paar verklaringen overeenkomen met onze overtuigingen.
Om deze situaties te voorkomen, zal het project HUE proberen confirmation bias te verminderen door te onderzoeken hoe verklaringen aansluiten bij concepten die door mensen begrepen kunnen worden. Als onze methode succesvol is, kunnen we AI 'doorlichten' en controleren of het voldoet aan onze eisen, of juist schadelijk gedrag vertoont. Dit werk bouwt voort op een bestaand conceptueel raamwerk en zal verschillende disciplines met elkaar verbinden door het raamwerk te testen en uit te breiden van medische AI naar Natural Language Processing en Computer Vision. De toepassing op medische use cases is al interessant voor industriële partners.
Projectteam:
- Giovanni Cinà (FdG)
- Sandro Pezzelle (FNWI)