Uitlegbaarheid gaat wat mij betreft over beide aspecten. Allereerst uitlegbaar sec, kunnen we reconstrueren op basis waarvan de AI tot een conclusie kwam. Ten tweede hoe die basis, die factoren te vertalen naar iets waar mensen wat mee kunnen.
Voorbeelden bij een AI die leningen beoordeelt en in deze gevallen afwijst:
a) Uw leenbedrag was meer dan 12.000 euro, uw BKR notering is zeer negatief, uw bankrekening staat elke maand zwaar rood
b) Uw leenbedrag zat tussen 8.568 en 12.535, u pint begin van de maand bij Albert Heijn, uw autoverzekering werd drie maal dit jaar niet geïncasseerd door roodstaan, u koopt vaak bij coffeeshop Koos Koets
c) Node 4541230 en 32986812 wogen zeer zwaar en drukten nodes 1289 en 24756732 weg, de overige nodes droegen slechts 0.234% van de uitkomst.
Bij a en b hebben we de relevante factoren, bij c is er werkelijk geen uitleg behalve dat in dat neural net bepaalde nodes actief waren.
Bij a kunnen we de factoren vertalen naar een menselijke motivatie, dit zijn typische negatieve signalen bij een leningaanvraag. Maar hoe verklaarbaar is de afwijzing in b?
.
