Algoritmes zetten we in de regel in om op basis van data over het verleden voorspellingen te doen en op basis van die voorspellingen beslissingen te nemen die de toekomst beïnvloeden. In hoeverre die voorspelling uitlegbaar dient te zijn hangt af van de rol die de voorspelling speelt in de bijbehorende beslissing. En vooral van de aard en impact van de beslissing.
Er is nogal wat maatschappelijke onrust omtrent de uitlegbaarheid en transparantie van algoritmes. Ook in de recente uitspraak over SyRI zien we dat. Op deze uitspraak hebben wij als Trusted Analytics team eerder commentaar gegeven. De kwaliteit van de voorspellingen die dit systeem doet was helemaal niet aan de orde volgens de rechtbank, ondanks pogingen van de betrokken partijen ook deze aan de orde te stellen. Het ging uiteindelijk over de uitlegbaarheid van deze voorspellingen en de transparantie van het systeem.
In de discussie over uitlegbare algoritmes wordt de focus vaak eenzijdig gelegd op technische uitlegbaarheid, dat wil zeggen: een verklaring van hoe input variabelen bijdragen aan een output van het algoritme die uitgelegd moet worden. Dit wordt vaak de interpretability van het algoritme genoemd. Dat is belangrijk omdat we dan kunnen zien hoe het algoritme werkt. Wetenschappers hebben dit probleem opgepakt door algoritmes te ontwikkelen, zoals bijvoorbeeld SHAP en LIME, die de uitlegtaak voor hun rekening kunnen nemen. Toch is deze technische uitlegbaarheid maar één aspect van het probleem. Een uitleg-algoritme is lang niet altijd de oplossing. Een focus op deze beperkte vorm van uitlegbaarheid mist de redenen waarom en hoe een algoritme uitlegbaar zou moeten zijn, en daar zit het grootste deel van de oorzaak van de onrust bij belanghebbenden. Wat we eisen van uitlegbaarheid varieert per algoritme-toepassing. Aan SyRI werden hoge eisen gesteld. Dat komt door wat het systeem doet.
Algoritmes zetten we in de regel in om op basis van data over het verleden voorspellingen te doen en op basis van die voorspellingen beslissingen te nemen die de toekomst beïnvloeden. In hoeverre die voorspelling uitlegbaar dient te zijn hangt af van de rol die de voorspelling speelt in de bijbehorende beslissing. En vooral van de aard en impact van de beslissing.
De behoefte aan uitlegbaarheid is namelijk sterk afhankelijk van de impact van de beslissing op belanghebbenden. Meestal is die impact bedoeld. Als je bijvoorbeeld beslist of iemand wel of niet een hypotheeklening krijgt. Soms zijn het onbedoelde bijkomende effecten. Een routeplanner die vrachtwagens door een woonwijk stuurt veroorzaakt bijvoorbeeld onbedoelde overlast. Hoe groter de impact, hoe zwaarder de bewijslast die we aan die beslissing koppelen.
De bewijslast bij een beslissing is de plicht bewijs te leveren van bepaalde feiten die de beslissing rechtvaardigen. Soms wordt deze plicht formeel vastgelegd in de vorm van regels. Bij de overheid kennen we bijvoorbeeld het motiveringsbeginsel als één van de beginselen van behoorlijk bestuur. De overheid neemt beslissingen over de rechtspositie van individuen. Bovendien kunnen die individuen die beslissingen in veel gevallen redelijkerwijs niet vermijden. De overheid is op een aantal gebieden een monopolist, en draagt daarom een bijzondere verantwoordelijkheid. Vandaar het ongemak bij het gebrek aan uitlegbaarheid van SyRI.
Maar normaal gesproken moet bij iedere beslissing met impact op anderen aan een bewijslast voldaan worden. En bewijslast neemt toe naarmate de beslissing die genomen wordt grotere gevolgen heeft. Bijvoorbeeld voor de financiële positie, informatiepositie, rechtspositie of waardigheid van degenen die belanghebbend zijn bij de beslissing.
De voornaamste functie van bewijslast is de beslissing betwistbaar maken. Als niet duidelijk is waarom een beslissing genomen wordt, kan een neutrale derde partij ook niet beoordelen of die beslissing te rechtvaardigen is. En als die beslissing genomen wordt aan de hand van onjuiste, maar ondoorzichtige aannames over feiten, dan is het ook niet effectief mogelijk voor een belanghebbende om tegen die aannames in te gaan door bewijs van het tegendeel te leveren. En dat is bij de inzet van Artificial Intelligence nogal eens een probleem.
Het is vaak moeilijk uit te leggen hoe een algoritme op basis van data tot een voorspelling is gekomen als mensen met diezelfde data niet tot dezelfde voorspelling kunnen komen. De mens is daarbij een hele belangrijke toetssteen: we vragen bijvoorbeeld niet om inhoudelijke uitleg van een gezichtsherkenning, omdat we dat van een mens ook niet kunnen vragen. Ook bij een algoritme nemen we dan vaak genoegen met algemene gegevens over de betrouwbaarheid van dat algoritme. Als het algoritme daarentegen uit data die we wél goed begrijpen dingen afleidt die wij als mensen niet hadden kunnen voorspellen uit die data, dan willen we graag een uitleg. En dat is terecht.
De kern van het uitlegbaarheidsprobleem zit vaak in de manier waarop data gebruikt wordt. Het nut van big data bestaat uit de mogelijkheid om proxies, vervangers, te vinden van verborgen variabelen waarvan we eigenlijk de waarde willen weten. Het geheel van mijn betalingsgeschiedenis is bijvoorbeeld een waardevolle proxy voor mijn betalingsdiscipline in de toekomst, en die speelt een verdedigbare rol bij het inschatten van mijn kredietwaardigheid. Natuurlijk mag een kredietverstrekker inschatten hoe groot het risico is dat ze nemen als ze mij geld verstrekken. Op dezelfde manier is mijn dagelijkse busreis van en naar mijn werk een waardevolle proxy voor mijn reisgedrag in de nabije toekomst, en die speelt een verdedigbare rol bij het bepalen van de nieuwe dienstregelingen van een busmaatschappij.
Maar deze proxies zijn niet volledig betrouwbaar. Ik kan bovenstaande veronderstellingen betwisten met aanvullende informatie. Tegenover de kredietverstrekker bijvoorbeeld als mijn betalingsgeschiedenis het gevolg is van een inmiddels opgehelderde identiteitsdiefstal. Tegenover de busmaatschappij als ik net veranderd ben van baan en nu met een andere buslijn naar het werk zal gaan, en daar als vaste passagier meegeteld wil worden. Ik claim dan als het ware een uitzonderingspositie: de proxy voorspelt in mijn individuele geval niet de waarde van de variabele die verdedigbaar als bewijs mocht dienen voor de beslissing.
Big data als proxy heeft vaak betrekking op zeer stabiele kenmerken. Kenmerken van mij die statistisch gezien niet vaak veranderen. Zoals die betalingsdiscipline of dat reisgedrag. Dat maakt die data lang houdbaar en dus waardevol en goed verhandelbaar in het bedrijfsleven. Dat is bijvoorbeeld ook waarom websites liever naar je geboortedatum vragen dan naar je leeftijd. Een geboortedatum is namelijk ook lang houdbaar en bovendien ook nog eens een 100% betrouwbare voorspeller van je leeftijd in toekomstige contacten waarbij je leeftijd een factor van belang is.
Maar die houdbaarheid is precies één van de essentiële kenmerken van gevoelige data op basis waarvan mensen zich gediscrimineerd of uitgesloten kunnen voelen. Je verandert bijvoorbeeld ook niet zomaar van ras, geslacht, religie of seksuele voorkeur. Op dezelfde manier dragen we nu steeds meer lang houdbare proxy labels met ons mee, die gemiddeld vaak wel kloppen, maar in individuele gevallen regelmatig niet. Of die wel klopten, maar nu niet meer.
