close
Share with your friends

Uitlegbaarheid en betwistbaarheid van algoritmes

Uitlegbaarheid en betwistbaarheid van algoritmes

Algoritmes zetten we in de regel in om op basis van data over het verleden voorspellingen te doen en op basis van die voorspellingen beslissingen te nemen die de toekomst beïnvloeden. In hoeverre die voorspelling uitlegbaar dient te zijn hangt af van de rol die de voorspelling speelt in de bijbehorende beslissing. En vooral van de aard en impact van de beslissing.

Frank van Praat

Senior manager

KPMG Nederland

Contact

Gerelateerde content

Uitlegbaarheid en betwistbaarheid van algoritmes

Er is nogal wat maatschappelijke onrust omtrent de uitlegbaarheid en transparantie van algoritmes. Ook in de recente uitspraak over SyRI zien we dat. Op deze uitspraak hebben wij als Trusted Analytics team eerder commentaar gegeven. De kwaliteit van de voorspellingen die dit systeem doet was helemaal niet aan de orde volgens de rechtbank, ondanks pogingen van de betrokken partijen ook deze aan de orde te stellen. Het ging uiteindelijk over de uitlegbaarheid van deze voorspellingen en de transparantie van het systeem.

In de discussie over uitlegbare algoritmes wordt de focus vaak eenzijdig gelegd op technische uitlegbaarheid, dat wil zeggen: een verklaring van hoe input variabelen bijdragen aan een output van het algoritme die uitgelegd moet worden. Dit wordt vaak de interpretability van het algoritme genoemd. Dat is belangrijk omdat we dan kunnen zien hoe het algoritme werkt. Wetenschappers hebben dit probleem opgepakt door algoritmes te ontwikkelen, zoals bijvoorbeeld SHAP en LIME, die de uitlegtaak voor hun rekening kunnen nemen. Toch is deze technische uitlegbaarheid maar één aspect van het probleem. Een uitleg-algoritme is lang niet altijd de oplossing. Een focus op deze beperkte vorm van uitlegbaarheid mist de redenen waarom en hoe een algoritme uitlegbaar zou moeten zijn, en daar zit het grootste deel van de oorzaak van de onrust bij belanghebbenden. Wat we eisen van uitlegbaarheid varieert per algoritme-toepassing. Aan SyRI werden hoge eisen gesteld. Dat komt door wat het systeem doet.

Algoritmes zetten we in de regel in om op basis van data over het verleden voorspellingen te doen en op basis van die voorspellingen beslissingen te nemen die de toekomst beïnvloeden. In hoeverre die voorspelling uitlegbaar dient te zijn hangt af van de rol die de voorspelling speelt in de bijbehorende beslissing. En vooral van de aard en impact van de beslissing.

Impact op belanghebbenden

De behoefte aan uitlegbaarheid is namelijk sterk afhankelijk van de impact van de beslissing op belanghebbenden. Meestal is die impact bedoeld. Als je bijvoorbeeld beslist of iemand wel of niet een hypotheeklening krijgt. Soms zijn het onbedoelde bijkomende effecten. Een routeplanner die vrachtwagens door een woonwijk stuurt veroorzaakt bijvoorbeeld onbedoelde overlast. Hoe groter de impact, hoe zwaarder de bewijslast die we aan die beslissing koppelen.

De bewijslast bij een beslissing is de plicht bewijs te leveren van bepaalde feiten die de beslissing rechtvaardigen. Soms wordt deze plicht formeel vastgelegd in de vorm van regels. Bij de overheid kennen we bijvoorbeeld het motiveringsbeginsel als één van de beginselen van behoorlijk bestuur. De overheid neemt beslissingen over de rechtspositie van individuen. Bovendien kunnen die individuen die beslissingen in veel gevallen redelijkerwijs niet vermijden. De overheid is op een aantal gebieden een monopolist, en draagt daarom een bijzondere verantwoordelijkheid. Vandaar het ongemak bij het gebrek aan uitlegbaarheid van SyRI.

Maar normaal gesproken moet bij iedere beslissing met impact op anderen aan een bewijslast voldaan worden. En bewijslast neemt toe naarmate de beslissing die genomen wordt grotere gevolgen heeft. Bijvoorbeeld voor de financiële positie, informatiepositie, rechtspositie of waardigheid van degenen die belanghebbend zijn bij de beslissing.

Uitlegbaarheid en de functie van bewijslast

De voornaamste functie van bewijslast is de beslissing betwistbaar maken. Als niet duidelijk is waarom een beslissing genomen wordt, kan een neutrale derde partij ook niet beoordelen of die beslissing te rechtvaardigen is. En als die beslissing genomen wordt aan de hand van onjuiste, maar ondoorzichtige aannames over feiten, dan is het ook niet effectief mogelijk voor een belanghebbende om tegen die aannames in te gaan door bewijs van het tegendeel te leveren. En dat is bij de inzet van Artificial Intelligence nogal eens een probleem.

Het is vaak moeilijk uit te leggen hoe een algoritme op basis van data tot een voorspelling is gekomen als mensen met diezelfde data niet tot dezelfde voorspelling kunnen komen. De mens is daarbij een hele belangrijke toetssteen: we vragen bijvoorbeeld niet om inhoudelijke uitleg van een gezichtsherkenning, omdat we dat van een mens ook niet kunnen vragen. Ook bij een algoritme nemen we dan vaak genoegen met algemene gegevens over de betrouwbaarheid van dat algoritme. Als het algoritme daarentegen uit data die we wél goed begrijpen dingen afleidt die wij als mensen niet hadden kunnen voorspellen uit die data, dan willen we graag een uitleg. En dat is terecht.

Verborgen variabelen

De kern van het uitlegbaarheidsprobleem zit vaak in de manier waarop data gebruikt wordt. Het nut van big data bestaat uit de mogelijkheid om proxies, vervangers, te vinden van verborgen variabelen waarvan we eigenlijk de waarde willen weten. Het geheel van mijn betalingsgeschiedenis is bijvoorbeeld een waardevolle proxy voor mijn betalingsdiscipline in de toekomst, en die speelt een verdedigbare rol bij het inschatten van mijn kredietwaardigheid. Natuurlijk mag een kredietverstrekker inschatten hoe groot het risico is dat ze nemen als ze mij geld verstrekken. Op dezelfde manier is mijn dagelijkse busreis van en naar mijn werk een waardevolle proxy voor mijn reisgedrag in de nabije toekomst, en die speelt een verdedigbare rol bij het bepalen van de nieuwe dienstregelingen van een busmaatschappij.

Maar deze proxies zijn niet volledig betrouwbaar. Ik kan bovenstaande veronderstellingen betwisten met aanvullende informatie. Tegenover de kredietverstrekker bijvoorbeeld als mijn betalingsgeschiedenis het gevolg is van een inmiddels opgehelderde identiteitsdiefstal. Tegenover de busmaatschappij als ik net veranderd ben van baan en nu met een andere buslijn naar het werk zal gaan, en daar als vaste passagier meegeteld wil worden. Ik claim dan als het ware een uitzonderingspositie: de proxy voorspelt in mijn individuele geval niet de waarde van de variabele die verdedigbaar als bewijs mocht dienen voor de beslissing.

Big data als proxy heeft vaak betrekking op zeer stabiele kenmerken. Kenmerken van mij die statistisch gezien niet vaak veranderen. Zoals die betalingsdiscipline of dat reisgedrag. Dat maakt die data lang houdbaar en dus waardevol en goed verhandelbaar in het bedrijfsleven. Dat is bijvoorbeeld ook waarom websites liever naar je geboortedatum vragen dan naar je leeftijd. Een geboortedatum is namelijk ook lang houdbaar en bovendien ook nog eens een 100% betrouwbare voorspeller van je leeftijd in toekomstige contacten waarbij je leeftijd een factor van belang is.

Maar die houdbaarheid is precies één van de essentiële kenmerken van gevoelige data op basis waarvan mensen zich gediscrimineerd of uitgesloten kunnen voelen. Je verandert bijvoorbeeld ook niet zomaar van ras, geslacht, religie of seksuele voorkeur. Op dezelfde manier dragen we nu steeds meer lang houdbare proxy labels met ons mee, die gemiddeld vaak wel kloppen, maar in individuele gevallen regelmatig niet. Of die wel klopten, maar nu niet meer.

Betwistbaarheid als eis

De belangrijkste eis die je aan een algoritme mag stellen is dat de beslissingen van het algoritme voldoende betwistbaar zijn. Contestability noemen wij dat liever, om het te onderscheiden van een te technische interpretatie van explainability. Contestability is grotendeels een kwestie van organisatie rond het algoritme. Weten de belanghebbenden dát de beslissing genomen wordt en impact voor ze heeft? Kunnen zij toetsen op basis van welke vermeende feiten de beslissing genomen is? Kunnen zij op inhoudelijke gronden bezwaar maken tegen de automatische beslissing? Leidt dat ook tot een remedie voor hun individuele zaak? Leidt dat ook tot een heroverweging van de manier waarop het algoritme functioneert voor een eventueel nieuw ontdekte groep mensen? Leidt dat tot een aanpassing van het systeem? Met het functioneren van het algoritme zelf heeft dat niet heel veel te maken.

De rol van uitlegbaarheid

Uitlegbaarheid in de brede zin van het woord speelt hierin wel een belangrijke rol. Maar de eerdergenoemde technische uitlegbaarheid van algoritmes lang niet altijd. Het Trusted Analytics team van KPMG geeft verschillende adviezen afhankelijk van het doel van het algoritme dat ze onder ogen krijgt. Soms is het gewoon niet het middel dat mensen nodig hebben om een beslissing te betwisten. Als gezichtsherkenning bijvoorbeeld tot onrecht leidt, dan zal uitlegbaarheid meer gaan om de algemene betrouwbaarheid van die vorm van gezichtsherkenning voor die individuele belanghebbende of de (mogelijk beschermde) groep waartoe die behoort. De juiste testen uitvoeren op het algoritme om de juiste vragen te beantwoorden volstaat dan. En die informatie delen voldoet dan voor uitlegbaarheid en transparantie.

Daarnaast kan de beslissingsprocedure vaak ook zo opgezet worden dat de relevante feiten vanzelf voldoende betwistbaar zijn. Neem het voorbeeld van de kredietverstrekker. Op basis van dezelfde set betaalgegevens kan deze wellicht zowel inkomen, vermogenspositie als betaaldiscipline afleiden met een algoritme. Als je afzonderlijk op basis van ieder van die criteria afgewezen kan worden, dan ligt het voor de hand om die drie als outputs van elkaar te onderscheiden. Als door het ontwerp van het algoritme heel inzichtelijk is welke specifieke feiten voorspeld worden uit welke specifieke data, dan voegt technische uitlegbaarheid vaak weinig meer toe. Een deugdelijke probleemanalyse, met voldoende betrokkenheid van belanghebbenden, levert dan een algoritme met voldoende uitlegbare outputs op.

In de overblijvende gevallen is technische uitlegbaarheid aan de hand van algoritmes als SHAP en LIME een mogelijke oplossing. En zelfs dan hoop je dat de ontwikkelaars van het algoritme dat blijkbaar zó ondoorzichtig is dat het automatisch uitgelegd moet worden, deze algoritmes eerst als analysemiddel toegepast hebben om hun probleemanalyse scherper te krijgen. En dat de uiteindelijke ontwerpbeslissing om uitlegbaarheid over te laten aan een tweede algoritme zelf voldoende verdedigbaar is.

Wilt u meer informatie over dit onderwerp, of rechtstreeks contact? Neem dan contact op met de auteur van dit blog Alexander Boer, (020) 426 2634 of per e-mail.

Het team van Trusted Analytics adviseert met haar AI in Control dienstverlening, organisaties die algoritmes ontwikkelen over risico's op het gebied van onder andere integriteit, eerlijkheid, uitlegbaarheid, robuustheid en aansprakelijkheid, en de inrichting van beheersingsmaatregelen voor deze risico's. Daarnaast doet zij ook beoordelingen van algoritmes en de organisatie van beheersingsmaatregelen rond algoritmes.

© 2020 KPMG N.V., registered with the trade register in the Netherlands under number 34153857, is a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative ('KPMG International'), a Swiss entity. All rights reserved. KPMG International Cooperative ('KPMG International') is a Swiss entity. Member firms of the KPMG network of independent firms are affiliated with KPMG International. KPMG International provides no client services. No member firm has any authority to obligate or bind KPMG International or any other member firm vis-à-vis third parties, nor does KPMG International have any such authority to obligate or bind any member firm.

Neem contact met ons op

 

Wilt u een offerte van ons ontvangen?

 

loading image Offerteaanvraag (RFP)