Betrouwbare algoritmes: wat bedrijven kunnen leren van overheden

Zet de burger centraal. Zo beargumenteerde we in eerdere blogs over overheden die streven naar verantwoorde algoritmes. Voor commerciële organisaties geldt hetzelfde, al gaat het dan om hun klanten. Een gemeente die met een voorspellend model naar uitkeringsfraude speurt, is namelijk niet anders dan een bank die algoritmisch bepaalt of een klant kredietwaardig is. In beide gevallen heeft de uitkomst van het algoritme potentieel grote gevolgen voor het individu. Nieuwe wetgeving zoals de Europese AI wet (1) ziet risicoanalyses als oplossing. Maar voor commerciële organisaties is er in vergelijking tot overheden een complicerende factor: veel belanghebbenden, met dito zoveel belangen.

Commerciële organisaties hebben met veel verschillende belangen rekening te houden. Klanten, werknemers, directie, aandeelhouders, de wetgever en maatschappij hebben op hun eigen manier allemaal baat bij een goed functionerende organisatie. Klanten willen vooral goede, betaalbare producten of diensten, aandeelhouders een efficiënte winstgevende organisatie en medewerkers  willen zich kunnen ontplooien, werken in een prettige omgeving en een goed salaris. De verschillende behoeften en belangen spelen ook een rol bij de inzet van algoritmes. Zo is het voor de klant van een verzekeraar het beste om een zo laag mogelijke verzekeringspremie te bepalen, vraagt de wetgever verzekeraars om te handelen uit het solidariteitsprincipe en zouden aandeelhouders het aantal risicovolle klanten het liefste niet teveel laten oplopen, of een bijna onbetaalbare premie doorbelasten. Drie belangen die bij één algoritme spelen en met elkaar conflicteren.

Hoe verschillende belangen moet worden meegewogen in een risicoanalyse blijft in de nieuwe AI-wetgeving onduidelijk. De wet is erop gericht om de kwaliteit te garanderen van algoritmes met impact. Met een risicoanalyse wordt afgedwongen dat organisaties al tijdens het ontwikkelen van een algoritme nadenken over wat er mis kan gaan bij de latere inzet. Maatregelen moeten er vervolgens voor zorgen dat problemen worden voorkomen. Hoe een dergelijke risicoanalyse eruit moet zien laat de voorgestelde wet nog open. Een gemiste kans, want juist het moment van een risicoanalyse is bij uitstek geschikt om per belanghebbende in kaart te brengen wat bepaalde uitkomsten voor hen betekent. De conflictsituaties die uit de analyse ontstaan kan je als organisatie maar beter tijdig weten om er op te kunnen anticiperen. De eerder genoemde verzekeraar zal bij het bepalen van de premie een algoritme dus zo moeten afstellen dat solidariteit en winstgevendheid samen komen.

Maar een risicoanalyse gaat verder dan alleen het uitwerken van de negatieve gevolgen voor de belanghebbenden. Er spelen meer onderwerpen. Deze blog is de laatste uit een reeks van 6, waarbij een aantal van die onderwerpen al aan bod zijn gekomen. Niet als onderdeel van de risicoanalyse zelf, maar wel als voorwaarde, is het om te beginnen essentieel om te weten welke algoritmes een organisatie gebruikt (artikel 1). Pas dan kunnen de risico's ervan geanalyseerd (artikel 2). Vervolgens zijn principes als transparantie en uitlegbaarheid belangrijk. Niet als doel op zich, maar als factor in de weg naar betrouwbare algoritmes. Als organisatie zal je immers moeten kunnen uitleggen wat je doet (artikel 3). De toenemende inzet van data en algoritmes leidt ook tot nieuwe ethische uitdagingen en dilemma's (artikel 4). Op welke gronden mag een algoritme een besluit nemen? Juist als er persoonlijke informatie mee is gemoeid. Het is dan ook van belang om ethische principes op te stellen en te operationaliseren. Nadat een algoritme is ontwikkeld en operationeel is, is het essentieel om te blijven leren. Niet alleen dient het model verder ontwikkeld te worden, maar medewerkers dienen ook van de juiste kennis en risicobewustzijn te bezitten (artikel 5). Tenslotte zal onafhankelijk toezicht waarborgen dat de analyses juist worden uitgevoerd. En dat de maatregelen die zijn bedacht ook worden nageleefd.

Met de introductie van de ESG-wetgeving komt er nog één perspectief bij. Er wordt steeds meer geschreven over algoritmes die maatschappij ontwrichtend kunnen werken. Bijvoorbeeld de algoritmes die gebruikers zo lang mogelijk op sociale media moeten houden door gebruikers in bestaande denkbeelden te blijven bevestigen. Het gevaar van fake news en complotdenken ligt op de loer. Of algoritmes geautomatiseerd beprijzen op basis van de prijzen van concurrenten. Hier ligt kartelvorming op de loer. Een individueel algoritme zal niet zo snel hiertoe leiden, maar in de combinatie ontstaan weldegelijk reële risico's. Door tijdens een risicoanalyse de inzet van een algoritme vanuit de bredere maatschappelijke context te bekijken, zullen ook deze potentiële negatieve gevolgen naar voren komen.

Risicoanalyses zijn voor commerciële organisaties een belangrijk startpunt om verantwoorde algoritmes in te zetten. Het perspectief van de klant is daarbij cruciaal, al is een balans tussen andere belanghebbenden en de maatschappij minstens zo van belang. De conflicten die hieruit ontstaan moeten worden opgelost door het management. De specifieke keuzes en maatregelen zorgen dat de risico's zo goed mogelijk worden beheerst. Wanneer u vervolgens uw risico's in kaart heeft, en u aan de wetgeving voldoet resteert er nog één belangrijke vraag. nu we weten dat het mag, willen we het dan ook?

Wilt u meer informatie over dit onderwerp of over onze AI-services? Neem dan contact op met Frank van Praat, director Trusted Analytics.