close
Share with your friends

Tegenwoordig worden veel beslissingen genomen op basis van voorspellingen van zelflerende algoritmes. Zeker als voorspellingen snel gedaan moeten worden, bijvoorbeeld om COVID-19 beleid op te stellen, zijn die voorspellingen niet altijd even betrouwbaar. We informeren u graag over twee beruchte valkuilen bij het doen van AI-voorspellingen, en waar u op kunt letten om die valkuilen te vermijden.

Algoritmes zijn volledig afhankelijk van de kwaliteit van de data die je erin stopt. De dataset moet namelijk groot genoeg en representatief zijn, en het systeem heeft tijd nodig om te leren. De COVID-19 voorspellingen van de afgelopen maanden kónden daarom nog niet volledig betrouwbaar zijn.

Actief leren leidt tot bias, en bias tot voorspellingsproblemen

Een algoritme voorspelt op basis van data, statistische aannames en wiskundige modellen. Bij een nieuw systeem nodigt de data eigenlijk alleen uit tot observeren en leren, voordat het algoritme voldoende ervaringen heeft om voorspellingen te kunnen doen. In veel gevallen, zoals bij COVID-19, moeten er echter al conclusies getrokken worden op basis van eerste data. Het algoritme heeft daarom de afgelopen maanden direct voorspellingen gedaan op basis van ervaringen tíjdens het proces van dataverzameling. Door dit ‘actieve leren’ ontstaat een voorspellingsprobleem in de vorm van popularity bias en survivorship bias. 

Popularity Bias

Popularity bias kan optreden bij de start van een actief lerend algoritme. De voorspellingen van een actief lerend algoritme dienen meestal als aanbevelingen voor een gebruiker van het systeem, en die gebruiker pleegt interventies op basis van die aanbevelingen. De interventie bevestigt vervolgens voor het algoritme dat de aanbeveling goed (of fout) was, en daarvan leert het algoritme. Alleen zullen die aanbevelingen door popularity bias een blijvende impact achterlaten op de ervaringen die het zelflerende systeem op kan doen. Testen we bijvoorbeeld in de COVID crisis meer Brabanders op basis van onze aannames? Is de data die in de dataset terecht komt dan nog wel representatief voor de rest van de Nederlandse bevolking?

Popularity bias leert ons dat we goed moeten kijken naar de eigenschappen van het dataverzamelings- en algoritmeleerproces dat we zelf in gang zetten: de interventies beïnvloeden namelijk de voorspellingen.

Survivorship Bias

Een ander, vergelijkbaar risico is survivorship bias: er wordt alleen gekeken naar de eigenschappen van geselecteerde kandidaten. Daarnaast voorspelt het algoritme op basis van ervaringen uit het voltooide verleden. Daarbij mist informatie van niet geselecteerde kandidaten en van gepleegde interventies. Met andere woorden, de dataset is niet in balans. Bij COVID-19 zijn de nationale data vanwege de gepleegde interventies bij een selectie aan kandidaten (wel of geen beademing bijvoorbeeld) niet meer representatief voor de hele bevolking. En als we onze voorspellingen baseren op data uit andere landen, zijn we afhankelijk van de interventies die daar plaats hebben gevonden. Dit betekent dat we rekening moeten houden met de eigenschappen en geschiedenis van het proces waarin de dataset tot stand is gekomen.

Representativiteit door inzicht in proces

Bij beide hebben we te maken met een selectiebias: de dataset is niet representatief voor de omgeving waarin de voorspelling gedaan moet worden. Alles valt of staat met de data uit de dataset. We zijn zelf verantwoordelijk voor de kwaliteit van data en die kwaliteit begint bij inzicht in processen: processen van dataverzameling, hoe de dataset tot stand is gekomen, de geschiedenis en eigenschappen daarvan, en het proces waarin het algoritme leert op basis van interventies. Alleen als alle informatie over dit gehele proces duidelijk is, kunnen we representatieve steekproeven nemen en leren van die ervaringen. In het whitepaper wordt hier dieper op ingegaan. 

Beheers uw algoritmes

Mogelijk heeft u in AI geïnvesteerd of staat u op het punt dat te doen.  Maar hoe haalt u álles eruit wat erin zit?  Hoe plukt u de vruchten van uw AI-investeringen? 

In het paper 'Beheers uw algoritmes' geven we inzicht in de randvoorwaarden en specifiek op de kritieke succesfactor: de kwaliteit van AI-toepassingen. Het gaat in op de vraag wát kwaliteit is, welke belangrijke rol de data daarin speelt en hoe de kwaliteit van AI-toepassingen concreet bijdraagt aan een optimaal resultaat van uw AI-investering. En laat zien hoe deze randvoorwaarden het best georganiseerd kunnen worden. 

Contact

Voor meer informatie over onze AI-services, kunt u contact opnemen met Frank van Praat, senior manager Trusted Analytics of Alexander Boer, manager Trusted Analytics.