De onvoorspelbaarheid van COVID-19 De onvoorspelbaarheid van COVID-19
Kwalitatieve voorspellingen over COVID-19 zijn om een aantal redenen lastig te doen.
Over het verleden lijkt het vaak makkelijk om goede voorspellingen te doen. Je kent de uitkomst al, en terugkijkend volgt deze schijnbaar onherroepelijk uit de data die je eerder voorhanden had. Als voormalig Artificial Intelligence-wetenschapper beoordeel ik sinds een half jaar algoritmes bij het Trusted Analytics team van KPMG. Dit zijn in de regel zogenaamde lerende algoritmes, die voorspellingen doen op basis van ervaringen uit het verleden in een bepaalde taakomgeving.
Terwijl ik aan deze serie blogs over veelvoorkomende risico's bij de inzet van algoritmes begin is de wereld in de ban van het Coronavirus, of SARS-Cov-2, en gaan vele voorspellingen rond over hoe besmettelijk en hoe dodelijk de nieuwe virusziekte COVID-19 zal blijken te zijn. Deze voorspellingen zijn gebaseerd op data, op statistische aannames en op wiskundige modellen. De kans om dood te gaan als je met de ziekte gediagnosticeerd wordt is de case fatality rate, en die varieert in de voorspellingen van een beangstigende 15% tot een geruststellende 0.01%. Het reproduction number is het aantal mensen dat gemiddeld door een besmette patiënt zal worden besmet, en dat varieert tussen 2 en 4 personen. Al deze voorspellingen zijn vanuit mijn perspectief even onzeker, want betrouwbare scores zijn pas achteraf te bepalen, als de exponentiële groei van het aantal besmettingen onder controle is. Met betrouwbaar bedoel ik niet veel meer dan dat je met verschillende statistische aannames, verschillende wiskundige modellen en verschillende datasets tot ongeveer dezelfde scores gaat komen. Ik ben geen viroloog, maar ik snap heel goed waarom die scores in de huidige fase niet betrouwbaar kunnen zijn.
Corona als onbekend risico
Het probleem is dat de Corona-uitbraak te jong is. Een onbekend risico. Slechts een klein percentage van de eerste golven van ziektegevallen is al afdoende verklaard – dat wil zeggen hersteld of overleden. Een case fatality rate baseer je natuurlijk op een populatie die óf hersteld óf overleden is. Niet op een groeiende groep mensen die net ziek is geworden, en dus misschien nog overlijdt. Ondertussen zijn de virologen ook druk bezig met het opsporen van de mensen die besmet zijn met de ziekte. En de testen zijn schaars, dus we nemen aan dat we vele zieken niet gevonden hebben. De testen zijn helaas ook niet helemaal betrouwbaar, dus false positives vertekenen al snel ons beeld. Mag je bovendien de besmettingen die niet tot enige vorm van ziekte leiden meetellen voor de case fatality rate van een ziekte? Dat doe je voor een andere ziekte toch ook niet? En dan is er ook nog een groot verschil tussen dodelijk mét beademing en dodelijk zonder beademing. Als het aantal ziektegevallen blijft toenemen veroorzaakt een tekort aan beademingsapparatuur meer doden. Daarnaast wordt het inschatten van het reproduction number bemoeilijkt doordat tegelijkertijd meer of minder draconische interventies geïntroduceerd worden om de reproductie tegen te gaan.
Het probleem van actief leren
De kern van het probleem is dat je data probeert te accumuleren en middelen die je eigenlijk nog niet hebt. Deze data wordt per patiënt observeerbaar in de loop van een ziekteproces dat een dag of 20 beslaat. En dan alleen als je veel geluk hebt. Is iemand besmet? Wanneer werd iemand besmet? Wanneer werd iemand besmettelijk en hoeveel mensen werden besmet? Wanneer kreeg iemand ziekteverschijnselen? Wanneer vond de diagnose plaats? Wanneer was iemand hersteld of overleden? Alleen die diagnose en de vaststelling van overlijden zijn redelijk harde cijfers, hoewel zelfs deze betwistbaar zijn. Dit type voorspellingsprobleem noemen we bij de inzet van algoritmes actief leren: we doen voorspellingen op basis van ervaringen die we tijdens het proces van voorspellen aan het opdoen zijn. Het is dan van groot belang rekening te houden met de eigenschappen van het proces dat je aan het voorspellen bent.
Bij het inzetten van een nieuw algoritme doen zich vergelijkbare onbekende risico's voor die pas achteraf terugkijkend goed te becijferen zijn. Het algoritme zetten we in de regel in om op basis van ervaringen uit het verleden voorspellingen te doen en op basis van die voorspellingen beslissingen te nemen. Die risico's zijn heel reëel, maar natuurlijk meestal minder dramatisch. De interventies zijn ook minder draconisch. Met de begrippen survivorship bias en popularity bias beschrijven we onbekende risico's die aan nieuwe algoritmes kleven.