In onze samenleving hebben we steeds meer data beschikbaar. Met die gegevens willen bedrijven voorspellen wat er gebeurt. Beleggers willen weten hoe beurskoersen zich gaan ontwikkelen en het ministerie van financiën wil weten wat de economische groei zal zijn de komende jaren. Op dit moment kijken we als samenleving heel erg naar de voorspellingen van het aantal coronabesmettingen en ziekenhuisopnames. Het RIVM rekent daar continu aan en komt met voorspellingen, op basis waarvan beleid wordt uitgestippeld. Er is nu echter veel commentaar op de recente voorspellingen van het RIVM. Recente voorspellingen over de ziekenhuisopnames waren veel te pessimistisch en men zat er wel heel erg naast. Jaap van Dissel geeft dit nu ook ruiterlijk toe. Als je als wetenschapper een artikel opstuurt met de getoonde voorspelfout naar een wetenschappelijk tijdschrift, wordt je artikel waarschijnlijk gelijk teruggestuurd. Het probleem is natuurlijk, dat het achteraf makkelijk praten is. Spreekwoordelijk is het de koe in de kont kijken. 

Er is echter een fundamenteel probleem. We hechten te veel waarde aan voorspellingen, wanneer er grote onzekerheid is. Er ontstaat dan een groot probleem, wanneer daar ook beleid op gebaseerd wordt dat nogal grote implicaties kan hebben. In dit geval was dat een strenge lock-down. Maar een bedrijf kan op basis van te pessimistische omzetvoorspellingen bijvoorbeeld besluiten om fabrieken dicht te doen en personeel te ontslaan, met grote gevolgen voor werknemers. 

Voorspellingen zijn prima te gebruiken bij gelijkblijvende omstandigheden. Economische modellen werken bijvoorbeeld vrij goed, wanneer er weinig echt grote veranderingen zijn. Op basis van data uit het verleden kan dan goed voorspeld worden. Bij de financiële crisis in 2010 had het CPB echter ook heel veel moeite om goed te voorspellen, omdat de modellen niet goed rekening kunnen houden met zeer grote externe schokken. Ook bij de start van corona kon het CPB alleen maar scenario’s geven. Als er bij supermarkten opeens een prijzenoorlog optreedt, zal men ook moeite hebben om de omzet per winkel te voorspellen. 

Bij sterk veranderende omstandigheden is het dus zeer lastig te voorspellen. Je moet dan aannames maken. En de vraag is of deze goed zijn. In feite ga je als modelleur zelf waarden invullen voor bepaalde parameters op basis van inschattingen. Zo koos het RIVM ervoor om de cijfers van ziekenhuisopnames te gebruiken van de deltavariant. Achteraf sloeg dat de plank volledig mis. Men liet ook grafieken zien met een dikke lijn, met daaromheen een zeer groot betrouwbaarheidsinterval. Dit geeft aan dat er dus heel veel onzekerheid is. Maar het dikke lijntje staat er wel. Nu er meer informatie is past men de schattingen aan en worden de opnamecijfers anders, maar nog steeds is er grote onzekerheid. 

De grote vraag is daarnaast of je met zoveel onzekerheid nog wel moet willen voorspellen. Modellen zijn zo goed als de data die je erin stopt. “Garbage in is garbage out” is een bekend statement in data science. Als je geen goede gegevens hebt, zou ik pleiten om geen statistische voorspellingen te doen en dit zeker niet als zodanig met cijfers en bijbehorende grafieken te presenteren. Dit is namelijk schijnnauwkeurigheid. Het vertrouwen in modeluitkomsten staat met zeer slechte voorspellingen zeer onder druk, en leidt tot wantrouwen bij volgende voorspellingen. Hierdoor wordt het vertrouwen in het beleid ook sterk aangetast.  Dit is funest voor de acceptatie en uitvoering van het beleid. Dit is in feite, wat we nu ook zien bij het draagvlak voor het huidige uitgezette beleid. 

De modelbouwer moet een stap terug doen en aangeven dat ze op dit moment statistisch geen goede voorspellingen kunnen doen, doordat er veel te veel aannames gedaan moeten worden tijden van onzekerheid. De modelbouwer moet dan overgaan naar een aantal scenario’s, bijv. groen (heel positief), rood en zwart (heel negatief). Het CPB deed dit bijvoorbeeld bij de voorspellingen over economische groei bij het begin van de coronacrisis. Het RIVM werkte wel met scenario’s, maar zelfs het gunstigste scenario was veel te negatief. De vraag rijst dan hoe dat komt. Wilde men de positieve signalen niet zien? Of was er gewoon te weinig betrouwbare informatie?

De beleidsmaker moet bepalen op basis van input van experts welk scenario verwacht mag worden. Vervolgens kan men beleid maken. Ik zou dan echter nog steeds pleiten dat terughoudendheid geboden is met drastische keuzes, wanneer de scenario’s ver uit elkaar liggen en er heel veel onzekerheid is. Er kan zeer snel sprake zijn van een overreactie, zowel in positieve (bijv. dansen met Jansen) als negatieve (de recente lock-down) zin. Vaak is dan de beste strategie wait and see in plaats van drastische maatregelen te nemen. Helaas weten we uit de gedragswetenschappen dat mensen en dus ook beleidsmakers nog wel eens overreageren. Pas wanneer er duidelijk meer informatie is met veel meer zekerheid, kan je echt goede besluiten nemen. 

Natuurlijk is het makkelijk achteraf praten (de koe in de kont) en dat realiseer ik mij ook, maar een zeer goede evaluatie van de recente modellering en besluitvorming is in ieder geval op zijn plaats. Momenteel lijkt het RIVM daar echter niet voor open te staan.

//

Prof. dr. Peter C. Verhoef is decaan en hoogleraar aan de Faculteit Economie en Bedrijfskunde. Daarnaast maakt Peter deel uit van Aletta's bestuur.