Aan de hand van de problemen met de dagelijkse opgave van ziekenhuisopnames en de data in relatie tot het testen, is het duidelijk te zien dat zowel beleidsmakers als betrokken uitvoerders zo weinig verstand hebben van data-analyse dat het ook nog steeds een complete puinhoop is.
Lees volledig artikel: Met een blinddoek op en watten in de oren wordt beleid gemaakt
Met een blinddoek op en watten in de oren wordt beleid gemaakt
Ik ben al mijn hele werkzame leven bezig met data-analyse. Als je dat goed doet kun je cijfers laten spreken. Maar dan moet je het wel goed doen, want anders hoor je alleen maar onduidelijk gebrabbel. Wat de GGD (en RIVM) op dat data-vlak doet, is werkelijk te gênant voor woorden.
Bij de inrichting en uitvoering van hun werk hebben ze nog steeds niet door dat ze twee belangrijke taken hebben:
- De taken die direct te maken hebben met gezondheid. Bijvoorbeeld nu met het testen het identificeren van besmette personen en te zorgen dat ze geen anderen besmetten.
- Informatie opleveren op basis waarvan er beleid gevoerd kan worden. Die informatie moet actueel zijn en betrouwbaar, maar moet zodanig verzameld zijn dat je er ook conclusies uit kan trekken.
Wat die eerste taak betreft doe ik geen uitspraak; dat kunnen anderen beter beoordelen. Wat het tweede betreft is duidelijk te zien dat zowel beleidsmakers als betrokken uitvoerders zo weinig verstand hebben van data-analyse dat het ook 3 maanden na de start van deze crisis nog steeds een complete puinhoop is.
Ik zal me op twee punten richten:
1 – De dagelijkse opgave van de ziekenhuisopnames (en sterfte)
Ik heb dat onderwerp al een keer eerder besproken, maar nu is het effect van het amateuristisch gedoe nog groter dan 6 weken geleden.
Het RIVM maakt dagelijks bekend hoeveel nieuwe ziekte- en sterftegevallen er de laatste 24 uur bijgekomen zijn. Dat zijn niet echt nieuwe gevallen (dus de personen die de laatste 24 uur in het ziekenhuis zijn opgenomen of overleden). Nee, dat zijn de gevallen, die nu ter kennis gekomen zijn van het RIVM. Dat kunnen dus ook gevallen zijn, van meer dan 1 maand oud. Op 5 juni werden er 11 nieuwe ziekenhuisopnames gemeld. In de grafiek zag je ZEVEN nieuwe ziekenhuisopnames terug. Twee zelfs OUDER DAN 1 MAAND. En vier van die nieuwe ziekenhuisopnames zie je niet eens in de grafiek terug. Daar was de datum blijkbaar niet van bekend.
Deze grafiek heeft op mij hetzelfde effect als een bouwkundig ingenieur die kijkt naar de ingestorte brug bij Genua.
Het zegt mij namelijk het volgende:
- Ik weet nog niets over het totaal aantal ziekenhuisopnames van gisteren of eergisteren. Besef daarbij dat ziekenhuisopnames voor het RIVM de belangrijkste indicator is voor het volgen van het verloop van RO. (de achteruitkijkspiegel van Van Dissel) En dat het dus uiterst belangrijk is dat die data zo actueel mogelijk is.
- Ook na weken weet ik het totaal aantal ziekenhuisopnames voor een bepaalde datum nog steeds niet, omdat er zelfs 6 weken na dato blijkbaar nog ziekenhuisopnames bij kunnen komen.
Besef dat het slechts om 120 ziekenhuislocaties gaat waar de informatie vandaan dient te komen. Er zijn 25 GGD-diensten verdeeld over het land die informatie verzamelen.
Nu snap ik dat je normaliter geen structuur hebt opgezet om die data wel op dagbasis compleet en actueel te kunnen aanleveren. Daar waren vroeger geen zwaarwegende reden voor.
Maar nu wel. We maken de grootste crisis door sinds de Tweede Wereldoorlog en dan zouden alle zeilen bijgezet moeten worden om data snel en betrouwbaar centraal te vergaren. Zeker als je op die basis belangrijke beslissingen neemt.
Nog steeds slecht
Maar ook op 8 juni is het qua dataverzameling nog steeds zo slecht als het op 20 maart was. Als ik minister was of de baas van de RIVM of GGD, dan had ik met een beetje geld en mankracht (bijvoorbeeld 1 persoon gedetacheerd per ziekenhuislocatie) gezorgd dat deze data per dag actueel was en ik geen na-ijlende registraties meer had.
Het laat eigenlijk zien hoe slecht men bij het beleid gebruikmaakt van informatie. Men snapt de relevantie ervan blijkbaar niet eens. Dus het hindert blijkbaar niemand in Den Haag dat de data zo’n puinhoop is. We doen toch alles wat het OMT zegt, niet waar?
En om te snappen hoe erg het is, even een voorbeeld. In het noorden zien we op de kaarten al een tijd amper nieuwe ziekenhuisopnames. Dat is dus echt al weken het geval. Stel dat er vandaag vanuit de GGD van Groningen een ziekenhuisopname wordt gemeld van 28 april, die nog niet in het systeem zat. Die komt er dus bij. Maar in de kaarten die gepresenteerd worden (zoals Van Dissel dat doet in de Tweede Kamer en op internet) komt die ziekenhuisopname op die kaart niet op 28 april, maar gewoon op 8 juni. En wordt daarmee dus de indruk gegeven, dat er nu iets aan de hand was met het virus daar, terwijl er gewoon iets aan de hand was met de kwaliteit van de verslaglegging.
Kijk eens voor de afwisseling naar de informatievoorziening in de UK:
- De specificatie van de informatie van de overledenen, naar leeftijd, geslacht en onderliggend lijden.
- Specifieke beroepsinformatie van degenen onder de 65 die aan het virus zijn overleden.
Ook daar zou het nog beter kunnen, maar het is al stukken beter dan in Nederland.
2. De data in relatie tot het testen
Het testen of iemand besmet is of niet is een uitgelezen mogelijkheid om relevante data te verzamelen ten behoeve van het beleid. Maar dan moet je wel wat snappen van dataverzameling en de relevantie van die informatie voor het te voeren beleid.
Ten aanzien van beide zie ik nog steeds geen enkel teken dat men daar in Den Haag, bij het RIVM of de GGD’s het belang van inziet.
En dat werd gisteren weer bevestigd door Sjaak de Gouw (van de GGD’s) die kwam vertellen bij Op1 over de 50.000 tests die de afgelopen week zijn uitgevoerd.
Aanvullende data (en dan nog behoorlijk beperkt) wordt alleen verzameld van de mensen die besmet zijn. En dat betekent dat we onze besluitvorming nog steeds blijven doen met een blinddoek voor onze ogen en watten in de oren. En hoe mooi de grafische vormgeving van het dashboard ons ook tegemoet blinkt, de kwaliteit wordt bepaald door de data waar je over beschikt en niet de vormgeving (zoals men ook vaak zegt “garbage in, garbage out”).
Wat zegt het aantal nieuw besmette personen als je nu 5 keer zoveel test als twee weken geleden?
Maar doordat je verder geen andere informatie hebt verzameld kan je niet eens zeggen “nou dan delen we alles door 5 en kunnen we het wel vergelijken”.
Een voorbeeld ter illustratie.
Stel dat onder het aantal besmette personen deze week 10 keer zoveel leerkrachten zijn dan twee weken geleden. En er zijn 5 keer zoveel tests uitgevoerd. Wat betekent dat dan? Een toename van de besmettingen onder de leerkrachten met een factor 10/5= 2?
Ook dat kun je niet zeggen, omdat je iets cruciaals mist, namelijk een inzicht in de informatie van alle personen die zich hebben laten testen en de reden waarom ze zich hebben laten testen. Zonder die informatie kun je eigenlijk niets zeggen over de verzamelde cijfers.
Wat je had moeten doen vanaf dag 1 was het volgende:
Iedereen waarvan een test afgenomen wordt een online vragenlijst laten invullen. (Die software is er kant en klaar in vele soorten en maten). In die vragenlijst dienen een aantal vragen te staan naar de reden waarom men de test laat doen (heeft men klachten, zo ja welke, zo nee, waarom vindt de test plaats) persoonlijke kenmerken (zoals geslacht, leeftijd, beroep, locatie) en vermoedens over waar en wanneer men besmet zou kunnen zijn.
Dat zouden dus ALLE mensen ingevuld moeten hebben die getest worden. Dat kan echt heel eenvoudig online. Vervolgens vindt de test plaats en wordt aan de data de uitslag van de test toegevoegd. (Men krijgt bijvoorbeeld de uitslag van de test niet voordat het formulier is ingevuld).
De GGD kan dan vervolgens aan de slag met het contactonderzoek onder besmette personen.
De data kan dan, nadat die compleet geanonimiseerd is, geanalyseerd worden. Zo kan dan de ontwikkeling in de tijd gevolgd worden. En als men beleid verandert (zoals nu per 1 juni door veel meer tests uit te voeren) kan men nog steeds vergelijkingen in de tijd uitvoeren.
Weer even aan de hand van het voorbeeld.
We kunnen per beroepsgroep die zich laat testen een onderscheid maken tussen degenen die dat doen omdat ze klachten hebben, en degenen die geen klachten hebben. Dan weten we dus ook hoeveel leraren zich in mei hebben laten testen en hoe die over deze twee hoofdgroepen zijn verdeeld: hadden ze klachten of niet? Vervolgens weten we per subgroep wat het percentage besmette personen is.
Doordat dezelfde vragen ook gesteld worden als er veel meer getest wordt, is het makkelijker om de resultaten van na 1 juni te vergelijken met die ervoor. Dan nog zijn er een aantal problemen ten aanzien van de interpretatie, maar we weten veel meer dan wat we nu weten vanuit de huidige activiteiten van de GGD, namelijk vrijwel niets.
Gisteren vertelde Sjaak de Gouw bij OP1 dat 1.000 van de 50.000 getest personen de afgelopen positief waren getest. Wat zegt dat nu?
Heel veel, maar helaas niet op de manier zoals je zou hopen. Want hoe zou je die 1000 nu moeten interpreteren?
Ik begrijp van deskundigen dat een positieve test via een swab in de neus nog niet hoeft te betekenen dat die persoon (nog steeds) besmettelijk is. Het kan ook een restant zijn van de besmetting die men eerder heeft opgelopen. Welk percentage dus een soort false positive krijgt weet ik niet en daar lijken de deskundigen zelf ook nog niet uit te zijn.
Maar laten we nu eens aannemen dat het inderdaad echt 1.000 positieve gevallen zijn.
De test wordt nu meer dan 1 week uitgevoerd. Laten we zeggen dat dit de uitslagen zijn van 5 dagen. Dat zijn dus gemiddeld 200 positieve gevallen per dag.
Als we ervan uitgaan dat het gemiddeld 7 dagen duurt voordat men zich laat testen, dan zou dat dus inhouden dat die 200 mensen 7 dagen geleden besmet zijn.
Hoewel we weten dat 49.000 mensen de afgelopen week de test hebben laten doen, terwijl ze niet besmet waren, weten we niet of alle mensen die wel besmet waren, zich hebben gemeld. Hoeveel dat er echt zijn weten we niet (wat we een stuk beter hadden kunnen schatten als bijvoorbeeld die vragenlijst aan iedereen was afgenomen).
Laat ik een aanname doen. Stel dat er nu een factor 5 tussen zit. Dat zou dus inhouden dat 7 dagen geleden 5 x 200=1.000 nieuwe mensen in Nederland zijn besmet. Daarvan zal een deel behoren tot een specifieke beroepsgroep die meer risico’s loopt. Kortom, over het manchet berekend, is 7 dagen geleden 1 op de 25.000 Nederlanders besmet.
We weten nog meer
Maar we weten nog meer op basis van de onderzoeken die ik hier heb gerapporteerd. 70% van de mensen besmet niemand, 20% gemiddeld 1 en 10% de overige 80%. Maar die laatsten doen dat tijdens superspreading events en die zijn er (vrijwel) niet. Kortom: de kans dat u de komende maanden (tot oktober) iemand ontmoet die u zal gaan besmetten is heel erg klein.
Maar ja, dat is geen boodschap die men vanuit de regering, het RIVM, de virologen en onze belangrijkste media, graag wil geven. Men hamert liever op de onnodige en onveilige 1,5 meter.
En het erge daarvan is, dat juist doordat men niet aan goede dataverzameling doet, men die angstgevoelens makkelijker kan blijven voeden, dan als die dataverzameling gewoon up-to-date zou zijn en we wel harde conclusies hadden kunnen trekken.
Maar up-to-date informatie en data zijn geen woorden die bij het RIVM, OMT of GGD passen. Net zomin als het professioneel verzamelen van actuele en goede informatie.
Het zou om te lachen zijn als het niet om te huilen is.
U heeft zojuist gelezen: Met een blinddoek op en watten in de oren wordt beleid gemaakt.
Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.
Mocht u ons werk ook met een kleine donatie financieel willen ondersteunen klik dan hier.
