De mist van de cijfers en codes

Wat wordt er precies gemeten en wat betekent een indicator

1976 geldt als het droogste jaar sinds 1950. Een simpel feit, zou je denken. Maar wat bedoelen we met “droogste”? Gaat het om de gemeten neerslag. Als we naar de statistiek van het KNMI kijken wordt het ook steeds iets natter en niet steeds droger .

of gaat het om het berekende neerslagtekort, waarin ook de potentiële verdamping is meegenomen? Dat zijn twee verschillende grootheden — en wanneer meetmethoden of berekeningen in de loop der tijd veranderen, wordt een historische vergelijking al snel minder vanzelfsprekend dan ze lijkt

Indicatoren: nuttig, tot ze de werkelijkheid vervangen

We leven in een tijd waarin de werkelijkheid steeds vaker wordt samengevat in cijfers, indicatoren, modellen en classificaties. Op zich nuttig — het probleem ontstaat pas wanneer de indicator de werkelijkheid gaat vervangen, en niet meer zichtbaar is wat er achter het getal schuilgaat.

Bij koopkracht, armoede, gevoelstemperatuur, weerwaarschuwingen en maatschappelijke statistieken spelen definities, variabelen, berekeningen en aannames een grote rol. Een uitkomst kan daardoor volstrekt objectief ogen, terwijl allerminst duidelijk is wat er precies gemeten is en welke bewerkingen eraan voorafgingen.

Het punt is niet dat indicatoren onbetrouwbaar of overbodig zijn. Het punt is transparantie — en die transparantie ontbreekt structureel. Instituten als het CBS en het CPB publiceren koopkrachtplaatjes, armoedecijfers en ramingen als objectieve waarheid, terwijl het stapelingen zijn van modelkeuzes. De variabelen achter “koopkracht” zijn nu bijvoorbeeld compleet anders dan in 1960 — zonder dat je dat aan het cijfer zelf afleest, en zonder dat het CBS daar in de berichtgeving op wijst.

Media

De media, online en offline, maken het soms nog erger. Een genuanceerde bandbreedte wordt een stellige kop. “Koopkracht stijgt met 1,5 procent” klinkt als een feit, niet als de uitkomst van een model met aannames en marges. Journalisten kopiëren persberichten van CBS en CPB nauwelijks kritisch, en zo wordt een schatting in de perceptie van het publiek een zekerheid. Daarbij blijkt het soms ook moeilijk om bij x-as en y-as aan te geven wat de schaal is. 

Niet minder wetenschap dus, maar meer inzicht in hóe wetenschap en statistiek tot een conclusie komen — en een pers die dat inzicht ook daadwerkelijk doorgeeft in plaats van weg-redigeert.

Koopkracht, armoede en gemiddelden

Hetzelfde patroon zien we bij koopkracht en armoede. Een gemiddelde koopkracht zegt weinig over jouw situatie wanneer het onderliggende consumptiepakket afwijkt van wat jij daadwerkelijk uitgeeft. Een gemiddelde inflatie is geen persoonlijke inflatie.

Het is nogal misleidend om de koopkracht van mensen in armoede te meten met een gemiddelde consumptiekorf waarin ook 8,4% voor recreatie, sport en cultuur en 7,0% voor restaurants en accommodaties zit, terwijl iemand die ieder dubbeltje moet omdraaien helemaal niet aan zulke uitgaven toekomt

Armoede is geen vaste natuurkundige grootheid. De uitkomst hangt af van definities, inkomensgrenzen, huishoudsamenstelling en woonlasten. De keuze van de definitie bepaalt dus mede het beeld — een keuze die het CBS maakt, en die door de politiek en media zelden ter discussie wordt gesteld.

Weerwaarschuwingen en gevoelstemperatuur

Een gevoelstemperatuur is geen gemeten temperatuur, maar een berekende indicatie van hoe omstandigheden worden ervaren. Code geel is evenmin een meting, maar een risicoclassificatie. Beide kunnen nuttig zijn — zolang je beseft dat het afgeleide instrumenten zijn, geen primaire observaties.

Maatschappelijke statistiek: wat verklaart het verschil?

Neem de uitspraak: “Veel migranten komen vaak in aanraking met de politie.” Zonder context zegt zo’n zin erg weinig. Gaat het om aanhoudingen, verdachtenregistratie, slachtofferschap, getuigen of veroordelingen?  Om absolute aantallen of percentages? Hoe zit het met leeftijds- en geslachtsopbouw? Blijft het verschil bestaan na correctie voor sociaaleconomische factoren en woonomgeving?

Pas als die vragen zijn beantwoord, ontstaat een statistisch beeld dat verantwoord te interpreteren is. En zelfs dan blijft de kernvraag: een statistische samenhang is nog geen causale verklaring.

Juist hier ligt een verantwoordelijkheid die media, online en offline, veel te makkelijk naast zich neerleggen. Een correlatie wordt gepresenteerd als verklaring, een verschil tussen groepen als vaststaand feit, zonder de achterliggende vragen te stellen die iedere zorgvuldige lezer zou moeten stellen. Dat is geen kwestie van te weinig ruimte in een artikel — het is een keuze.

Van observatie naar conclusie

Onder al deze voorbeelden ligt hetzelfde probleem. We krijgen zelden de werkelijkheid zelf te zien, maar een keten van bewerkingen: observatie → bewerking → indicator → conclusie.

Bij elke stap kan waardevolle nuance verloren gaan, en krijgt een getal een schijn van zekerheid die groter is dan wat er werkelijk achter zit. Bij CBS en CPB is dat deels beleidsbehoefte en bureaucratische logica: een raming moet één getal opleveren, geen bandbreedte met mitsen en maren. Bij de media is het erger — daar is het een bewuste keuze voor snelheid en een pakkende kop boven zorgvuldigheid. Voor wie het cijfer leest, blijft het effect hetzelfde: de onderliggende informatie is onzichtbaar, en de burger wordt met een schijnzekerheid opgezadeld die instituut noch pers hoeft te verantwoorden.

Transparantie als norm

Toon de cijfers. Toon de methode. Toon de onzekerheid. Toon pas dán de afgeleide indicator.

Niet alleen “30 procent hoger”, maar ook waarvan dat is afgeleid. Niet alleen koopkrachtcijfers, maar ook het onderliggende consumptiepakket. Niet alleen neerslagtekorten, maar ook neerslag én verdamping apart. Niet alleen groepsverschillen, maar ook de relevante achtergrondvariabelen.

Dat is geen onredelijke eis. Het CBS en het CPB beschikken over die onderliggende data en methodes — ze kiezen er alleen voor die niet standaard mee te geven aan het publiek. En de media, die als taak hebben die vertaalslag kritisch te maken, doen precies het tegenovergestelde: ze versimpelen nog verder, voor een kop die scoort.

Wetenschap

Dit is zeker geen pleidooi tegen statistieken of wetenschap  Het is een aanklacht tegen de manier waarop instituten als CBS, CPB, KNMI,… en de media met statistieken omgaan. Een samenleving die haar burgers serieus neemt, geeft niet alleen conclusies en codes, maar ook de informatie om die conclusies zelf te kunnen beoordelen. Precies dát laten instituut en pers stelselmatig na.

Zonder die transparantie leven we in een soort mist: overal cijfers, grafieken en percentages, maar steeds minder zicht op wat er werkelijk gemeten is en wat het resultaat is van een model of een keuze. Die mist is niet toevallig — hij wordt in stand gehouden door instituten die geen verantwoording afleggen over hun aannames, en een pers die daar niet naar vraagt.

Niet dat we te veel meten is het probleem. Het probleem is dat we steeds minder laten zien wat we precies meten en wat de mogelijke consequenties zijn.