# Een model dat op de gemiddelde fout traint, leert vervagen

AI-weermodellen versloegen de natuurkunde op 90% van de toetsdoelen. Dezelfde foutmaat die dat aantoonde, betaalt een model om te vervagen.

- Bron: https://koenholman.nl/onderzoek/de-foutmaat-kiest-de-modelklasse/
- Auteur: Koen Holman
- Rubriek: Modellen & evaluatie
- Gepubliceerd: 31 augustus 2026

## In het kort

- GraphCast versloeg het beste operationele deterministische systeem op 90% van 1380 toetsdoelen; GenCast versloeg de ECMWF-ensemble op 97,4% van 1320 doelen.
- ECMWF schrijft dat de MSE-training het uitsmeren van voorspelvelden aanmoedigt, om de dubbele straf te ontlopen die op een verkeerd geplaatste structuur staat.
- In hun operationele vergelijking is die vervaging zichtbaar op kleine schaal, terwijl de maat die haar zou moeten vangen door de grote schalen wordt gedomineerd.
- De reparatie zat in de scorefunctie en niet in het model: getraind op een proper score draait het AI-ensemble sinds 1 juli 2025 operationeel, op 31 km tegen 9 km.

---

**Figuur.** Vier rijen onder elkaar. De bovenste toont de werkelijkheid: een storm met amplitude A op positie X, en niets op positie Y. Daaronder staan drie voorspellingen, elk met de kwadratische fout die ze oplevert. De eerste zet de storm even scherp neer, maar op Y in plaats van op X; die wordt twee keer aangerekend — één keer omdat er op X niets staat en één keer omdat er op Y iets staat dat er niet is — en komt uit op twee keer A in het kwadraat. De tweede smeert de storm uit over X en Y op halve hoogte en komt uit op een half A in het kwadraat. De derde voorspelt helemaal geen storm en komt uit op A in het kwadraat. Op deze maat is de uitgesmeerde voorspelling de beste van de drie, en de scherpe voorspelling op de verkeerde plek de slechtste — slechter nog dan helemaal geen storm voorspellen.

Een maat die fouten kwadrateert, rekent een verkeerd geplaatste structuur twee keer aan. Uitsmeren ontloopt die dubbele straf, en dat is wat een model dat op zo'n maat traint eraan overhoudt. Illustratief voorbeeld met ronde getallen, geen benchmark.

Het bekendste geval van “AI verslaat de gevestigde methode” staat niet in een chatvenster. Het staat in het weerbericht, en het is beter gedocumenteerd dan wat dan ook in deze sectie: een vakgebied met vijftig jaar aan operationele metingen, publieke scorekaarten en één gedeelde meetlat.

In [het GraphCast-artikel](https://arxiv.org/abs/2212.12794) staat de uitslag zonder omhaal: het model presteert beter dan de nauwkeurigste operationele deterministische systemen op 90% van 1380 toetsdoelen, over tien dagen, op een raster van 0,25 graad, in minder dan een minuut rekentijd.

De maat waarop dat gemeten is, betaalt een model om zichzelf uit te smeren. Niet als omzeiling en niet als fout in de meting — het is wat de maat vraagt, en het model geeft antwoord.

## Eerst de uitslag

Die 90% is geen losse claim. Het jaar erna kwam er een probabilistische opvolger: [GenCast](https://arxiv.org/html/2312.15796v2) genereert een ensemble van vijftien dagen vooruit, in stappen van twaalf uur, voor ruim tachtig variabelen, in acht minuten. Volgens de samenvatting heeft het meer skill dan de ECMWF-ensemble op 97,4% van 1320 geëvalueerde doelen.

En het is geen labormeting gebleven. Het AI-ensemble van ECMWF draait sinds [1 juli 2025](https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ensemble-ai-forecasts-become-operational) in productie, met 51 verwachtingen naast elkaar. Het draait daarbij op een grover raster dan het natuurkundige systeem waarmee het wordt vergeleken: 31 kilometer tegen 9.

- **90% van 1380** — toetsdoelen waarop GraphCast het beste operationele deterministische systeem verslaat
- **97,4% van 1320** — doelen waarop GenCast volgens de eigen samenvatting meer skill heeft dan de ECMWF-ensemble
- **31 tegen 9 km** — de rasterafstand van het operationele AI-ensemble tegenover die van het natuurkundige ensemble

## Wat de gemiddelde kwadratische fout eigenlijk betaalt

De eerste generatie van deze modellen is getraind om de gemiddelde kwadratische fout te minimaliseren. In de inleiding van [het AIFS-CRPS-artikel](https://arxiv.org/html/2412.15832v1) schrijft het team van ECMWF wat dat oplevert: *“The MSE training objective incentivises the smoothing of forecast fields with lead-time and a reduction of forecast activity, to avoid the ‘double-penalty’ incurred when forecasting misplaced structures”*.

Die dubbele straf is de hele mechaniek, en ze is met een rekensommetje uit te schrijven. Een storm die je op de goede plek zet, kost niets. Een storm die je even scherp neerzet maar tweehonderd kilometer ernaast, kost twee keer: één keer omdat er niets staat waar hij hoort, en één keer omdat er iets staat waar hij niet hoort.

### De som, uitgerekend

Neem één variabele op twee roosterpunten. Op punt X staat in werkelijkheid een afwijking met amplitude A; op punt Y staat niets. **Illustratief voorbeeld, geen benchmark** — de getallen zijn rond gekozen om de rangorde te laten zien, niet om een model te beoordelen.

- **Goed geplaatst:** A op X, niets op Y. Fout op beide punten nul, som van de kwadraten **0**.
- **Scherp maar ernaast:** niets op X, A op Y. Fout A op X en A op Y, som van de kwadraten **2A²**.
- **Uitgesmeerd:** A/2 op allebei de punten. Fout A/2 op X en A/2 op Y, som van de kwadraten **½A²**.
- **Geen storm voorspeld:** nul op allebei. Fout A op X en nul op Y, som van de kwadraten **A²**.

De uitgesmeerde voorspelling scoort vier keer beter dan de scherpe, terwijl ze een weertype beschrijft dat niet bestaat: een halve storm op twee plekken tegelijk. En de rangorde gaat nog verder. Helemaal geen storm voorspellen scoort *beter* dan de storm scherp op de verkeerde plek zetten — A² tegen 2A². Wie op deze maat wordt afgerekend, krijgt van de meetlat het advies om z'n mond te houden zodra hij niet zeker weet wáár iets gebeurt.

> **Wat daaruit volgt**
>
> Er is hier niemand die iets doorheeft. Het model leest geen opdracht, kent de score niet en heeft geen belang. De selectie gebeurt in de verliesfunctie, tijdens de training, en het resultaat is een modelklasse die systematisch voorzichtiger is dan de werkelijkheid die ze beschrijft.

## De vervaging verstopt zich waar de score niet kijkt

In 2023 legde ECMWF voor het eerst een van deze modellen naast het eigen systeem in [een operationeel-achtige opzet](https://arxiv.org/html/2307.10128v2), met dezelfde begintoestand voor allebei. De zorg staat er met zoveel woorden: *“there has been a concern that training towards RMSE results in overly smooth forecast fields”*, omdat *“the RMSE strongly penalizes large forecast departures from the observations (or analyses), thus discouraging bold forecasts”*.

Wat ze vonden is subtieler dan de zorg. Op de grote schalen doen de velden niet onder voor de natuurkunde: *“IFS and ERA5 forecasts have similar activity to each other and, importantly, similar activity to PGW”*. Op de kleine schalen wél — *“a clear smoothing of PGW forecasts at small scales is visible”* — en dan volgt de zin waar het om gaat: *“This dampening only has a minor contribution to the overall activity because this metric is dominated by larger scales.”*

Daar staan twee dingen tegelijk. De vervaging is er, en de maat die haar zou moeten opmerken weegt vooral de schalen waar ze niet zit. Dat is een ander soort blinde vlek dan een score die te ruw is: deze score is fijn genoeg, hij kijkt alleen op de verkeerde schaal.

**Waarom dit geen ontmaskering is**

Hetzelfde artikel meldt vergelijkbare nauwkeurigheid op de gangbare maten én op extreme gebeurtenissen, getoetst tegen zowel de eigen analyse als tegen waarnemingen van weerstations. De AI-voorspelling is dus niet stiekem slecht. Ze is anders van karakter, en het karakterverschil valt buiten wat de scorekaart weegt.

Dat maakt dit een ander geval dan [een groene testsuite bij een verkeerde patch](https://koenholman.nl/onderzoek/groene-tests-bewijzen-geen-correcte-patch/), waar de meting iets goedkeurt dat niet klopt. Hier keurt de meting iets goed dat wél klopt, op een manier die de gemeten eigenschap net naast de bedoelde eigenschap legt.

## De reparatie zat in de score

Het interessantste aan dit verhaal is niet dat het probleem bestond, maar wat eraan gedaan is. Niet een groter model, niet meer data, niet een fijner raster. Een andere verliesfunctie.

GenCast beschrijft het probleem in de eigen inleiding — deterministische modellen worden getraind om de gemiddelde kwadratische fout te minimaliseren, *“and as a result tend to produce blurry forecast states, especially at longer lead times, rather than a specific realisation of a possible weather state”* — en beantwoordt het met een diffusiemodel dat losse scenario's trekt in plaats van één gemiddeld veld. Eerlijk erbij vermeld in datzelfde artikel: *“the GenCast ensemble mean is blurry”*. Het gemiddelde van de scenario's vervaagt nog steeds; de scenario's zelf niet.

ECMWF nam dezelfde bocht langs een andere weg. Het AIFS-CRPS-model traint op een proper score in plaats van op MSE, met een variant van de Continuous Ranked Probability Score die de vertekening door een eindig ensemble grotendeels wegneemt. In [de aankondiging van de operationele overgang](https://www.ecmwf.int/en/newsletter/185/earth-system-science/aifs-ens-becomes-operational) staat de diagnose in één zin — *“they are trained using a mean-squared error (MSE) objective, which can lead to reduced variability in the forecast fields”* — en de scorekaart erbij: verbeteringen tot 25%.

> **Vanaf hier: mijn interpretatie**
>
> Alles hierboven is terug te lezen in de zeven bronnen onderaan, en gaat over weersverwachting. Wat nu volgt staat daar niet in: het is wat ik hieruit afleid voor het bouwen van evaluaties in een heel ander vak. Neem het als voorstel, niet als bevinding — er is hier niets gemeten aan een codepijplijn.

## Wat hieruit volgt

- **Een maat die middelt, selecteert modellen die middelen.** Dat gebeurt zonder dat er iemand een score leest of een regel omzeilt. Het is geen misbruik van de meetlat, het is de meetlat die z'n werk doet — en dat maakt het lastiger te zien dan [een agent die het meetbestand kan openen](https://koenholman.nl/onderzoek/de-gemeten-partij-leest-mee/).
- **Zoek de dubbele straf in je eigen evaluatie.** Overal waar “bijna goed” slechter scoort dan “niets gedaan”, koop je terughoudendheid in. Een suite die een gedeeltelijke fix als mislukking telt en afzien als neutraal, leert een systeem om af te zien.
- **Vraag van elke score op welke schaal hij weegt.** Het scherpste voorbeeld hierboven is niet dat er vervaging optrad, maar dat de maat die haar zou vangen door de grote schalen werd gedomineerd. Een gemiddelde over een testsuite heeft precies dat probleem: de zeldzame gevallen waar het op aankomt, wegen mee als één van de honderd.
- **Verander eerst de score, dan pas het model.** Twee onafhankelijke teams losten dit op door de verliesfunctie te vervangen, niet door meer capaciteit te kopen. Dat is de goedkoopste ingreep die er was, en hij stond het langst niet op de lijst.

## Waar het ophoudt

**Vier voorbehouden, waarvan twee die het stuk zelf raken**

**De bevinding is smaller dan de kop suggereert.** De samenvatting van het ECMWF-artikel noemt *“overly smooth forecasts”* als tekortkoming, maar §4.1 van datzelfde artikel zegt dat de lichte daling in activiteit voor Z500 niet statistisch significant is en dat het model niet waziger wordt naarmate het verder vooruit kijkt. De vervaging zit op kleine schaal en verergert daar niet met de horizon. Wie dit stuk gebruikt om te zeggen dat AI-weermodellen “steeds vager worden”, gebruikt het verkeerd.

**De partijen die het probleem beschrijven, verkochten de oplossing.** Vier bronnen komen van ECMWF en twee van Google DeepMind. Dat ze het uitsmeren van MSE zo duidelijk benoemen is te prijzen, en het is ook het argument voor het model dat ze daarna in productie namen. Een onafhankelijke bevestiging van de weging staat hier niet.

**Het veld weet zelf dat de verificatie nog niet af is.** [WP-MIP](https://arxiv.org/abs/2604.16643), een door de WMO gesteunde intercomparison die in 2026 loopt, bestaat om precies deze reden: er blijven vragen over of deze modellen fysisch consistente velden produceren onder alle omstandigheden, en het project wil daarvoor verificatietechnieken ontwikkelen die op AI-modellen zijn toegesneden. Resultaten zijn er nog niet; wat er ligt is de opzet.

**En de overstap naar een codepijplijn is analogie, geen meting.** Alles onder het kantelpunt is redenering over vorm: een som die kwadrateert straft misplaatsing twee keer, en dat geldt voor elk domein waarin je zoiets optelt. Of het in mijn eigen evaluaties werkelijk zo uitpakt, is hier niet nagegaan — dat is wat de prompt onderaan probeert uit te zoeken.

## Bronnen

1. [GraphCast: Learning skillful medium-range global weather forecasting](https://arxiv.org/abs/2212.12794) — Lam et al. (Google DeepMind) · arXiv:2212.12794v2, gelezen 31 augustus 2026 · 2023
2. [GenCast: Diffusion-based ensemble forecasting for medium-range weather](https://arxiv.org/html/2312.15796v2) — Price et al. (Google DeepMind) · arXiv:2312.15796v2, gelezen 31 augustus 2026 · 2024
3. [The rise of data-driven weather forecasting](https://arxiv.org/html/2307.10128v2) — Ben-Bouallègue et al. (ECMWF) · arXiv:2307.10128v2, ook in Bulletin of the American Meteorological Society (10.1175/BAMS-D-23-0162.1), gelezen 31 augustus 2026 · 2023
4. [AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score](https://arxiv.org/html/2412.15832v1) — Lang et al. (ECMWF) · arXiv:2412.15832v1, gelezen 31 augustus 2026 · 2024
5. [AIFS ENS becomes operational](https://www.ecmwf.int/en/newsletter/185/earth-system-science/aifs-ens-becomes-operational) — Lang & Magnusson (ECMWF) · ECMWF Newsletter 185, najaar 2025, gelezen 31 augustus 2026 · 2025
6. [ECMWF's ensemble AI forecasts become operational](https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ensemble-ai-forecasts-become-operational) — ECMWF · persbericht van 1 juli 2025, gelezen 31 augustus 2026 · 2025
7. [WP-MIP: An Artificial Intelligence, Hybrid, and Physically Based Model Intercomparison Project for Weather Prediction](https://arxiv.org/abs/2604.16643) — McTaggart-Cowan et al. · arXiv:2604.16643, herzien 17 juli 2026, gelezen 31 augustus 2026 · 2026

## Toets het op je eigen systeem

Toetst of jouw evaluatie een dubbele straf kent, en welk gedrag die straf inkoopt.

```
Ik wil weten welk gedrag mijn evaluatie beloont, los van welk gedrag ik bedoeld had te belonen.

Stap 1 — noem de maat waarop dit systeem wordt afgerekend. Eén getal, of het lijstje getallen dat samen de beslissing draagt. Zeg erbij hoe dat getal wordt opgeteld: gemiddelde, som, percentage geslaagd, iets anders.

Stap 2 — bedenk een geval waarin een goede poging op de verkeerde plek slechter scoort dan helemaal geen poging. Een voorstel dat bijna klopt tegenover geen voorstel; een gedeeltelijke fix tegenover afzien; een gok die net misgaat tegenover niets terugzeggen. Reken het uit met concrete getallen als dat kan.

Stap 3 — als zo'n geval bestaat, beschrijf dan het veiligste gedrag dat mijn maat het hoogste cijfer geeft. Niet het beste gedrag: het veiligste. Dat is wat ik aan het inkopen ben.

Stap 4 — stel één wijziging aan de maat voor die dat veilige gedrag niet meer beloont, en zeg wat die wijziging kost. Verander de score, niet het systeem, en zeg waarom die volgorde hier de goedkoopste is.
```