KNMI moderniseert datastrategie AWS

Het Nederlandse data- en kenniscentrum voor weer, klimaat en seismologie, het Koninklijk Nederlands Meteorologisch Instituut (KNMI), heeft met succes een moderne datastrategie geïmplementeerd met behulp van Amazon Web Services (AWS) door de mindset en processen van een datagedreven organisatie toe te passen. Het KNMI levert weersverwachtingen en monitort veranderingen in het klimaat, de luchtkwaliteit en seismische activiteit. Deze diensten zijn van grote invloed op het dagelijks leven van bijna alle burgers, maar onder meer ook in de luchtvaart, de scheepvaart, het verkeer en de landbouw. Beschikbaarheid van de juiste data is hierbij cruciaal.

Overheidsorganisaties over de hele wereld gebruiken de kracht van data om betere beslissingen te nemen door gegevens centraal te stellen in elk besluitvormingsproces. Datagestuurde beslissingen leiden tot effectievere reacties op onverwachte gebeurtenissen. Om dit te bereiken stappen organisaties over van een traditionele datastrategie naar een moderne datastrategie waarbij een datagedreven mindset en proces binnen de organisatie centraal staat. Als eerste stap heeft het KNMI het KNMI DataLab-team opgericht met als doel een samenwerkingsplatform te creëren tussen datawetenschappers, domeinexperts en externe partners (bijv. dataleveranciers en platformproviders). Via dit platform kunnen zij gezamenlijk data en technologie gebruiken om zakelijke uitdagingen en use cases op te lossen (bijvoorbeeld seismische gebeurtenissen detecteren en classificeren, gladde wegen, mistdetectie). Om de data analytics en artificial intelligence (AI) en machine learning (ML)-strategie en use cases in te zetten, heeft het DataLab-team een interne data science community opgericht met vertegenwoordigers uit de bedrijfsdomeinen en de technologieafdeling.

Om hun big data engineering workload te kunnen uitvoeren en ML-modellen te kunnen trainen en bouwen had het KNMI een cloudprovider nodig die het op- en afschalen ondersteunde op basis van de bedrijfsbehoeften. Speciaal gebouwde analysediensten en data stores die passen bij de verscheidenheid aan gegevens die ze verwerken zonder afbreuk te doen aan de prestaties of de kosten waren hierbij belangrijk.

KNMI DataLab heeft gekozen voor AWS om een minimum viable product (MVP) te maken dat seismologische gebeurtenissen kan detecteren en classificeren, waaronder aardbevingen, akoestische bommen en nucleaire activiteit. Het KNMI gebruikt ML-modellen om deze gebeurtenissen te detecteren en te classificeren met behulp van seismogrammen uit tijdreeksen van seismograafstations in het hele land. Voor de gegevensopslag gebruikt het KNMI Amazon Aurora om de detectie-informatie op te slaan (gestructureerde gegevens) en Amazon S3 om de seismogramgegevens op te slaan (object store). Het KNMI gebruikt AWS Fargate voor de Docker-containers om de ML-modelinferenties uit te voeren.

De nieuwe oplossing verbetert de automatische detectie van akoestische gebeurtenissen (bijv. explosies, mijnontploffing, sonische dreun) die met de huidige methoden niet mogelijk is. De nieuwe aanpak maakt gebruik van één enkel station in vergelijking met een reeks stations in de huidige opstelling. Dit verbetert de efficiëntie van het detectieproces en opent nieuwe mogelijkheden om nieuwe soorten gebeurtenissen uit het huidige en het historische archief van golfvormen te detecteren.

Jan Willem Noteboom, Hoofd DataLab bij het KNMI, legt uit: "We hebben voor AWS gekozen vanwege de flexibiliteit van de configuratie (aanpassingen van de omvang in een paar klikken), de breedte en diepte van de analytics- en AI/ML-diensten, de uitgebreide documentatie en voorbeelden, en het gemak van CI/CD van ontwikkeling naar staging naar operatie. Dat alles bespaarde dagen en uren voor mijn team en gaf hen extra tijd om zich te richten op het gedifferentieerde werk dat bijdraagt met een echte waarde voor het bedrijf."

Met behulp van AWS heeft het KNMI de MVP-implementatie snel ontwikkeld, waarbij het kon profiteren van de flexibiliteit, schaalbaarheid, speciaal gebouwde data-analysediensten en de breedte en diepte van hun moderne dataplatform.