RIVM · 2025 · Gearchiveerd
RIVM-dataplatform
Centraal Azure- en Databricks-dataplatform met een self-serviceinterface voor het aansluiten van data, voor het Rijksinstituut voor Volksgezondheid en Milieu.
- Klant
- Vakgebied
- Engineering van dataplatformen
- Jaar
- 2025
- Status
- Gearchiveerd
01 / De uitdaging
De uitdaging
Als Senior Lead Cloud Data Platform Engineer bij het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) speelde NexOps een centrale rol in het oplossingsontwerp en de ontwikkeling van een centraal, op Azure gebaseerd dataplatform dat dient als ruggengraat voor datagedreven besluitvorming binnen een nationale volksgezondheidsorganisatie. Het platform combineert Azure Databricks, Infrastructure as Code, CI/CD-automatisering en AI/LLM-mogelijkheden voor veilige, schaalbare dataverwerking en analyse. Een belangrijk product was een self-serviceapplicatie voor het aansluiten van data, waarmee zakelijke gebruikers via een visuele interface ingestion-pipelines configureren en uitrollen, met geautomatiseerde validatie, goedkeuringspoorten in de deployment, Terraform-provisioning en deployment van Databricks Asset Bundles. Het platform is gebouwd met security by design: VNet-integratie, private endpoints, Azure Key Vault en managed identity overal. Afgerond in december 2025.
02 / Onze aanpak
Onze aanpak
- Een multidisciplinaire fase voor het ontdekken van requirements gestart, met epidemiologen, adviseurs volksgezondheid, datastewards, laboratoriumwetenschappers en beleidsmakers uit verschillende RIVM-afdelingen, om complexe domeinspecifieke behoeften te vertalen naar platformeisen die het self-servicemodel, de beveiligingsclassificaties en de AVG-aanpak vormgaven
- Het oplossingsontwerp en de ontwikkeling geleid, van architectuur en beveiligingsreviews tot deployment in productie
- End-to-end Azure-data-infrastructuur ontworpen met Terraform en Bicep en een meeromgevingenstrategie (dev, test, productie), met goede isolatie, beveiligingsgrenzen, VNet-integratie en private endpoints voor alle Azure-services
- Databricks Unity Catalog ingericht en geconfigureerd voor centrale datagovernance, fijnmazige toegangscontrole en tracking van datalineage
- Uitgebreide Azure DevOps CI/CD-pipelines gebouwd met GitOps-workflows, geautomatiseerde validatie, detectie van infrastructuurdrift en goedkeuringspoorten waarbij de data-eigenaar akkoord moet geven voordat er wordt ingericht
- Een self-servicewebapplicatie ontworpen en gebouwd waarmee zakelijke gebruikers ingestion-pipelines visueel configureren, met live introspectie van database-, fileshare- en HTTP-bronnen, AI-ondersteunde kolomdocumentatie (Azure OpenAI), strikte schemavalidatie en YAML-export
- Geautomatiseerde end-to-end deployment geïmplementeerd: de UI start een Azure DevOps-pipeline, daarna volgen goedkeuringspoorten van de data-eigenaar, Terraform richt Unity Catalog-schema's en rechten in en Databricks Asset Bundles rollen ingestion-workflowjobs uit met schema's en configuratie
- Schaalbare ETL/ELT-workflows mogelijk gemaakt met Databricks Asset Bundles en Workflows met PySpark, Delta Lake en medallion-architectuurpatronen
- Security by design doorgevoerd: Azure VNet-integratie, private endpoints voor alle Azure-services, fileshare-toegang binnen het netwerk, dataclassificatie op gevoeligheid volgens overheidsstandaarden, PII-markering, AVG-compliancevelden en toegangscontrole op basis van AD-groepen
- Het platform gecontaineriseerd met Docker (multi-stage build) en via Azure DevOps uitgerold naar Azure Container Registry en Azure App Service met managed identity, met Databricks Apps als alternatief deploymentdoel
- Frameworks voor LLM-operations, AI-oplossingen en multi-agent-AI-systemen ontwikkeld als proof of concept met LangChain, PydanticAI, Azure AI Foundry en MLflow
03 / Resultaten
Wat er voor de klant veranderde
Resultaten zoals gemeld voor dit project.
01
Een centraal dataplatform opgezet: één bron van waarheid voor organisatiedata, met goede governance
02
De tijd voor het aansluiten van databronnen teruggebracht van dagen naar uren via het self-serviceconfiguratieplatform: zakelijke gebruikers sluiten zelfstandig aan, zonder tussenkomst van data engineers
03
De volledige provisioningketen geautomatiseerd: configuratie, goedkeuring, Terraform (schema's, rechten, opslag) en DAB-deployment (ingestion-jobs, schema's), zonder handmatige stappen na goedkeuring door de data-eigenaar
04
De inrichtingstijd van infrastructuur ging van weken naar uren dankzij automatisering met Terraform en Bicep
05
99,9% uptime van het platform behaald met geautomatiseerde monitoring en herstel, plus 30% kostenreductie door auto-scaling en resourcetagging
06
Compliance met nationale beveiligingsstandaarden en auditeisen behaald dankzij security by design: VNet-integratie, private endpoints, Key Vault, managed identity, classificatie van datagevoeligheid en PII-controles
Volgende stap
Iets vergelijkbaars nodig?
We leveren dataplatformen en AI-oplossingen voor productie aan zakelijke klanten. Vertel ons over je uitdaging, dan zeggen we of we kunnen helpen.
Open voor projecten in Q4 2026