medior data engineer

Waterschap Vallei en Veluwe wil een data gedreven organisatie zijn. Een belangrijk onderdeel daarvan is het beschikbaar hebben van data. Daarvoor is de datahub ontwikkeld. Dit is een centraal dataplatform dat data uit verschillende bronsystemen ontsluit en integreert. Deze data wordt gebruikt als de basis voor sturing, rapportages en analyses. Verdere uitbouw hiervan is een belangrijk onderdeel van het jaarplan data gedreven werken 2026. De datahub heeft sinds kort het stempel productie gekregen. Dit geeft het juiste momentum om het verder uit te bouwen door belangrijke bronnen en functionaliteiten rondom data governance toe te voegen. De datahub is geïmplementeerd in het Microsoft Azure platform en maakt gebruik van delta-lake technologie, o.a. Azure Data Factory, Azure Data Lake Gen2, Azure Synapse notebooks (PySpark) en Serverless SQL. We zoeken een ervaren data-engineer om ons te helpen de datahub verder uit te bouwen. Je werkt mee in het team Transitie & Innovatie (specifiek het datalab). Je doet dit in afstemming met je collega data-engineers, maar bent in staat om het werk zelfstandig op te pakken. Opdracht De opdracht is afgebakend tot een beperkt aantal concrete werkzaamheden waarvoor veel bouwblokken al klaarliggen: Ontsluiten van gegevens uit Historian. Historian is een systeem waarin onder andere veel metingen, alarmen in bewaard worden die gedaan worden in onze zuiveringen. Ontsluiting hiervan is belangrijk voor data gedreven zuiveren en assetmanagement. Implementeren van datakwaliteitscontroles. Een belangrijk onderdeel van data governance is de datakwaliteit. Deze kwaliteit inzichtelijk maken voor de data /broneigenaren is belangrijk om de kwaliteit van de data te verbeteren. Implementeren van data lineage inzichten. Data uit onze bronsystemen wordt op allerlei verschillende plekken in de organisatie gebruikt en gecombineerd met andere gegevens. Inzicht in welke gegevens waar gebruikt worden is belangrijk voor data governance en de herleidbaarheid van gegevens op basis waarvan evt. gestuurd wordt. Algemene werkzaamheden. Problemen die zich voordoen met een datahub in productie moeten zo snel mogelijk opgelost worden. Bij afwezigheid van de andere data collega’s uit het team, kunnen dit soort werkzaamheden ook onder deze opdracht vallen. Voor het vervullen van de opdracht beschik je over: Ruime ervaring met Python Kennis van delta-lake technologie (bijv. Pyspark, Synapse, Azure DataFactory) Ervaring met werken in de cloud (bij voorkeur met Microsoft Azure) Domeinkennis van overheids- en/of waterschapsdata (dit is een pre)