Senior Data Platform Engineer

Kadaster
Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.
Opdracht
De organisatie is bezig met de verdere ontwikkeling van een toekomstbestendig dataplatform binnen het DAMA-DMBOK raamwerk en zoekt ondersteuning in de vorm van een ervaren data platform engineer. De opdracht wordt uitgevoerd binnen een scrumteam, bestaande uit onder meer data platform engineers en een solution architect.
Het omvat het ontwerpen, bouwen en beheren van een schaalbaar, veilig en gebruiksvriendelijk data platform. Het platform moet stabiele toegang tot data bieden en aansluiten bij de behoeften van DevOps teams met data-analisten, data scientists en andere gebruikers binnen de organisatie.
De werkzaamheden richten zich op het verstevigen van het data platform en ook het onboarden of migreren van teams naar het platform. Er wordt verwacht dat je actief meedenkt over en bijdraagt aan schaalbare en onderhoudbare platformcomponenten, en bestaande oplossingen beheert en optimaliseert. Ook het adviseren over verbeteringen op het gebied van architectuur, beveiliging en datagebruik. Bij een toekomstbestendig platform hoort ook AI en machine learning toepassingen hiervoor wordt ook een bijdrage gevraagd.
De opdracht vereist een mate van zelfstandigheid en eigenaarschap. Tegelijkertijd wordt verwacht dat je actief meedenkt over toekomstige toepassingen en verbeteringen binnen het platformlandschap.
Belangrijkste technieken, methoden en tools
Microsoft Azure Cloud
Databricks / Unity Catalog
Azure Data Factory
Kubernetes
Python / PySpark
SQL
Git (DevOps / Gitea)
Terraform (Infrastructure as Code)
Medaillon architecture
Microsoft Well Architected Framework
Private en public cloud dataoplossingen
Agile en projectmatig werken
Verantwoordelijkheden
Hier zijn enkele belangrijke verantwoordelijkheden
Optimaliseren van het Azure data platform ecosysteem,
Implementeren van kwaliteit, performance, security en governance standaarden,
Meedenken en integreren van verschillende data technologieën en/of processen,
Samenwerking met andere engineers, analisten, data scientisten en architecten.
Taken
Implementeren van best practices van o.a. Microsoft en Databricks.
Zorgen voor naadloze integraties binnen de Azure cloud omgeving, zoals koppelingen met BI-tools, databases, pipeline, API’s, etc.
Schrijven van Infrastructure as Code met Terraform
Optimalisatie van governance, performance, resource gebruik, kosten en beveiliging binnen het data platform
Adviseren over code, clusterconfiguratie, data pipelines, Delta Lake-strategieën en ML/AI-workloads
Implementeren van best practices in het kader van een catalogus, quality, lineage, ingestion en encryptie
Adviseren over public cloud en private cloud oplossingen
Zorgen voor naleving van databeleid en security policies
Analyseren, troubleshooten en implementeren van logging en monitoring
Documenteren van oplossingen
Het begeleiden van DevOps teams met processen en het platform