Lead data engineer

Opdrachtomschrijving Als lead data engineer ben je verantwoordelijk voor het verder opzetten, ontwikkelen en uitzetten van de technisch koers voor een centraal dataplatform binnen de Rechtspraak. Je komt in een team in opbouw en houdt zich bezig met de realisatie van het platform. De eerste grote mijlpaal voor deze opdracht is de oplevering van een eerste use case (dashboard) voor gebruikers op de rechtbanken aan het eind van het jaar. Je helpt bij het prioriteren van werkzaamheden, stemt technische keuzes af met architectuur en met de afdeling platformdiensten en zorgt ervoor dat het team gericht en effectief voortgang boekt. Je beschikt over ruime ervaring met cloud data engineering en bent in staat om technische vraagstukken zelfstandig uit te werken en te implementeren. Je hebt diepgaande kennis van Azure-diensten voor data-integratie en dataverwerking, Infrastructure as Code, CI/CD-processen, containerplatformen en dataplatformarchitectuur. Daarnaast heb je ervaring met het inrichten van monitoring, beveiliging, governance en connectiviteit tussen on-premises en cloudomgevingen. Je werkt volgens agile principes binnen een Kanban-werkwijze en weet technische expertise te combineren met samenwerking en resultaatgerichtheid. Aan het einde van de opdracht is een stevig fundament gelegd voor het hybride dataplatform en zijn de eerste dataproducten gereed voor verdere uitrol richting de organisatie. Achtergrond opdracht Om meer regie te krijgen op data, informatievoorziening en toekomstige datagedreven toepassingen wordt een dataplatform gerealiseerd dat aansluit bij de technische, functionele en organisatorische behoeften van de organisatie. De afgelopen maanden is gewerkt aan de architectuur, uitgangspunten en het ontwerp van een toekomstbestendig hybride dataplatform. Hierbij wordt data opgeslagen in een on-premises omgeving, terwijl verwerking en ontsluiting plaatsvinden met cloudtechnologie. Op basis van een eerste use case is inmiddels gestart met de realisatie van het platform en de eerste data-innameprocessen. De komende periode staat in het teken van het verder ontwikkelen van de platformcomponenten, het realiseren van robuuste data pipelines, het inrichten van beheer- en beveiligingsvoorzieningen en het opleveren van de eerste dataproducten. Het doel is om in het vierde kwartaal de eerste dataproducten inclusief dashboards en visualisaties beschikbaar te stellen voor eindgebruikers. De lead data engineer speelt hierin een sleutelrol door technische richting te geven, kennis in te brengen en de realisatie van het platform te versnellen. Eisen by design principes Python, OpenShift en/of Kubernetes, Azure devops, Azure Databricks, Azure Data Factory, Airflow HBO werk en denk niveau (5 jaar) Aantoonbare ervaring met het vervullen van een lead rol bij het opzetten van dataplatforms (on-premises cloud hybride) zie (4 jaar) taken en verantwoordelijkheden bij de opdrachtomschrijving Helm Docker build Terraform (IaC) ETL-pipelines CI/CD pipelines Azure Netwerk Linux (5 jaar) Wensen PSPO I en PSM I gecertificeerd Biceps Kustomize of JSONNet Databases (SQL & NoSQL) Gitops k9s / Lens Ervaring met opzetten en onderhouden van datalake Ervaring met privacy- en security-by-design principes Werken met Jira en Confluence Ervaring met stakeholdermanagement en het vertalen van architectuur- en bedrijfsdoelstellingen naar concrete technische oplossingen. Actieve bijdrage aan het behalen van sprintdoelen en het continu verbeteren van processen en werkwijzen. Ervaring met of affiniteit voor werken binnen een overheidsorganisatie, waarbij zorgvuldigheid, transparantie en compliance een belangrijke rol spelen. Ervaring als Product Owner is een pré Competenties pro-actief sterk in samenwerking Innovatief op de hoogte van de nieuwste ontwikkelingen in het vak kwaliteitsbewust resultaatgericht communicatief sterk