Jouw rol
Als Senior Streaming Data Engineer speel je een sleutelrol binnen het team IoTeam. Je werkt nauw samen met collega Data Engineers om geavanceerde, schaalbare data-oplossingen te ontwikkelen. Je expertise in Spark Structured Streaming en PySpark wordt gebruikt voor het bouwen en onderhouden van real-time streaming platformen, gericht op semigestructureerde sensorische databronnen en beeldverwerking.
Belangrijkste verantwoordelijkheden:
-
Achterhalen van de vraag achter de vraag en passende oplossingen adviseren.
-
Inrichten van de data pipeline tussen databronnen en analytics teams.
-
Opzetten en beheren van CI/CD pipelines voor streaming pipelines van ontwikkeling tot productie.
-
Ontwikkelen van een fundament in de Azure cloud voor het ontsluiten van alle streaming- en sensorische databronnen.
-
Waarborgen van betrouwbaarheid, efficiëntie en schaalbaarheid van data-oplossingen.
-
Voldoen aan security- en privacyvereisten van NS.
Samenwerking
Je wordt onderdeel van IoTeam:
-
5 Data Engineers
-
1 Product Owner
-
1 Scrum Master
Het team werkt Agile en Scrum, en ontwikkelt kwalitatief hoogwaardige, innovatieve dataproducten. NS stimuleert diversiteit en inclusie, en verwacht dat iedereen bijdraagt aan een collegiale en professionele samenwerking.
Functie-eisen
-
Minimaal 7 jaar ervaring in het verwerken van grote hoeveelheden data.
-
Minimaal 3 jaar ervaring met Spark Structured Streaming.
-
Minimaal 7 jaar ervaring met Python, PySpark, CI/CD pipelines, geautomatiseerd testen en Infrastructure-as-Code.
-
Ervaring met Java en/of Scala, Microsoft Azure, Databricks, Azure DevOps, Terraform/Bicep/OpenTofu, Kafka, AMQP, RabbitMQ en/of Event Hub.
-
Actueel inzicht in technologische ontwikkelingen binnen dit domein en vaardig in het creëren van innovatieve oplossingen.
-
Zelfstarter, ervaring met Agile werken en jong/dynamisch team.
-
Sterke organisatie- en waardegerichte mindset, met focus op duurzame oplossingen.
-
Uitstekende beheersing van Nederlands, mondeling en schriftelijk.
-
Bereidheid tot (eventuele) bereikbaarheidsdiensten.
-
Proactief, zelfstandig en durft initiatief te nemen, ook bij onvolledige informatie.