The Maffia et mediabedrijf recherchent un Data Engineer freelance.

Votre rôle

Prendre en charge l'environnement Elasticsearch et veiller à ce qu'il reste sain, performant et correctement dimensionné
Être responsable du pipeline de données en temps réel alimentant le Traffic Dashboard et garantir la qualité, la latence et l'exhaustivité des données
Surveiller la plateforme de manière proactive et analyser les dégradations de performance, les lacunes dans les données et les incidents en production avant qu'ils n'affectent les utilisateurs
Concevoir et mettre en œuvre des modifications fiables, avec des stratégies appropriées de tests, de monitoring et de rollback
Continuer à développer l'architecture de données en temps réel et les API, y compris l'intégration entre Elasticsearch, Databricks et Traffic Dashboard
Développer et mettre en production des workloads de données dans Databricks et Apache Spark
Travailler avec des technologies de streaming telles que Kafka ou Azure Event Hubs
Travailler si nécessaire avec le backend existant en TypeScript / JavaScript / Node.js afin de résoudre les problèmes et de livrer des solutions de bout en bout
Améliorer l'observabilité, la scalabilité et la maintenabilité tout en réduisant la complexité opérationnelle de la plateforme

Votre profil

Être un ingénieur senior à l'aise pour assumer en toute autonomie la responsabilité de systèmes de production critiques
Avoir une solide expérience d'Elasticsearch, notamment en matière d'architecture, de performance, de scaling et de résolution de problèmes en production
Avoir une solide expérience de Databricks et d'Apache Spark
Comprendre les architectures de données orientées streaming et événements
Avoir de l'expérience avec des technologies telles que Kafka ou Azure Event Hubs
Posséder un état d'esprit d'ingénieur intégrant l'observabilité, le débogage, l'optimisation des performances, la gestion des défaillances et l'analyse d'incidents
Être suffisamment à l'aise avec JavaScript/Node.js pour comprendre, déboguer et modifier un backend existant
Parler couramment le néerlandais et l'anglais