Senior Data Engineer | PySpark, Databricks & Cloud

À propos du poste

Rejoignez une Digital Factory internationale qui conçoit et déploie des solutions Data et IA utilisées dans plus de 130 pays.

Vous intégrerez une équipe Agile composée de Data Engineers, Data Scientists, Software Engineers et Product Owners. En tant que Senior Data Engineer, vous contribuerez à la conception, à l’industrialisation et à l’évolution de plateformes Data modernes permettant de développer des produits analytiques et des solutions d’intelligence artificielle à grande échelle.

Vous évoluerez dans un environnement international, collaboratif et orienté innovation, où la qualité, la performance et la fiabilité des données sont au cœur des enjeux.
 
 

Vos responsabilités

• Concevoir, développer et maintenir des pipelines de données robustes, performants et évolutifs.
• Développer les traitements permettant de collecter, préparer, transformer et diffuser les données.
• Assurer le stockage, la consommation, l’intégration et la gestion des données liées aux différents cas d’usage.
• Analyser l’accessibilité des données et recommander les solutions les plus adaptées à leur intégration.
• Participer à la mise en place, à l’industrialisation et à la maintenance des architectures Data et Cloud.
• Intervenir sur des pipelines variés : batch, temps réel, séries temporelles et cas d’usage liés à l’intelligence artificielle.
• Concevoir des modèles de données adaptés aux enjeux métiers et aux systèmes sources.
• Collaborer avec les Data Scientists afin de faciliter le développement et l’industrialisation des modèles prédictifs et des cas d’usage IA.
• Garantir la qualité du code grâce à la mise en place de tests automatisés, de contrôles de robustesse et de bonnes pratiques de développement.
• Mettre en œuvre des mécanismes de monitoring afin d’assurer la qualité, la fiabilité et la disponibilité des flux de données.
• Collaborer avec les Architectes, les autres Data Engineers et les équipes produit afin de garantir la cohérence et l’efficacité des solutions mises en œuvre.
• Contribuer à l’amélioration continue des plateformes, des pratiques d’ingénierie et des processus de delivery.

Compétences et expérience requises

• Expérience confirmée en Data Engineering, idéalement dans des environnements techniques complexes et à grande échelle.
• Excellente maîtrise de Python.
• Très bonne maîtrise de SQL.
• Expérience solide avec Apache Spark et Databricks.
• Bonne connaissance des bases de données relationnelles et non relationnelles.
• Expérience dans la conception, le développement et la maintenance de pipelines de données à grande échelle.
• Bonne compréhension des architectures Data modernes (Data Lake, Data Warehouse, traitements batch et streaming).
• Expérience avec un fournisseur Cloud, idéalement AWS; une expérience Azure est également appréciée.
• Maîtrise des bonnes pratiques de qualité, de monitoring et de fiabilité des flux de données.
• Expérience avec les outils de gestion de code source, d’intégration continue et de déploiement continu.
• Bonne compréhension des enjeux de modélisation de données, de gouvernance et de sémantique.
• Compréhension des problématiques liées au Machine Learning et aux usages de l’intelligence artificielle.
• Expérience de travail dans un environnement Agile (Scrum ou Scrumban).

Profil recherché

• Vous disposez d’une expérience significative dans la conception et l’industrialisation de plateformes et de pipelines Data.
• Vous êtes capable de prendre du recul sur les choix techniques et d’en comprendre les impacts métiers.
• Vous combinez une forte expertise technique avec une approche orientée qualité, robustesse et performance.
• Vous êtes à l’aise dans des environnements Cloud et des architectures Data distribuées.
• Vous appréciez la collaboration avec des équipes pluridisciplinaires composées de Data Engineers, Data Scientists, Software Engineers, Architectes et Product Owners.
• Vous êtes autonome, rigoureux et reconnu pour vos qualités de communication.
• Vous faites preuve de curiosité, d’esprit critique et d’une forte capacité d’adaptation.
• Vous souhaitez contribuer à une communauté Data Engineering et partager vos bonnes pratiques.

Missions transverses

• Assurer une veille technologique sur les architectures Data, le Cloud et les nouvelles technologies.
• Contribuer aux choix techniques et aux standards d’ingénierie de la Digital Factory.
• Participer aux Communities of Practice et aux initiatives de partage de connaissances.
• Accompagner et coacher les autres Data Engineers sur les bonnes pratiques de développement et d’architecture.
• Contribuer à l’amélioration continue de la qualité, de la documentation et des processus de delivery.

Ce que l’entreprise propose

• Un poste basé à Paris.
• Un environnement international, Agile et multiculturel.
• Des projets Data et IA à grande échelle.
• Un plan de développement professionnel avec jusqu’à 10 jours de formation par an.
• Le financement de certifications (AWS, Azure, Databricks…).
• Un programme de mentorat.
• Un modèle de travail hybride.
• Des horaires flexibles.

Lieu de travail

Paris, France