Lead Data Engineer Senior - Innovation & Modernisation
Python, SQL,PowerShell, Apache Spark, PySpark, Delta Lake, Parquet, Avro, API REST, Docker, Git, CI,CD, Terraform, Bicep, ETL, ELT, LLM, RAG Chatbots, GenAI
Pour le compte de l'un de nos clients, une entreprise technologique qui accompagne les acteurs publics dans leurs enjeux de modernisation, d'efficacité opérationnelle et d'innovation, nous recherchons un(e) Lead Data Engineer Senior passionné(e) pour rejoindre une équipe dynamique et contribuer à des projets à fort impact autour des enjeux de modernisation.
Missions - Lead Data Engineer
En tant que Lead Data Engineer Senior, vous serez responsable de la conception, de l'industrialisation et de l'évolution des plateformes de données permettant d'alimenter des solutions de Data Science, de Machine Learning et de GenAI.
Au quotidien, vous serez amené(e) à :
- Concevoir et déployer des architectures Data modernes, robustes et scalables sur Azure pour soutenir des projets de Data Engineering, Machine Learning et GenAI (LLM, RAG, Chatbots).
- Développer, industrialiser et optimiser des pipelines ETL/ELT afin de garantir la qualité, la disponibilité et la fiabilité des données.
- Mettre en place des traitements de données batch et temps réel, ainsi que des architectures orientées événements.
- Collaborer avec les équipes Data, IA, Cloud et les clients afin de transformer les besoins métiers en solutions techniques performantes.
- Définir les bonnes pratiques de développement (CI/CD, Infrastructure as Code, tests automatisés, monitoring, observabilité et gouvernance des données).
- Participer aux choix d'architecture et accompagner les Data Engineers plus juniors à travers des revues de code, du mentorat et le partage de bonnes pratiques.
- Assurer une veille technologique continue afin d'identifier les innovations pertinentes et de faire évoluer les plateformes Data.
Profil - Lead Data Engineer
Vous êtes un(e) Lead Data Engineer Senior(e), curieux(se) et orienté(e) qualité, avec une forte culture Cloud et Data.
Vous disposez de :
- Au moins 5 ans d'expérience en Data Engineering, dont une expérience significative sur des projets Cloud.
- Une excellente maîtrise de Microsoft Azure, notamment Azure Data Factory, Azure Synapse Analytics, Azure Functions, Azure SQL Database, Azure Data Lake Storage Gen2, Event Grid, Event Hub, Azure Key Vault et Azure DevOps.
- Une solide expérience dans la conception de pipelines de données et des architectures Data modernes.
- Une très bonne maîtrise de Python, SQL et PowerShell.
- Une bonne connaissance des frameworks de traitement de données tels que Apache Spark (PySpark) ainsi que des formats Delta Lake, Parquet et Avro.
- Une expérience des outils d'orchestration et d'automatisation des traitements de données.
- Une bonne maîtrise des API REST et des architectures orientées services.
- Une expérience des environnements conteneurisés (Docker) et des orchestrateurs tels que Kubernetes est un plus.
- Une bonne connaissance des pratiques DevOps : Git, CI/CD, Infrastructure as Code (Terraform ou Bicep), monitoring et observabilité.
- Une bonne compréhension des problématiques de gouvernance, de sécurité et de qualité des données.
- Une bonne connaissance des environnements GenAI (LLM, RAG, vectorisation, bases vectorielles) constitue un véritable atout.
- Un diplôme d'ingénieur ou un Bac+5 universitaire.
- Un niveau d'anglais professionnel.
Au-delà de vos compétences techniques, vous êtes reconnu(e) pour votre esprit d'équipe, votre rigueur, votre capacité d'analyse ainsi que votre aptitude à accompagner et faire grandir les équipes.
Offre - Lead Data Engineer
Vous évoluerez dans un environnement stimulant, aux côtés d'équipes passionnées, en contribuant à des projets à forte valeur ajoutée qui participent à rendre les services publics plus performants, les villes plus intelligentes et les territoires plus durables.
- Une culture d'entreprise tournée vers l'innovation et l'excellence technique.
- Des projets variés autour de la Data, du Cloud et de l'Intelligence Artificielle.
- De réelles perspectives d'évolution vers des fonctions d'architecture ou de management technique.
- Un accompagnement continu à travers des formations, certifications Cloud et conférences techniques.
- Un environnement favorisant le partage de connaissances, l'autonomie et la prise d'initiative.
- Des locaux modernes et une ambiance de travail collaborative et bienveillante.
- Localisation : Île-de-France.
- Rémunération attractive : package pouvant atteindre 85 K€ selon votre expérience et votre expertise.
Health Insurance
Meal Vouchers
2 days remote
End-of-year bonuses
Internal & External trainings