Nous recherchons un LeadDataEngineer spécialisé python/airflow pour rejoindre nos rangs et contribuer à notre succès continu.
En tant que LeadDataEngineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l'encadrement d'une équipe de 3 dataengineers.
Vous travaillerez en étroite collaboration avec nos équipes de développement, d'opérations et de gestion de produits pour garantir la création de solutions robustes, évolutives et hautement performantes.
Les missions :
des pipelines de données robustes, automatisés et génériques en utilisant Apache Airflow (Astronomer) pour l'orchestration dans des environnements cloud AWS et Azure.
à la conception et à l'implémentation de l'architecture de données, en assurant la disponibilité, la performance, la sécurité et la fiabilité des systèmes.
en place des mécanismes de surveillance pour suivre les métriques de performance, les erreurs potentielles et définir des alertes pour les situations critiques.
en place des outils de sécurisation, monitoring, backup, répartition des charges, etc les pipelines, les flux de données, les schémas de base de données et autres composants, facilitant ainsi la compréhension et la maintenance du système.
avec les équipes de data science pour intégrer les données et modèles selon une approche MLOps.
les bases de données relationnelles (postgreSQL) et MongoDB dans les solutions architecturales, en tenant compte des exigences de performances et de disponibilité.
le suivi opérationnel des traitements (monitoring, support clients technique).
l'activité de l'équipe de gestion des données transversalement aux différents projets.
Votre profil :
années d'expériences minimum sur des projets similaires bonne connaissance des environnements cloud AWS et Azure, idéalement avec Kubernetes moins une expérience significative sur Airflow/Astronomer.
des bases de données relationnelles et expérience avec MongoDB.
à communiquer efficacement et à travailler en équipe, tout en faisant preuve d'autonomie.
compréhension des méthodologies Agile et des pratiques DevOps.
Les technologies suivantes n'ont pas de secret pour vous :
:
Windows, Linux (ubuntu, WSL2), réseaux :
Python (pandas, polars, scikit), SQL, Shell :
Airflow/Astronomer, dbt, openlineage :
Base de données :
postgreSQL, mongoDB :
Docker/Podman :
Github, VSCode, Azure devops SELLIA Paris Expérience souhaitée
