Description du besoin :
Data Engineer – Plateforme Data AWS / Snowflake
Client :
Grand Groupe Industriel International
Localisation :
Magny-les-Hameaux (78) + déplacements ponctuels Malakoff (92)
Télétravail partiel :
2 jours / semaine
Démarrage idéal :
ASAP
Information de type C3
- Contexte industriel
? Contexte
Dans le cadre de l’évolution de sa plateforme Data, un grand groupe industriel souhaite renforcer son dispositif avec un profil senior spécialisé en orchestration de pipelines de données, avec une expertise forte sur Apache Airflow.
Le client dispose d’un écosystème data déjà en place (AWS / Data Lake / Snowflake) et cherche à améliorer la fiabilité, la scalabilité et l’industrialisation des traitements.
L’objectif est d’intégrer un profil capable de concevoir et structurer les workflows data, et non simplement d’utiliser Airflow pour exécuter des jobs existants.
? Objectif de la mission
Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de :
-concevoir et développer des DAGs complexes
-structurer l’enchaînement des traitements de données
-gérer les dépendances entre pipelines
-implémenter des stratégies de gestion des erreurs, retry et reprise
-optimiser l’orchestration et la planification des workflows
Le consultant interviendra sur la fiabilisation et l’industrialisation des pipelines data, avec une forte autonomie dans la conception des solutions.
? Prestations attendues
? Orchestration & Airflow (cœur de mission)
Conception et développement de DAGs Airflow complexes
Structuration des workflows data et gestion des dépendances
Mise en place de stratégies de retry, reprise et gestion des erreurs
Optimisation du scheduling et des performances des pipelines
Industrialisation des workflows
? Data Engineering & intégration
Intégration et orchestration de pipelines batch et temps réel
Collaboration avec les équipes Data (Data Engineers / Data Scientists)
Contribution à l’architecture globale des pipelines
? Cloud & environnement technique
Intégration dans un environnement AWS Data Lake
Interaction avec les services data (stockage, compute, etc.)
Automatisation et bonnes pratiques de développement
? Environnement technique
Airflow (expertise avancée requise)
Python
AWS (S3, Glue, etc.)
Data Lake / Snowflake
CI/CD / Terraform (apprécié)
? Profil recherché
? Expérience
5+ ans en Data Engineering
Expérience significative sur Airflow en production
Expérience sur des environnements data complexes
? Compétences indispensables
Airflow avancé (design de DAGs, orchestration complexe)
Python
Conception de pipelines data
Gestion des dépendances et workflows
? Compétences appréciées
AWS / Data Lake
Terraform / CI/CD
Snowflake
? Points clés (critères éliminatoires)
Profil ayant utilisé Airflow uniquement comme outil de déclenchement ?
Absence d’expérience en conception de DAGs ?
Pas de maîtrise de la logique d’orchestration ?
? Profil idéal
Un profil capable de penser et concevoir une orchestration complète de pipelines data, avec une vraie maîtrise des mécaniques internes d’Airflow, et une capacité à intervenir en autonomie sur des environnements existants.naires
Communication claire et structurée
Profil candidat:
Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de :
-concevoir et développer des DAGs complexes
-structurer l’enchaînement des traitements de données
-gérer les dépendances entre pipelines
-implémenter des stratégies de gestion des erreurs, retry et reprise
-optimiser l’orchestration et la planification des workflows
Le consultant interviendra sur la fiabilisation et l’industrialisation des pipelines data, avec une forte autonomie dans la conception des solutions.
Free-Work
Magny-les-Hameaux 78114
Autre(s)
CDI
