En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle.
Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile.
Votre rôle
Optimisation et refonte des pipelines data
· Auditer, refactorer et faire évoluer les modules de data engineering :
Refining Covariates Modelling, Exposition
· Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie)
· Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines
· Contribuer à la réduction de la dette technique et à la modernisation du legacy
Industrialisation et qualité des développements
· Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements
· Mettre en place les tests unitaires, d’intégration et fonctionnels
· Formaliser des standards de développement
Stabilisation, RUN et amélioration continue
· Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD
· Structurer et prioriser les actions de RUN et de stabilisation
· Définir et piloter un plan d'optimisation priorisé avec des gains mesurables
Passage à l’échelle et évolution de l’architecture data
· Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle
· Optimiser le ratio coût / performance des traitements
· Travailler en étroite collaboration avec les Data Scientists et les ML Engineers
Profil candidat:
Compétences fonctionnelles et techniques :
· Solide maîtrise des principaux outils de data engineering :
Databricks, PySpark, Python, Airflow et GitHub
· Bonne connaissance de l’écosystème AWS (S3, ECR et Glue)
· Connaissance de Docker, uv et Poetry
· Sensibilité aux méthodes Agile avec une connaissance Scrum appréciée
Qualités personnelles :
· Esprit analytique et sens de la résolution de problèmes
· Rigueur et capacité à prioriser / structurer les sujets
· Autonomie et force de proposition
· Esprit d’équipe et collaboration transverse
· Sens de l’amélioration continue
________
Type de contrat :
CDI
Niveau d’expérience :
7 ans minimum
Secteur :
Retail
Localisation :
Paris
Langues :
Français et anglais professionnels impératifs
Free-Work
Paris 94700
Autre(s)
CDI
60000€ par an 60000