Data Engineer senior > Free-Work > Joboolo FR :

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle.

Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile.

Votre rôle

Optimisation et refonte des pipelines data

·        Auditer, refactorer et faire évoluer les modules de data engineering :

Refining Covariates Modelling, Exposition

·        Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie)

·        Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines

·        Contribuer à la réduction de la dette technique et à la modernisation du legacy

Industrialisation et qualité des développements

·        Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements

·        Mettre en place les tests unitaires, d’intégration et fonctionnels

·        Formaliser des standards de développement

Stabilisation, RUN et amélioration continue

·        Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD

·        Structurer et prioriser les actions de RUN et de stabilisation

·        Définir et piloter un plan d'optimisation priorisé avec des gains mesurables

Passage à l’échelle et évolution de l’architecture data

·        Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle

·        Optimiser le ratio coût / performance des traitements

·        Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Compétences fonctionnelles et techniques :

·        Solide maîtrise des principaux outils de data engineering :

Databricks, PySpark, Python, Airflow et GitHub

·        Bonne connaissance de l’écosystème AWS (S3, ECR et Glue)

·        Connaissance de Docker, uv et Poetry

·        Sensibilité aux méthodes Agile avec une connaissance Scrum appréciée

Qualités personnelles :

·        Esprit analytique et sens de la résolution de problèmes

·        Rigueur et capacité à prioriser / structurer les sujets

·        Autonomie et force de proposition

·        Esprit d’équipe et collaboration transverse

·        Sens de l’amélioration continue

________

Type de contrat :

CDI

Niveau d’expérience :

7 ans minimum

Secteur :

Retail

Localisation :

Paris

Langues :

Français et anglais professionnels impératifs