DEV LEAD DATA ENGINEER PYSPARK / DATABRICKS / AZURE > Paris > Joboolo FR :

Bonjour,

Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.


La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique.


Il faut à la fois maitriser absolument la méthodologie agile et avoir une première expérience en tant que Dev Lead.

1. Superviser le travail des Data Engineers et assurer leur productivité


2. Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review)


3. Prioriser les tâches en lien avec le Product Owner ou les Business Units


4. Assurer le suivi des deadlines et de la vélocité de l’équipe


5. Identifier les risques et blocages techniques


6. Collaborer avec le Tech Lead pour aligner les objectifs techniques et business

1. Analyse et Conception :
   
   
   Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage.
   
   (
   Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques.


2. Développement des Pipelines :
   
   
   Développer et optimiser des pipelines ETL / ELT avec PySpark, intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance.
   
   (
   Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors.


3. Gestion des Environnements Cloud :
   
   
   Configurer et gérer les clusters Databricks, orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake.
   
   (
   Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances.


4. Optimisation et Performance :
   
   
   Améliorer l’exécution des jobs avec Delta Lake, optimiser le code PySpark (partitioning, caching, joins..
   
   .
   
   
   ) et mettre en place du monitoring.
   
   (
   Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Bac + 5 informatique

Au moins 3 ans d'expérience en Python et PySpark + Expertise Agilité (Méthode Scrum).


Expérience :


6 mois ou 1 an en tant que Dev Lead.


Rigorueux, bon relationnel et bonne communication.