Expert Spark Data Engineer > Joboolo FR :

Contexte de la mission :

Pour un besoin interne , nous recherchons un Expert Spark Data Engineer

La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH.

Volumétrie cible :

• 350 bases de données




• 5 000 requêtes par seconde




• 1 To par an

 Tâches à réaliser :

• Analyse et état des lieux technique




• Préconisations d'amélioration :
  
  




• Amélioration Spark streaming + temps réel + dimensionnement infra




• Préconisations d'amélioration :
  
  Dimensionnement infra pour le streaming temps réel.




• Préconisations d'amélioration :
  
  Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns)




• Document d'architecture cible & de préconisations

Compétences recherchées :

Obligatoires :

• Apache Spark




• MongoDB




• OVH Cloud




• Kafka / Kafka Connect




• Déploiement Apache Spark sur Kubernetes

Méthodologie :

Audit / Analyse

Langues :

Français