Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients.
Contexte :
La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence.
Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :
- 350 bases de données
- 5 000 requêtes par seconde
- 1 To de données par an
L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante.
Votre mission :
Au sein d'une équipe projet, vous serez en charge de :
- Réaliser un audit et un état des lieux technique de l’existant
- Identifier les axes d’amélioration des traitements Spark (batch et streaming)
- Optimiser les performances pour les flux temps réel
- Définir les recommandations de dimensionnement de l’infrastructure
- Proposer des améliorations sur MongoDB (modélisation et structuration des données)
- Rédiger un document d’architecture cible et de préconisations
Profil candidat:
Votre Profil & l’Environnement technique dans lequel vous évoluerez :
- Expertise avancée sur Apache Spark
- Bonne maîtrise de MongoDB
- Expérience sur OVH Cloud
- Solide connaissance de Kafka / Kafka Connect
- Expérience en déploiement de Spark sur Kubernetes
- Capacité à mener des missions d’audit, d’analyse et de recommandation
- Environnement :
Spark, Kafka, Kubernetes, MongoDB, Cloud OVH
Quelques infos importantes à retenir :
- Expérience de 10 ans minimum sur un poste similaire
- 2 jours de télétravail par semaine
- Date de démarrage :
ASAP
- Type de contrat :
CDI, Freelance, Portage salarial
Situation géographique :
Rennes (35000)
Free-Work
Rennes 35000
Autre(s)
CDI
42000€ par an 42000
