Data Engineer Python / Scala / Cloud > Paris > Joboolo FR :

Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data.

La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs :

découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI.

Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international.

Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux.

Développement et maintenance de pipelines de données en Python et Scala
Conception et évolution d’une architecture data scalable et modulaire
Gestion et optimisation des flux de données
Mise en place de processus de data quality et validation des données
Optimisation des performances des ingestions de données
Participation aux rituels agiles et aux revues de code
Documentation des choix techniques et de l’architecture

Python
Scala / Spark
Cloud :

AWS et Azure
AWS :

Lambda, Glue, Redshift, Step Functions, DynamoDB
Streaming :

Kafka, Kinesis, EventHub, EventGrid
API REST
Git
CI/CD
Big Data Architecture

Connaissance de Langchain ou Langgraph appréciée.

Minimum 8 ans d’expérience en développement data

Expérience solide en :

Python
Scala / Spark
architectures data cloud
data pipelines et data quality

Capacité à travailler dans un environnement international.
Anglais professionnel requis.