Le ou la Data Engineer sera intégré(e à l'équipe produit TOPASE NLS et aura pour principales missions de :
µ
? Conception, Développement et Optimisation de Pipelines de Données sur GCP :
? Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations.
? Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables.
? Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données.
? Optimiser les performances des pipelines et la consommation des ressources GCP.
Profil candidat:
? Modélisation et Gestion des Données :
? Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier.
? Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition.
? Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données.
Free-Work
Lille 59
Autre(s)
Freelance
100000€ par an 100000
