Je recherche pour un de mes clients un Tech Lead Data :
Dans ce cadre, la nouvelle squad data aura la charge de :
• La migration et le déploiement en production de traitements de données sur GCP (workflows)
• La copie d’historique de données depuis le data warehouse on-prem vers GCP BigQuery
• La mise en place d’un orchestrateur pour les traitements de données sur GCP
• La mise en place d’une solution de data lineage au niveau colonne de données.
• L’automisation de processus de data engineering par l’IA ou une plateforme d’automatisation (e.g.
n8n).
La composante développement sera importante, jusqu’à 80% du temps et dépendra de la taille de la squad et de la charge de développement.
Description de la prestation
Missions principales :
• Participer aux analyses, études d’impacts et cadrage techniques
• Concevoir des solutions en respectant l’architecture data et les bonnes pratiques de développement
• Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants
• Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d’assurer la qualité des développements réalisés par l’équipe
• Rédiger la documentation technique des data products
• Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale
• Accompagner les Data Engineers sur les bonnes pratiques, les choix d’architecture et dans leur travail au quotidien
• Effectuer les audits et les contrôles des développements réalisés :
Sécurité, Maintenabilité, Robustesse et Performance
• Reporter l’activité à la Squad et travailler dans une démarche d’efficacité collective
Livrables principaux :
• Etudes d’impact technique
• Faire des propositions techniques
• Réaliser du code applicatif à l’état de l’art sur notre Data Platform GCP
• Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l’ordonnancements
• Schéma de solution des flux, modèle de données
• Fournir des chiffrages détaillés des futures réalisations
• Relecture de code technique
• Rédaction de SFD, STD, Manuel d’installation
Compétences techniques :
• Langages de programmation :
Python, SQL, Scripts Shell
• Services de streaming data :
Kafka
• Services d’ingestion des données :
Kafka Connect, SFTP
• Services de stockage :
GCP BigQuery, Cloud Storage, Kafka, Sharepoint
• Processing :
Scripts Python, Data Build Tool (DBT), GCP Dataflow
• Restitution :
Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel)
• Outils de collaboration et de CI/CD :
GitLab
•Utilisation de plateformes pour le développement et le déploiement :
Docker, Kubernetes, Kustomize, Helm Charts, Terraform
• Testing :
Tests avec DBT, Tests de non-régression, collaboration avec la QA.
• Outils IA et d’automatisation :
Gemini Code Assist, Antigravity, n8n, Gitlab Duo
• Manipulation des formats de fichiers :
CSV, JSON, Avro, XML
Compétences transverses :
• Proactivité et prise d’initiative
• Autonomie et rigueur
• Capacité à communiquer, à travailler en équipe et excellent relationnel
• Capacité d’adaptation aux changements
• Curiosité, veille technologie sur le data engineering et sur l’AI / ML
• Capacité à aborder des problèmes complexes de manière structurée
• Aptitude à concevoir des solutions innovantes
• Capacité d’écoute, d’analyse et de synthèse
• Maitrise de l’agilité
Profil candidat:
Je recherche pour un de mes clients un Tech Lead Data :
Dans ce cadre, la nouvelle squad aura la charge de :
• La migration et le déploiement en production de traitements de données sur GCP (workflows)
• La copie d’historique de données depuis le data warehouse on-prem vers GCP BigQuery
• La mise en place d’un orchestrateur pour les traitements de données sur GCP
• La mise en place d’une solution de data lineage au niveau colonne de données.
• L’automisation de processus de data engineering par l’IA ou une plateforme d’automatisation (e.g.
n8n).
La composante développement sera importante, jusqu’à 80% du temps et dépendra de la taille de la squad et de la charge de développement.
Description de la prestation
Missions principales :
• Participer aux analyses, études d’impacts et cadrage techniques
• Concevoir des solutions en respectant l’architecture data et les bonnes pratiques de développement
• Réaliser le développement des data products et assurer la maintenance évolutive et corrective des data products existants
• Effectuer des contrôles croisés entre développeurs ou des relectures de code afin d’assurer la qualité des développements réalisés par l’équipe
• Rédiger la documentation technique des data products
• Apporter une expertise de troisième niveau dans les incidents de production, et si besoin la réalisation de solution de contournements, ou de correctifs de manière à assurer une qualité de fonctionnement optimale
• Accompagner les Data Engineers sur les bonnes pratiques, les choix d’architecture et dans leur travail au quotidien
• Effectuer les audits et les contrôles des développements réalisés :
Sécurité, Maintenabilité, Robustesse et Performance
• Reporter l’activité à la Squad et travailler dans une démarche d’efficacité collective
Livrables principaux :
• Etudes d’impact technique
• Faire des propositions techniques
• Réaliser du code applicatif à l’état de l’art sur notre Data Platform GCP
• Rédiger les documentations techniques liés à ta solution, incluant le modèle de données, les procédures, l’ordonnancements
• Schéma de solution des flux, modèle de données
• Fournir des chiffrages détaillés des futures réalisations
• Relecture de code technique
• Rédaction de SFD, STD, Manuel d’installation
Free-Work
Paris 94700
Autre(s)
CDI
40000€ par an 40000
