Le projetLe client (finance) utilise AWS depuis quelques années, d’abord sur une stack HPC (librairie permettant de distribuer sur AWS Batch l’exécution d’un DAG), puis avec une stack SageMaker (expérience interactive via l’utilisation de Studio JupyterLab / MLFlow).
Ce projet, comme les précédents, prend la forme d’un MAP (Migration Acceleration Program), approche structurée par AWS (Assess
- Mobilize
- Migrate).
La phase Assess a identifié une typologie d’usages (embarassingly parallel map, cross-partition shuffling / window-heavy computation, dataset-level summaries, ML/tensor-preparation, interactive exploration) et 3 technologies-clés :
1) Ray/Daft 2) Spark (via EMR) et 3) Iceberg, comme couche de stockage/accès aux données.
La phase de Mobilize doit permettre :
? De valider la capacité de ces outils à adresser les enjeux de feature engineering avec les contraintes ci-dessus exprimées, et une expérience chercheur aussi aisée que possible.
? D’envisager leur exploitation dans un mode “plateforme” / industrialisé ; les aspect self-service, observabilité technique et finops, sont clés.
Exprimée aujourd’hui comme un side-topic, l’exploitation unifiée des technologies ci-dessus sur un socle Kubernetes (sur EKS) pourrait devenir un sujet central de la phase Mobilize.
Cette phase de mobilize doit durer 7 mois et sera réalisée par une équipe de 3 personnes:
Un software engineer (vous), un devOps et un data Engineer.
Compétences techniques
-> Très bon niveau en python & capacité à expliciter explicites la vision d’ensemble de ses projets, les enjeux, les options techniques et les arbitrages ;
-> Avoir travaillé sur des enjeux de traitements distribués & de graph
-> Maitrise du cloud AWS (services EMR, S3, Daft serait un plus) et notamment des aspects IAM
-> Anglais courant obligatoire
Localisation
Paris, présence sur site obligatoire à minima 3j/semaine
Profil candidat:
Senior Python Software Engineer
-> Très bon niveau en python & capacité à expliciter explicites la vision d’ensemble de ses projets, les enjeux, les options techniques et les arbitrages ;
-> Avoir travaillé sur des enjeux de traitements distribués & de graph
-> Maitrise du cloud AWS (services EMR, S3, Daft serait un plus) et notamment des aspects IAM
-> Anglais courant obligatoire
Free-Work
Paris 94700
Autre(s)
Freelance
137500€ par an 137500
