â??Fondée en 1976, CGI est l'une des plus importantes entreprises de services-conseils en technologie de l'information (TI) et en management au monde.
Nous sommes guidés par les faits et axés sur les résultats afin d'accélérer le rendement de vos investissements.
Big Data, Data Science, Data analyse, Data architecture, Ça n'a pas de secret pour vous ? Que vous commenciez votre carrière professionnelle ou que vous soyez spécialiste de l'une de ces disciplines, intégrer notre communauté Data, c'est l'assurance de progresser, innover, partager, vous certifier et rendre service à nos clients.
Si vous souhaitez intégrer nos équipes à Paris et accompagner les plus grands acteurs du secteur de l'énergie, cette annonce est susceptible de vous intéresser.
Fonctions et responsabilités :
Le développeur-concepteur assure la conception technique logicielle des solutions.
Il s'appuie également sur les équipes d'exploitation (infogérées) et les équipes d'administration relatives aux technologies manipulées, ainsi que la cellule d'architecture référente.
Par son activité de veille technologique, il identifie et préconise les technologies qui seront les plus pertinentes pour gérer le volume et les flux de données, en veillant aux aspects de scalabilité et de résilience des éléments pour rendre évolutive la solution.
Le profil devra démontrer:
- Sa connaissance d'Hadoop au sens général (nouvelles normes sur Hadoop, update, fichiers parqués) - Sa maitrise Python et de Spark - Sa maîtrise du DEVOPS (et des bonnes pratiques qui vont avec) - Sa bonne connaissance de la veille technologique et des protocoles d'échanges de fichiers et messages - Son savoir-faire dans le travail avec plusieurs équipes car il faudra prendre en main les échanges avec plusieurs équipes (internes, infogérant etc) Le contexte technique est le suivant :
- Pour l'ingestion de données, le client développe ses propres scripts (Python version > 3.6, spark > V2) et exploite les logs générés par ces scripts d'ingestion via la suite Elastic Search pour la supervision des services et des flux - Certains exécutables réalisés en langage java pourront être réutilisés par les programmes python pour les transformations complexes - Les protocoles d'échanges permettant la réception des données (flux de fichiers, messages, ..
.
) sont les suivants :
FTP, ODBC/JDBC, http(s), SMTP/POP3.
Ces échanges reposent :
o Sur une plateforme Kafka Confluent o Un framework d'échanges (EAI, FTM) o Des flux point à point (FTP) o Les API REST offertes par les applications opérationnelles ou externes au client - Les fichiers sont de type :
Structurés :
csv, tables oracle, parquet.
Ils peuvent inclure des formats complexes (array, struct, etc..
.
) ; spécifiques ( grib2, netcdf), Semi-structurés (fichiers textes avec séparateurs, .xml, .avro) ; Non structurés (images, binaires, fichiers plats..
.
) - Stockage fichier :
Stockage (NAS) ; Stockage base de données (Oracle, Mysql) ; Stockage Big Data :
distribution Cloudera au sein de l'Appliance Oracle Big Data (version 5.12 actuellement) puis TDP en cours de déploiement - Outils de Data Visualisation (Qlik), de Data Science (R, Python), de Data Virtualisation (Dremio) - Composants digitaux :
plateforme d'API, web encapsulation de publications dans un portail - Environnements Linux (Redhat, CentOS) virtualisés - Plateforme d'intégration continue :
l'ensemble des développements réalisés sont intégrés aux outils de la plateforme (Git, Nexus, Sonar, Jenkins) Outils de documentation et de pilotage (Confluence, JIRA) - Tests :
pytest (python tests unitaires) et XRay (référentiel des tests) En rejoignant CGI, vous bénéficiez notamment d'une offre complète de formations (techniques, métiers, développement personnel,..
.
), de flexibilité grâce à notre accord télétravail (jusqu'à 3 jours de télétravail par semaine), d'une politique de congés avantageuse (27 jours de congés payés, RTT, congés ancienneté et enfant malade,..
.
) et d'un package d'avantages intéressant (régime d'achats d'actions, participation, CSE,) De formation Bac 5 option informatique en école d'Ingénieurs avec une expérience d'au moins 3 ans le poste Expertises:
- Python 3.6 dont spark 2 :
spark SQL, Spark Streaming compris - Framework API REST python Très bonnes connaissances - Protocoles d'échanges de fichiers et de messages - Git - Jenkins ou Gitlab CI/CD, Sonar) - Ansible (et langage Yaml), docker (dockerfile et docker-compose).
Qualités humaines:
- Rigueur â? Autonomie â? Esprit d'analyse â? Méthodique CGI est un employeur inclusif et attentif aux candidatures des personnes en situation de handicap, à l'évolution de carrières des hommes et des femmes et au bien-être de nos salariés LGBT.
Dans un souci d'accessibilité et de clarté, le point médian n'est pas utilisé dans cette annonce.
Tous les termes employés se réfèrent aussi bien au genre féminin que masculin.
