Fondée en 1976, CGI est l'une des plus importantes entreprises de services-conseils en technologie de l'information (TI) et en management au monde.
Nous sommes guidés par les faits et axés sur les résultats afin d'accélérer le rendement de vos investissements.
Dans le cadre des activités de développement logiciel pour l'ingestion de données, le consultant doit :
â?¢ Définir les chaînes de traitements réalisés pour l'ingestion des données brutes dans le Data Lake (Oracle, Hadoop, systèmes de fichiers) au sein des applications ALICE et DOLMEN :
o Le stockage des données,o Les premières étapes de transformation (adaptations de format),o Le mode de distribution des données pour la phase d'ingestion.â?¢ Développer des scripts pour capter, importer, traiter et stocker les données dans le Data Lake.â?¢ Déployer le code d'installation des machines à l'aide d'Ansible, Git, Nexus et Jenkins en mode intégration continue.
Le déploiement doit être totalement automatisé.â?¢ Déployer les noeuds configurés des cluster Big Data Platform à l'aide des outils devopsâ?¢ Mettre en container ses applications à l'aide de Docker et Docker-composeâ?¢ Gérer la qualité du code avec Sonar et gérer la dette technique associée.Mais aussi il doit :
â?¢ Développement des scripts d'ingestion de données sur le Datalakeâ?¢ MCO du cluster Datalake sur la nouvelle infrastructure BDP,â?¢ Développement du cÅ?ur de la collection ansible BDP en fonction des évolutions TDP,â?¢ Appui à l'administration de la nouvelle infrastructure BDP des clustersStockage Big Data :
Une nouvelle distribution Hadoop basée sur la Trunk Data Platform (tosit.io) est déployée, distribution Trunk Data Platform du TOSIT:
o Hive / tezo HDFSo Hue / Hue Notebooko Yarn/Spark 3o Zookeepero Rangero Knox, LivyEn rejoignant CGI, vous bénéficiez notamment d'une offre complète de formations (techniques, métiers, développement personnel,..
.
), de flexibilité grâce à notre accord télétravail (jusqu'à 3 jours de télétravail par semaine), d'une politique de congés avantageuse (27 jours de congés payés, RTT, congés ancienneté et enfant malade,..
.
) et d'un package d'avantages intéressant (régime d'achats d'actions, participation, CSE,).
Vous devez connaitre et/ou maitriser :
â?¢ Python version > 3.6 â?¢ Spark > V3 â?¢ Docker â?¢ Ansible CGI est un employeur inclusif et attentif aux candidatures des personnes en situation de handicap, à l'évolution de carrières des hommes et des femmes et au bien-être de nos salariés LGBT.
Dans un souci d'accessibilité et de clarté, le point médian n'est pas utilisé dans cette annonce.
Tous les termes employés se réfèrent aussi bien au genre féminin que masculin.
Skills :
Français CGI 1er Arrondissement permanent Expérience souhaitée
