Projet SDTD
En quoi a consisté ce projet?
Gros projet sur tout le semestre, l’ambition était de construire une application distribuée sur le service cloud de Google permettant la visualisation de données basiques mais en temps réel. Mon groupe et moi-même avions décidé de travailler sur la visualisation des gaz à effet de serre produits par les avions actuellement en vol de puis raffraichissement de la page.
N’ayant absolument aucune compétence dans le domaine, ni eu de cours sur le sujet, nous nous sommes retrouvés plongés dans le grand bain du cloud à devoir apprendre des technologies et les faire fonctionner ensemble rapidement et efficacement. Sur les avis des anciens, nous avons fait le choix de laisser de côté la mise en place d’un orchestrateur à la main (car nous n’avions pas le droit d’utiliser GKE) et de nous concentrer sur la pile Kafka-Spark-Cassandra. Le déploiement et la configuration automatique a été gérée par Terraform, le server fait sous NodeJs tout comme les producteurs dont Kafka a besoin.
De quelle partie me suis-je occupé?
Travaillant par nature toujours en avance, j’ai choisi de m’occuper de la partie Terraform afin de prendre en main l’outil et proposer à mes camarades un environnement de travail complètement prêt à être utilisé. J’ai investi un certain temps à comprendre les subtilités de la technologie et mettre en place la relation Gitlab <=> Terraform Cloud <=> Google Cloud Engine mais celle-ci s’est avérée précieuse et m’a permis d’agir très rapidement sur tout changement qui s’avérait nécessaire par la suite.
J’ai également mis en place le site internet dont j’ai fait l’interface et géré l’installation et une partie de la configuration de chaque machine. J’ai choisi de produire deux circuits de VM dont l’état était automatiquement géré depuis le fichier Terraform. Ce faisant, il m’a été possible d’installer à la main nos outils et laisser mes camarades travailler sur le circuit manuel pendant que je travaillait au déploiement automatique sur le second.
Toutefois, pour des raisons de configuration ultérieure indépendantes de ma volonté, seul le circuit manuel a pu être testé et s’est montré fonctionnel.