Data Lake Serverless
Le Cloud a transformé ces dernières années l’approche du Big Data: Stockage de la donnée et capacité de traitement sont désormais séparés, capacité à la demande ou encore utilisation de Cluster en mode éphémère sont maintenant la norme et permettent de s’abstraire de problématiques d’exploitation qu’on ne souhaite pas avoir à gérer.
Le changement va toutefois plus loin, et c’est ce que cette première soirée du mois du Cloud vous propose d’explorer en creusant les approches proposées par les providers de Cloud AWS et GCP vis-à-vis de la mise en oeuvre de Data Lake en mode Serverless.
Speakers
Edern Hotte
Data Ingénieur - XebiaDéveloppeur chez Xebia depuis 2 ans, Edern s'intéresse à une variété de domaines dans l'informatique mais récemment plus aux technos autour de la Data.
Edern Hotte
Data Ingénieur - Xebia
Ivan Beauvais
Senior Consultant - XebiaDéveloppeur sur l’écosystème Java depuis 12 ans dont 5 chez Xebia, Ivan s’intéresse à tout ce qui fait le succès d’un projet : Software Craftsmanship, Devops, architectures, pratiques agiles … Il anime également les formations Elasticsearch chez Xebia Training
Ivan Beauvais
Senior Consultant - Xebia
Jean-Baptise Claramonte
Consultant sénior Développeur & Manager - XebiaJean-Baptiste est développeur back/cloud depuis plus de 15 ans. Il s'intéresse depuis 2 ans au cloud avec AWS et depuis 6 mois avec Google Cloud qu'il utilise en mission afin de migrer vers GCP un Datalab initialement déployé sur OVH.
Jean-Baptise Claramonte
Consultant sénior Développeur & Manager - Xebia
Nicolas Dechandon
Data Ingénieur - XebiaNicolas Dechandon
Data Ingénieur - XebiaProgramme
Construire un Data lake Serverless sur AWS
Le Cloud, qu'on le veuille ou non, est aujourd'hui incontournable pour les entreprises. Quid de la construction d'un Data Lake Serverless. Promesse ou réalité ?
AWS propose depuis un certain temps les services nécessaires répondant à un tel besoin. Nous partagerons lors de cette session, un retour d'expérience sur le cheminement qui nous a permis de construire un Datalake réellement Serverless chez un de nos clients.
Ce retour d'expérience se veut exclusivement technique, aussi bien sur les fausses bonnes idées et les échecs, que le les vraies réussites. Nous mettrons en perspective l'architecture développée par rapport au besoin d'un Dalalake (ingestion, exposition, transformation données, traçabilité...)
Pour les plus impatients d'entre vous, quant au contenu de la session, nous verrons comment nous avons géré le workflow de la donnée avec AWS Lambda et AWS Step Functions, ou encore la préparation de la donnée avec du Spark managé (AWS Glue et EMR) mais pas que ! (S3, SQS, CloudWatch seront bien évidement de la partie)
Google est le champion de la data et naturellement sa plateforme cloud propose toutes les briques nécessaires pour mettre en place un Datalake.
Nous vous expliquerons comment nous avons utilisé les services managés depuis le stockage des données jusqu'à leur exploitation par les équipes datascientistes et marketing.
