Big Data Montée en compétence Hadoop
-
Upload
laurent-letourmy -
Category
Technology
-
view
1.206 -
download
2
description
Transcript of Big Data Montée en compétence Hadoop
![Page 2: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/2.jpg)
![Page 3: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/3.jpg)
Notre métier
Agence conseil en Technologie Digitale
Conception, mise en œuvre et animation de Plateformes Digitales
Organisée autour de 7 offres
Digital Marketing Ecommerce CRM
Cloud Computing
BusinessIntelligence
Data Management Big Data
![Page 4: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/4.jpg)
Comment monter en puissance et en autonomie sur une plateforme Hadoop ?
Romain Chaumais
![Page 5: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/5.jpg)
CONSEIL #1 DÉMYSTIFIER LA BÊTE
![Page 6: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/6.jpg)
![Page 7: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/7.jpg)
![Page 8: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/8.jpg)
![Page 9: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/9.jpg)
![Page 10: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/10.jpg)
CONSEIL #2 FAIRE COMME AVANT
![Page 11: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/11.jpg)
![Page 12: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/12.jpg)
Les bénéfices de la « base de données » Hadoop
12
Gestion des données structurées, peu
structurées et non structurées
Massivement Scale-Out (Gestion du temps
contraint)
Faible coût de possession
Intégrée et compatible avec l’écosystème BI
traditionnel
Pas de modèle de données à priori
Grande capacité de stockage
De plus en plus compatible avec des usages temps réel
(Flume, Hbase, Impala)
![Page 13: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/13.jpg)
![Page 14: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/14.jpg)
![Page 15: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/15.jpg)
![Page 16: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/16.jpg)
CONSEIL #3 CHOUCHOUTER LES ADMIN SYSTÈMES
![Page 17: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/17.jpg)
![Page 18: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/18.jpg)
![Page 19: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/19.jpg)
![Page 20: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/20.jpg)
![Page 21: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/21.jpg)
![Page 22: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/22.jpg)
![Page 23: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/23.jpg)
CONSEIL #4 OSER SE JETTER À L’EAU
![Page 24: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/24.jpg)
![Page 25: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/25.jpg)
![Page 26: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/26.jpg)
![Page 27: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/27.jpg)
Architecture logique & applicative avec un ecosystème Hadoop
…
Cluster élastique : CPU / RAM / Disk / Network
Stockage HDFS / MAPRFS
Transformations Batch : Map Reduce (Hive /Pig)
Transactions Temps réel : Hbase / Cassandra / etc.
Moteur de recherche Temps réel : ElasticSearch/SolR
Requêtes Temps réel : Impala / Presto / Spark / etc.
Orc
hestr
ati
on
des t
rait
em
en
ts :
ETL
Don
nées s
ou
rces
Ventes
Web.com
Logs
Autres …
APIAccès Apps tiercesTemps réel (R/W)
BrowserApps
Opérationnelles HTML Temps réel
(Search / Pilotage)
HT
TP
/ R
ES
T /
JS
ON
Outils BIApps Analytiques
Données historisées Pour
les 3 BI
SQ
L O
DB
C /
JD
BC
Fil
es S
yste
m /
Sh
ell Fichier
sÉchange de données par
fichiersInput / OutputShellInteraction en
ligne de commande
Collecte et streaming : Flume, SyslogNG, Storm
![Page 28: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/28.jpg)
![Page 29: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/29.jpg)
CONSEIL #5 CONSTRUIRE UNE HISTOIRE D’AMOUR
![Page 30: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/30.jpg)
![Page 31: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/31.jpg)
![Page 32: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/32.jpg)
![Page 33: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/33.jpg)
![Page 34: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/34.jpg)
![Page 35: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/35.jpg)
![Page 36: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/36.jpg)
CONSEIL #6 APPELER UN AMI
http://ysance.com/nous-contacter.html :)
![Page 37: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/37.jpg)
ET SI VOUS SUIVEZ BIEN TOUS CES CONSEILS …
![Page 38: Big Data Montée en compétence Hadoop](https://reader036.fdocuments.us/reader036/viewer/2022062514/557c923cd8b42a41498b47d3/html5/thumbnails/38.jpg)
#MYJOB DOMPTEUR DE HADOOP