Retour Hadoop Summit San José 2014 - Altic
-
Upload
hadoop-user-group-france -
Category
Technology
-
view
551 -
download
2
description
Transcript of Retour Hadoop Summit San José 2014 - Altic
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France – 11 Juin 2014
Retours du HadoopSummit 2014
San José
Charly CLAIRMONTcharly[.]clairmont[@]altic.org@egwada
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop, la révolution est toujours en marche !
Plus de 3 000 conférenciersPlus d'exposantsPlus de sessions
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Ce qu'il fallait retenir ! ( selon moi ;-) )
● SQL on Hadoop !● Plus de types traitements au dessus d'Hadoop● Simplifier Hadoop !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
SQL on Hadoop !
● Beaucoup d'acteurs traditionnels sont venus à Hadoop !● Et bien sûr ils font avec ce qu'ils savent faire : SQL
● De même beaucoup de couches SQL pour Hadoop existent... ● Trop ??
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
SQL on Hadoop !
● Tout le monde cherche à approcher des temps de réponse humainement acceptable
● « Discardable In-Memory Materialized Queries »
● Grâce Optiq de Julian Hyde– Son but ultime : – « faire tourner Mondrian (OLAP) au dessus d'Hadoop »
● Projet à suivre
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
SQL on Hadoop !« Discardable In-Memory
Materialized Queries »
Pas que pour Hive !
Pig et les autres composants en
bénéficieront
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Plus de types traitements au dessus d'Hadoop
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Plus de types traitements au dessus d'Hadoop
● Encrer l'approche● Data Lake● Data Hub
Ou plutôt
● Réservoir– Plus approprié ?!
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Plus de types traitements au dessus d'Hadoop
Pour gérer, traiter tous types de formats de données
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !● Rendre Hadoop plus « people ready » !
● Beaucoup d'initiatives en ce sens– Ambari– Falcon– HCatalog / Templeton– OpenStack Sahara– Hadoop telle une plate-forme– JetStream (continuuity, at&t)
– ...
● Tous les projets – qui visent la performance– qui augmentent la productivité
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
Amabari
● simplifie la gestion du cluster
● devient la porte d'entrée des utilisateurs finaux
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
Falcon
● Un point unique pour manipuler toutes les données sur tous vos clusters
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
HCatalog / Templeton : apporter la cohérence dans les données
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
Hadoop, une plate-forme
Couches logicielles
Technologies
Traitements massivement parallèles
YARN, GiRAPH, MapReduce, HBase, Phoenix, Spark/BDAS, Drill, Impala, Stinger, PrestoDB, STORM ...
Système de fichiers
Azure, CassandraFS, CephFS, CleverSafe, GlusterFS, GridGain, HDFS, LustreMapR FS, S3, SWIFT, Quantcast FS, Symantec VCFS ...
Infrastructures System on a Chip, x86, Virtualization (Savanna, Sorengetti ) and Cloud (Amazon EMR, Rackspace, Enovance, ...)
Distributions Cloudera, Hortonworks, IBM, MapR, Pivotal, WanDisco
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
Toutes les autres projets...
● Parquet
● Summingbird
● Hivemall
● Kite
● Spring XD
● Reef
● …
● YARN + Docker
● Mesos & co
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Simplifier Hadoop !
YARN plus accessible
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Conclusion
● Ne pas résumer Hadoop à SQL● Approche trop réducteur qui efface tellement de
possibilités
● Hadoop gagne du terrain● Commencer petit et viser grand
– POC > Production > Plate-forme
● YARN a tout changé
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Bonus (1)
● Des rencontres, sans doute des futurs talks au HUG France● Parquet
– Julien Le DEM (Twitter)● Cascasding, Driven● OpenStack Sahara
– Matthew Farrellee (Red Hat)● Spark
– Nathan Paco (Stanford, Databriks)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Bonus (2)
● Altic, LIPEN & Tugdual Sarazin● Thèse : Biclustering en big data
– Cartographier vos données– Implémentation Spark
● On recherche des jeux de données sympas pour tester les algorithmes implémentés à grande échelle.– Si vous en avez, parlons en !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France - 11 Juin 2014
Retours Hadoop Summit 2014
Merci pour votre attention
Charly CLAIRMONTCharly CLAIRMONT@egwada