Hadoop chez Kobojo
-
Upload
hadoop-user-group-france -
Category
Technology
-
view
1.927 -
download
0
description
Transcript of Hadoop chez Kobojo
![Page 1: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/1.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France #1 - 15 Mars 2012
Salades, tartes au poulpe et Hadoop
Une expérience d’utilisation d’Hadoop
Yann Schwartz - Kobojo
Yann at polom.com
@abolibibelot
![Page 2: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/2.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Kobojo
![Page 3: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/3.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Architecture
● 4 jeux● AWS - .Net – Redis● Azure - .Net – MongoDB● Datacenter● SI interne
![Page 4: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/4.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Les données
● Tracking utilisateur (actions dans le jeu)● Logs applicatifs
● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage
![Page 5: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/5.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Le tracking
● Emis par les jeux● À chaque action
● Reçus par des serveurs de tracking● Traitement● Nettoyage et décoration● Différents sinks● Suivi temps réel
![Page 6: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/6.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
![Page 7: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/7.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Avant
● Données descendues dans un SGBD / cube● Batches la nuit
Mais des problèmes de…●Volume●Localité●Temps de traitement
![Page 8: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/8.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Passage à Hadoop
● Elastic Map Reduce« what happens in the cloud stays in the cloud… »
● Pig Latin● Migration de jobs existants et nouveaux jobs
●Statistiques d’usage●Engagement●Comportements d’achats●Calculs sur les graphes sociaux
![Page 9: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/9.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Des petits cahots sur la route
● Plate-forme● Version de pig / hadoop sur EMR● Compatibilité cygwin
● Pig● Impedance mismatch● Orchestration● Convaincre les data analysts
![Page 10: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/10.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Pistes considérées
● Cascading / cascalog● Import avec flume
et /ou● Event processing et import avec Storm
![Page 11: Hadoop chez Kobojo](https://reader034.fdocuments.us/reader034/viewer/2022052600/557cf56bd8b42a89158b488d/html5/thumbnails/11.jpg)
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France #1 - 15 Mars 2012
Salades, tartes au poulpe et Hadoop
Merci de votre attention
Yann Schwartz - Kobojo
Yann at polom.com
@abolibibelot