ビッグデータ管理基盤ソフトウェア · Hadoop 0.23について ......

ビッグデータ管理基盤ソフトウェア Hadoop入門

NECラーニングテクノロジー研修事業部土井正宏

アジェンダ

▌ Hadoopとは？ ▌ HDFSの概要 ▌ Map/Reduceのしくみ ▌ Hadoopのエコシステム（関連製品） ▌ Hadoop 0.23について

© NEC Corporation 2010

Hadoopの概要

▌高スケーラブルな分散管理基盤 ▌グリッドコンピューティング ▌２つのコア機能 ▌分散ファイルシステム（HDFS） ▌分散処理フレームワーク（Map/Reduce）

▌高スケーラブル（簡単かつ大規模に拡張可能）

NEC Group Internal Use Only

OS OS OS

分散処理基盤（Map/Reduce）

分散ファイルシステム（HDFS）

Hadoopの歴史

▌ Google社が検索インデックスを作成するために使用していた技術 GFS（Google File System）：クローラが収集したドキュメントを格納するための分散ストレージ Map/Reduce：収集した膨大なドキュメントを解析し、検索インデックスを構築するための分散処理基盤

▌ Doug Cutting氏らにより、GFSとMap/Reduceのオープンソースクローン

が開発される⇒Hadoop


GFS

Map/Reduce

HDFS

Map/Reduce

Hadoopのバージョン

▌ 最新安定版は1.0（0.20.205） ▌ 最新版は0.23（今後2.0になる?）

参考文献： http://www.cloudera.co.jp/hadoop/column/apache-hadoop-1-update.html


0.20系

0.23系 0.20 1.0

0.23

Trunk（新機能をマージ）

※1.0のリリースと0.23のリリースは時系列的に前後しているが、実際は0.23より前にリ

リースされた0.20.205に番号を振りなおしただけ（機能的差異はほとんどない）

http://www.cloudera.co.jp/hadoop/column/apache-hadoop-1-update.html�

http://www.cloudera.co.jp/hadoop/column/apache-hadoop-1-update.html�

Hadoopクラスタの構成


マスターノード群

スレーブノード群

NameNode JobTracker Secondary NameNode

TaskTracker DataNode



▌ マスタースレーブ方式マスター：スレーブ＝1：多

▌ マスター HDFSのメタデータを管理（NameNode）ジョブを監視（JobTracker）

▌ スレーブデータを保存（DataNode）タスクを実行（TaskTracker）


▌ スレーブノード（DataNode）のディスクを仮想的に一台に見せる ▌ マシンを追加するだけで簡単に拡張可能 ▌ ファイルをデータブロックに分割 ▌ 常に一定数のレプリカ（ブロックのコピー）を保持


１００G １００G １００G

３００G

ブロックA ブロックA

ブロックB

ブロックB

ブロックC ブロックC

ファイル

ブロックA

ブロックB

ブロックC


▌ NameNodeがブロックの位置情報とノードの死活を管理 ▌ DataNode障害時は自動的にレプリカを作成


NameNode

ブロックA

データB ブロックC

ブロックA データB

ブロックC

ブロックA ブロックC

Map/Reduce

▌ 分散処理のフレームワーク ▌ Jobの自動管理プログラマーはTaskが実行される場所を意識しなくてよいプログラマーはTaskを実行するノードの障害を意識しなくてよい


プログラム（Job）

Job

Task Task Task

Task Task Task

JobTracker= JobをTaskに分解

TaskTracker= Taskを実行

Map/Reduceのしくみ

▌ Map 分析の対象となる<Key,Value>ペアを作成

▌ Shuffle&Sort Keyの値でソートし集約

▌ Reduce 各<Key,Value>ペアに対し、処理を行う（例：Valueの値の合計値を求める）


To Be Or Not To Be This Is The Question

data

HDFSに格納

To Be Or Not To Be

This Is The Question

Map（wordcountの例）

To,1

Be,1

Or,1

Not,1

To,1

Be,1

This,1

Is,1

The,1

Question,1

データブロック

Map処理：<文字,1>というペアを抽出

Shuffle&Sort（wordcountの例）


Be,1,1

Is,1

Not,1

Or,1

Question,1

The,1

This,1

To,1,1

To,1

Be,1

Or,1

Not,1

To,1

Be,1

This,1

Is,1

The,1

Question,1

同じKey（ここでは文字）のペアに集約

Reduce（wordcountの例）


Be,1,1

Is,1

Not,1

Or,1

Question,1

The,1

This,1

To,1,1

Be,2

Is,1

Not,1

Or,1

Question,1

The,1

This,1

To,2

Be,2 Is,1 Not,1 Or,1

Question,1 The,1 This,1 To,2

HDFSに格納

Reduce処理：Value（ここでは数値）の値の合計を求める

Map/Reduceのしくみ

▌ 可能な限り、操作対象のデータブロックが保存されているノードでMapperを起動通信の削減 “処理”を“データ”の方に持っていく（データローカリティ）

▌ Map/Reduceの結果を、次のMap/Reduceの入力値にすることも可能（多段Map/Reduce）


Flume

▌ Flume 点在するデータソースから、HDFSへ一元的にデータをロード

▌ Sqoop SQl to hadOOp RDBからHDFS（またはHDFSからRDB）へデータロードいくつかの製品でダイレクトパスロード（高速ロード）をサポート


HDFS

Webサーバー群

Collecter

RDB HDFS RDB

HBase

▌ Hadoopデータベース ▌ HDFSにappend（追記）機能を追加 ▌ 列指向のNoSQLデータベース


OS OS

HBase

HDFS

Hive/Pig

▌ 独自言語でMap/Reduceを実行 Hive：HiveQL Pig：Pig Latin

▌ 構造化されたデータに対応しやすい


Coffee,Short,280,drink Coffee,Tall,380,drink Coffee,Grande,480,drink Cake,NULL,580,food

data Hive

SELECT category, count(name) FROM menu GROUP BY categories;

Pig

gl = GROUP products BY menu; cnt = FOREACH gl GENERATE group AS categories, COUNT(menu) AS total; DUMP cnt;

その他

▌ Zookeeper 分散システムの設定情報の集中管理や同期化などを行う

▌ Mahout 機械学習のライブラリ（レコメンド、クラスタリングなど）

▌ Cassandra AP特性のNoSQL

▌ Asakusa FW 基幹系バッチ処理のためのライブラリ

▌ その他 Avro HUE Oozie・・・など


Hadoop 0.23

▌ ここまでにリリースされたすべての機能を備えたバージョン（１８か月ぶり）

▌ ２つの新機能 HDFS Federation YARN（Map/Reduce2）

▌ CDH4（現在ベータ版）で採用


0.20系

0.23系 0.20 1.0

0.23

Trunk（新機能をマージ）

HDFS Federation

▌ DataNodeを共有するNameNodeの“連合” ▌ 従来のHDFS（Single NameNode）の問題点スケーラビリティ

•HDFS上のファイルやデータブロックの増加が単一のNameNodeを圧迫（機能的な）独立性の欠落

•テスト環境と本番環境が共存→テスト環境の操作が本番環境に影響を及ぼす可用性の欠落

•NameNodeに障害が起きるとクラスタ全体が停止

▌ NameNodeが管理するデータを水平分割し、複数のNameNodeがクラスタを管理することで、上記問題を解決


HDFS Federation


▌ NameNode Namespace：HDFS上のディレクトリ、ファイル、ファイルを構成するデータブロックの情報 Block Pool：データブロックとDataNodeの対応情報

NS

BP

NS

BP

NS

BP

HDFS Federation

▌ データブロックは単一のBlock Poolに属する ▌ 障害の局所化 NameNodeの障害は、他のBlock Poolに影響を及ぼさない

▌ 独立性の確保異なるNameSpace間のでの独立性が確保されるテスト環境用のNameNodeを立てておけば、本番環境用のNameNodeに影響を及ぼさない

▌ 参考文献：https://issues.apache.org/jira/secure/attachment/12440257/Block+pool+proposal.pdf http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/Federation.html © NEC Corporation 2010

https://issues.apache.org/jira/secure/attachment/12440257/Block+pool+proposal.pdf�

https://issues.apache.org/jira/secure/attachment/12440257/Block+pool+proposal.pdf�

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/Federation.html�

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/Federation.html�

YARN（MapReduce2）

▌ Yet Another Resource Negotiator ▌ クラスタ上で動くアプリケーションへのリソース割り当てのためのフレーム

ワーク ▌ 用語 ResourceManager（ApplicationManager、Schejuler）

•（AppMsrを含む）Containerの起動、監視 ApplicationMaster

•クラスタ上で動くアプリケーションの監視（JobTrackerに相当） Container

•クラスタ上で動くアプリケーションの本体、またはリソース割り当ての単位 •従来のTaskに相当 NodeManager

•ノードの状態（リソースの使用状況など）をRMに通知




RM

AM S

AppMsr

ClientAP

C C

C

NN NN

NN


▌ プログラマーが作成するのはClientプログラム、AppMsr、Containerの３つ

▌ ただし従来のM/RをそのままYARN上で動かすことは可能 ▌ M/R以外のプログラム（BSPなど）を動かすことも可能 ▌ リソースの柔軟な割り当てコンテナのサイズや数をプログラマーが指定できる（※現状ではメモリサイズのみ指定可能）

参考文献：

https://issues.apache.org/jira/secure/attachment/12486023/MapReduce_NextGen_Architecture.pdf http://www.cloudera.com/blog/2012/02/mapreduce-2-0-in-hadoop-0-23/


https://issues.apache.org/jira/secure/attachment/12486023/MapReduce_NextGen_Architecture.pdf�

https://issues.apache.org/jira/secure/attachment/12486023/MapReduce_NextGen_Architecture.pdf�

http://www.cloudera.com/blog/2012/02/mapreduce-2-0-in-hadoop-0-23/�













ビッグデータ管理基盤ソフトウェア · Hadoop 0.23について ......

Documents

Transcript of ビッグデータ管理基盤ソフトウェア · Hadoop 0.23について ......