HBase
22
Hadoop, Hbase и другие H… 25.12.2009
-
Upload
collabock -
Category
Technology
-
view
2.344 -
download
5
Transcript of HBase
Hadoop, Hbase и другие H…
25.12.2009
www.itransition.com
Стр. 2
Мама, что это?
HBase – это a distributed sparse sorted persistent multidimensional
MAP
www.itransition.com
Стр. 3
SPARSE
www.itransition.com
Стр. 4
MULTIDIMENSIONAL / GLIST
Lists { danny.todolist1: { items: { Avatar: 17/12/2009, cleanup: 25/12/2009, … } attributes: { private: true, expiration: 10/10/2010, notify: true, … } }, danny.wishlist1: { items: { AppleMacbook: http://applestore.com, Gucci pur hommes: http://guccistore.com, … }, attributes: { private:false, … } }, …}
www.itransition.com
sorted
Стр. 5
ВМЕСТО ИНДЕКСОВ, КАК В RDBMS!
В СТРОГОМ ЛЕКСИКОГРАФИЧЕСКОМ ПОРЯДКЕ!
НЕ ПОДДЕРЖИВАЕТ FULL RELATIONAL DATAMODEL
www.itransition.com
Концептуальное / Физическое хранение данных
Стр. 6
www.itransition.com
Стр. 7
THE REAL BOSS – BIGTABLE
Google Earth
Google AnalyticsLast.fm
Adobe
WHO IS THE REAL BOSS?
BIGTABLE HBASE
www.itransition.com
Стр. 8
WELCOME TO THE DISTRIBUTED WORLD
HADOOP
HDFS
HIVE
PIG
MAPREDUCE
ZOOKEEPER
DATAMINING
HBase
www.itransition.com
Стр. 9
Pig on Twitter
www.itransition.com
Стр. 10
Hive on Facebook
www.itransition.com
Стр. 11
WHEN HBASE SHINES / STINKS
-SCALINGApplications place very different demands on Bigtable, both in terms of data size (from URLs to web pages to satellite imagery) and latency requirements (from backend bulk processing to real-time data serving).
-SPARSE DATA
-VERSIONINGIn every other case and in general case HBase isn’t right!(frequent reconfiguration, decentralized control, Byzantine fault tolerance, structured schema, simple schema)
www.itransition.com
Стр. 12
www.itransition.com
Стр. 13
ПРАВИЛА HBASE DATA MODEL
Забудьте про RDBMS-BIG rows - query result is usually few rows, stuffed with data - хранение many-to-one в одном row - вместо joins в RDBMS- денормализованная схема- дубляж данных- ГОВОРЯЩИЙ ключ-индекс- КЛЮЧ определяет LOCATION - Column-famnily is a unit of performance tuning.
www.itransition.com
Стр. 14
www.itransition.com
Стр. 15
www.itransition.com
Стр. 16
www.itransition.com
Стр. 17
www.itransition.com
Стр. 18
www.itransition.com
Стр. 19
www.itransition.com
Стр. 20
CLUSTER STRUCTURE
www.itransition.com
Стр. 21
PERFORMANCE
www.itransition.com
Стр. 22
PERFORMANCE
