本節(jié)和大家一起學(xué)習(xí)一下Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)方面的內(nèi)容，希望通過本節(jié)介紹大家能夠掌握Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)的方法。

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站制作、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的二道江網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)初識(shí)

最近關(guān)注Hadoop，因此也順便關(guān)注了一下Hadoop相關(guān)的項(xiàng)目。HBASE就是基于Hadoop的一個(gè)開源項(xiàng)目，也是對(duì)Google的BigTable的一種實(shí)現(xiàn)。
BigTable是什么？Google的Paper對(duì)其作了充分的說明。字面上看就是一張大表，其實(shí)和我們想象的傳統(tǒng)數(shù)據(jù)庫的表還是有些差別的。松散數(shù)據(jù)可以說是介于MapEntry（key&value）和DBRow之間的一種數(shù)據(jù)。在我使用Memcache的時(shí)候，有時(shí)候的需求是需要存儲(chǔ)的不僅僅是簡單的一個(gè)key對(duì)應(yīng)一個(gè)value，可能我需要類似于數(shù)據(jù)庫表結(jié)構(gòu)中多屬性的存儲(chǔ)，但是又不會(huì)有傳統(tǒng)數(shù)據(jù)庫表結(jié)構(gòu)中那么多關(guān)聯(lián)關(guān)系的需求，其實(shí)這類數(shù)據(jù)就是所謂的松散數(shù)據(jù)。BigTable最淺顯來看就是一張很大的表，表的屬性可以根據(jù)需求去動(dòng)態(tài)增加，但是又沒有表與表之間關(guān)聯(lián)查詢的需求。

互聯(lián)網(wǎng)應(yīng)用有一個(gè)***的特點(diǎn)，就是速度，功能再強(qiáng)大，速度慢，還是會(huì)被舍棄。因此在大訪問量的網(wǎng)站都采取前后的緩存來提升性能和響應(yīng)時(shí)間。對(duì)于MapEntry類型的數(shù)據(jù)，集中式分布式Cache都有很多選擇，對(duì)于傳統(tǒng)的關(guān)系型數(shù)據(jù)，從MySQL到Oracle都給了很好的支持，唯有松散數(shù)據(jù)這類數(shù)據(jù)，采用前后兩種解決方案都不能***化它的處理能力。因此BigTable才有了它用武之地。

HBASE作為Apache的開源項(xiàng)目，也是出于起步階段，因?yàn)槠鋵?shí)它所依賴的Hadoop也不能說已經(jīng)到了成熟階段，所以都有很大的發(fā)展空間，這也為我們這些開源愛好者提供了更多空間去貢獻(xiàn)。這里主要會(huì)談到HBASE的框架設(shè)計(jì)方面的知識(shí)和它的一些特點(diǎn)，不論是否采用HBASE去解決工作中的問題，一種好的流程設(shè)計(jì)總會(huì)給開發(fā)者和架構(gòu)設(shè)計(jì)者帶來一些思想上的火花。

HBASE設(shè)計(jì)介紹

數(shù)據(jù)模型
HBASE中的每一張表，就是所謂的BigTable。BigTable會(huì)存儲(chǔ)一系列的行記錄，行記錄有三個(gè)基本類型的定義：RowKey,TimeStamp,Column。RowKey是行在BigTable中的唯一標(biāo)識(shí)，TimeStamp是每次數(shù)據(jù)操作對(duì)應(yīng)關(guān)聯(lián)的時(shí)間戳，可以看作類似于SVN的版本，Column定義為：:，通過這兩部分可以唯一的指定一個(gè)數(shù)據(jù)的存儲(chǔ)列，family的定義和修改需要對(duì)HBASE作類似于DB的DDL操作，而對(duì)于label的使用，則不需要定義直接可以使用，這也為動(dòng)態(tài)定制列提供了一種手段。family另一個(gè)作用其實(shí)在于物理存儲(chǔ)優(yōu)化讀寫操作，同family的數(shù)據(jù)物理上保存的會(huì)比較臨近，因此在業(yè)務(wù)設(shè)計(jì)的過程中可以利用這個(gè)特性。

HBASE依托于Hadoop的HDFS作為存儲(chǔ)基礎(chǔ)，因此結(jié)構(gòu)也很類似于Hadoop的Master-Slave模式，HbaseMasterServer負(fù)責(zé)管理所有的HRegionServer，但HbaseMasterServer本身并不存儲(chǔ)HBASE中的任何數(shù)據(jù)。HBASE邏輯上的Table被定義成為一個(gè)Region存儲(chǔ)在某一臺(tái)HRegionServer上，HRegionServer與Region的對(duì)應(yīng)關(guān)系是一對(duì)多的關(guān)系。每一個(gè)HRegion在物理上會(huì)被分為三個(gè)部分：Hmemcache、Hlog、HStore，分別代表了緩存，日志，持久層。通過一次更新流程來看一下這三部分的作用：

提交更新以及刷新Cache流程

由流程可以看出，提交更新操作將會(huì)寫入到兩部分實(shí)體中，HMemcache和Hlog中，HMemcache就是為了提高效率在內(nèi)存中建立緩存，保證了部分最近操作過的數(shù)據(jù)能夠快速的被讀取和修改，Hlog是作為同步Hmemcache和Hstore的事務(wù)日志，在HRegionServer周期性的發(fā)起FlushCache命令的時(shí)候，就會(huì)將Hmemcache中的數(shù)據(jù)持久化到Hstore中，同時(shí)會(huì)清空Hmemecache中的數(shù)據(jù)，這里采用的是比較簡單的策略來做數(shù)據(jù)緩存和同步，復(fù)雜一些其實(shí)可以參照java的垃圾收集機(jī)制來做。
在讀取Region信息的時(shí)候，優(yōu)先讀取HMemcache中的內(nèi)容，如果未取到再去讀取Hstore中的數(shù)據(jù)。

幾個(gè)細(xì)節(jié)：

1．由于每一次FlashCache，就會(huì)產(chǎn)生一個(gè)HstoreFile，在Hstore中存儲(chǔ)的文件會(huì)越來越多，對(duì)性能也會(huì)產(chǎn)生一定影響，因此達(dá)到設(shè)置文件數(shù)量閥值的時(shí)候就會(huì)Merge這些文件為一個(gè)大文件。

2．Cache大小的設(shè)置以及flush的時(shí)間間隔設(shè)置需要考慮內(nèi)存消耗以及對(duì)性能的影響。

3．HRegionServer每次重新啟動(dòng)的時(shí)候會(huì)將Hlog中沒有被Flush到Hstore中的數(shù)據(jù)再次載入到Hmemcache，因此Hmemcache過大對(duì)于啟動(dòng)的速度也有直接影響。

4．HstoreFile中存儲(chǔ)數(shù)據(jù)采用B-tree的算法，因此也支持了前面提到對(duì)于Column同F(xiàn)amily數(shù)據(jù)操作的快速定位獲取。

5．HRegion可以Merge也可以被Split，根據(jù)HRegion的大小決定。不過在做這些操作的時(shí)候HRegion都會(huì)被鎖定不可使用。

6．HbaseMasterServer通過Meta-infoTable來獲取HRegionServer的信息以及Region的信息，Meta最頂部的一個(gè)Region是虛擬的一個(gè)叫做RootRegion，通過RootRegion可以找到下面各個(gè)實(shí)際的Region。

7．客戶端通過HbaseMasterServer獲得了Region所在的RegionServer，然后就直接和RegionServer進(jìn)行交互，而對(duì)于RegionServer相互之間不通信，只和HbaseMasterServer交互，受到MasterServer的監(jiān)控和管理。本節(jié)關(guān)于Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)方面的內(nèi)容介紹到這里。

當(dāng)前文章：專家講解Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
本文地址：http://uogjgqi.cn/article/cdhheoj.html