HBase權威指南

HBase權威指南是一（yī）款（kuǎn）適合使用HBase進行數（shù）據庫開發的高級數據庫研發人員閱讀。本書涉及HBase使用和（hé）開發過程中的各方麵內（nèi）容（róng），章節組（zǔ）織由（yóu）淺入深，內容闡述細致入微（wēi）並且貼（tiē）近（jìn）實際，可以作為參考書以（yǐ）方便讀（dú）者在開發（fā）過程中隨時（shí）查閱。歡迎來（lái）綠色資源網下載。

圖書簡（jiǎn）介：

《HBase權威指南》探討了如（rú）何通過使用與HBase高（gāo）度集成的Hadoop將HBase的可伸縮性變得簡單（dān）；把（bǎ）大型數（shù）據集分布到（dào）相對廉價的商業服務器集群中；使用本地（dì）Java客戶端，或者通過（guò）提供了REST、Avro和Thrift應用編程接（jiē）口的網關服務（wù）器來訪（fǎng）問HBase；了解HBase架構的細節，包括存儲格式、預（yù）寫日（rì）誌、後台（tái）進程等；在HBase中集成MapReduce框架；了解如（rú）何調節集群、設（shè）計模式、拷貝表、導（dǎo）入批量數據和刪除節點等。

HBase權威（wēi）指南目（mù）錄：

第1章（zhāng）　簡介　1

1.1　海量數據的黎明　1

1.2　關係（xì）數據庫係統的問題　5

1.3　非關係型數據庫係（xì）統Not-Only-SQL（簡稱NoSQL）　7

1.3.1　維度　9

1.3.2　可擴展性（xìng）　12

1.3.3　數據庫的（de）範式化和反範式化　12

1.4　結構　15

1.4.1　背景　15

1.4.2　表、行、列和單元（yuán）格　16

1.4.3　自動分區　20

1.4.4　存儲API　21

1.4.5　實現（xiàn）　22

1.4.6　小結　25

1.5　HBase：Hadoop數據庫　25

1.5.1　曆史　26

1.5.2　命名　27

1.5.3　小（xiǎo）結　27

第2章　安（ān）裝　28

2.1　快速啟動指南　28

2.2　必備（bèi）條件　31

2.2.1　硬（yìng）件　31

2.2.2　軟（ruǎn）件　37

2.3　HBase使用（yòng）的文（wén）件係（xì）統　47

2.3.1　本地模（mó）式　48

2.3.2　HDFS　49

2.3.3　S3　49

2.3.4　其他文件係（xì）統　50

2.4　安裝選項（xiàng）　50

2.4.1　Apache二進製發布包　50

2.4.2　編譯源碼（mǎ）　52

2.5　運行模式　53

2.5.1　單機（jī）模式　53

2.5.2　分布式模式　53

2.6　配置　57

2.6.1　hbase-site.xml與hbase-default.xml　58

2.6.2　hbase-env.sh　59

2.6.3　regionserver　59

2.6.4　log4j.properties　59

2.6.5　配（pèi）置示例　59

2.6.6　客戶端配置　61

2.7　部署　61

2.7.1　基於腳本（běn）　62

2.7.2　Apache Whirr　63

2.7.3　Puppet與Chef　63

2.8　操（cāo）作集群　64

2.8.1　確定安（ān）裝運（yùn）行　64

2.8.2　Web UI介（jiè）紹　65

2.8.3　Shell介紹　66

2.8.4　關閉集群（qún）　66

第（dì）3章　客戶端（duān）API：基礎知識　68

3.1　概（gài）述（shù）　68

3.2　CRUD操作　69

3.2.1　put方法　69

3.2.2　get方（fāng）法　87

3.2.3　刪除方法　97

3.3　批量處理操（cāo）作　107

3.4　行鎖　110

3.5　掃（sǎo）描　114

3.5.1　介紹　114

3.5.2　ResultScanner類　117

3.5.3　緩（huǎn）存與批量處理　119

3.6　各種特性（xìng）　125

3.6.1　HTable的實（shí）用方法　125

3.6.2　Bytes類　127

第4章　客戶端API：高級特性　129

4.1　過濾（lǜ）器　129

4.1.1　過濾器（qì）簡介　129

4.1.2　比較過濾器　132

4.1.3　專用過（guò）濾器　139

4.1.4　附加（jiā）過濾器　147

4.1.5　FilterList　151

4.1.6　自定義過濾（lǜ）器　153

4.1.7　過濾器總（zǒng）結　159

4.2　計數（shù）器（qì）　160

4.2.1　計數器簡介　160

4.2.2　單計數（shù）器　163

4.2.3　多計數器　164

4.3　協處理器　166

4.3.1　協處理器（qì）簡介　167

4.3.2　Coprocessor類（lèi）　168

4.3.3　協處理器加載　171

4.3.4　RegionObserver類　174

4.3.5　MasterObserver類（lèi）　180

4.3.6　endpoint　184

4.4　HTablePool　190

4.5　連接管理　194

第5章　客戶（hù）端（duān）API：管（guǎn）理功能　197

5.1　模式定義　197

5.1.1　表　197

5.1.2　表屬性（xìng）　199

5.1.3　列族　202

5.2　HBaseAdmin　207

5.2.1　基本（běn）操作　208

5.2.2　表操（cāo）作　209

5.2.3　模（mó）式（shì）操作　217

5.2.4　集群管理　219

5.2.5　集（jí）群狀（zhuàng）態信息　222

第6章（zhāng）　可用（yòng）客戶端　230

6.1　REST、Thrift和Avro的介紹　230

6.2　交互客（kè）戶（hù）端　233

6.2.1　原生Java　233

6.2.2　REST　233

6.2.3　Thrift　240

6.2.4　Avro　244

6.2.5　其他客戶端　245

6.3　批處理（lǐ）客戶端　246

6.3.1　MapReduce　246

6.3.2　Hive　246

6.3.3　Pig　252

6.3.4　Cascading　256

6.4　Shell　257

6.4.1　基礎（chǔ）　257

6.4.2　命（mìng）令　259

6.4.3　腳本　263

6.5　基於Web的UI　265

6.5.1　master的UI　265

6.5.2　region服務器的UI　270

6.5.3　共享頁麵　272

第7章（zhāng）　與MapReduce集成　275

7.1　框架　275

7.1.1　MapReduce介紹　275

7.1.2　類　276

7.1.3　支（zhī）撐（chēng）類　279

7.1.4　MapReduce的執（zhí）行地點　279

7.1.5　表拆分　280

7.2　在HBase之上的MapReduce　281

7.2.1　準備　281

7.2.2　數據流（liú）向（xiàng）　286

7.2.3　數據源　291

7.2.4　數據（jù）源與數據流向　293

7.2.5　自定義（yì）處理　296

第（dì）8章（zhāng）　架構　299

8.1　數據（jù）查（chá）找和傳輸　299

8.1.1　B+樹　299

8.1.2　LSM樹　300

8.2　存儲　302

8.2.1　概覽（lǎn）　303

8.2.2　寫路徑（jìng）　304

8.2.3　文件　305

8.2.4　HFile格（gé）式（shì）　313

8.2.5　KeyValue格式　316

8.3　WAL　316

8.3.1　概述　317

8.3.2　HLog類　318

8.3.3　HLogKey類　319

8.3.4　WALEdit類（lèi）　319

8.3.5　LogSyncer類　319

8.3.6　LogRoller類（lèi）　320

8.3.7　回（huí）放（fàng）　321

8.3.8　持久（jiǔ）性　324

8.4　讀路徑　325

8.5　region查找　328

8.6　region生命周期　330

8.7　Zookeeper　330

8.8　複製（zhì）　333

8.8.1　Log Edit的生命周期（qī）　334

8.8.2　內部（bù）機製　335

第9章（zhāng）　高級用法（fǎ）　339

9.1　行鍵（jiàn）設（shè）計　339

9.1.1　概念　339

9.1.2　高表與寬表（biǎo）　341

9.1.3　部分（fèn）鍵掃描　342

9.1.4　分頁　343

9.1.5　時間序列　344

9.1.6　時（shí）間順序（xù）關係　348

9.2　高級模式　350

9.3　輔助索引　350

9.4　搜索集成（chéng）　354

9.5　事務　357

9.6　布（bù）隆過濾（lǜ）器　358

9.7　版本管理　361

9.7.1　隱式版本（běn）控製　361

9.7.2　自定（dìng）義版（bǎn）本控製　364

第10章　集群監控　366

10.1　介（jiè）紹　366

10.2　監控框架　367

10.2.1　上下文、記錄和監控指（zhǐ）標（biāo）　367

10.2.2　master監（jiān）控指（zhǐ）標　372

10.2.3　region服務器監控指（zhǐ）標　373

10.2.4　RPC監控指（zhǐ）標　375

10.2.5　JVM監控指標　376

10.2.6　info監控指標　377

10.3　Ganglia　378

10.3.1　安裝　379

10.3.2　用（yòng）法　383

10.4　JMX　386

10.4.1　JConsole　388

10.4.2　JMX遠程API　390

10.5　Nagioses　394

第11章　性能優（yōu）化　395

11.1　垃圾（jī）回收優（yōu）化　395

11.2　本地memstore分（fèn）配緩衝區（qū）　398

11.3　壓縮（suō）　399

11.3.1　可用的編（biān）解碼器　400

11.3.2　驗證（zhèng）安裝　401

11.3.3　啟（qǐ）用壓縮　403

11.4　優化（huà）拆分和（hé）合並　404

11.4.1　管理（lǐ）拆分　404

11.4.2　region熱點　405

11.4.3　預拆分（fèn）region　406

11.5　負載（zǎi）均衡　407

11.6　合並（bìng）region　408

11.7　客戶端API：最佳實踐　409

11.8　配置　411

11.9　負載測試　414

11.9.1　性能評價　414

11.9.2　YCSB　416

第12章　集（jí）群（qún）管理　421

12.1　運維任（rèn）務　421

12.1.1　減少節點　421

12.1.2　滾動重啟　423

12.1.3　新增服務器　424

12.2　數據任（rèn）務　428

12.2.1　導（dǎo）入/導出　428

12.2.2　CopyTable工具　433

12.2.3　批量導入　435

12.2.4　複製　438

12.3　額外的任務　440

12.3.1　集群共存　440

12.3.2　端（duān）口要（yào）求（qiú）　442

12.4　改變日誌級（jí）別（bié）　442

12.5　故障處理　443

12.5.1　HBase Fsck　443

12.5.2　日誌分析　445

12.5.3　常見問題　447

附（fù）錄（lù）A　HBase配置（zhì）屬性　451

附錄B　計（jì）劃　467

附（fù）錄C　版本（běn）升級　469

附錄D　分支　471

附錄E　Hush SQL Schema　473

附（fù）錄F　對比HBase和BigTable　475