大数据开发的学习，组件还是很多的，都需要掌握并多加练习。 最好的参考文档当然是官方的了。
因为Hadoop生态圈组件很多，所以，在建设之初一定要检查好各版本的兼容性。避免后期麻烦。
我的练习使用Hadoop-2.7.5 以及Hbase-1.4.2 看了Hbase 手册Chapter4 兼容性没有问题。
1# 行存储 2 优点：写入一次性完成，保持数据完整性 3 缺点：数据读取过程中产生冗余数据，若有少量数据可以忽略 4# 列存储 5 优点：读取过程，不会产生冗余数据，特别适合对数据完整性要求不高的大数据领域 6 缺点：写入效率差，保证数据完整性方面差 7 8# Hbase优势: 9 海量数据存储 10 快速随机访问 11 大量写操作的应用 12# Hbase应用场景 13 互联网搜索引擎数据存储 14 海量数据写入 15 消息中心 16 内容服务系统（schema-free） 17 大表复杂&多维度索引 18 大批量数据读取 19 20# Hbase 数据模型 21# 行键 时间戳 列族contens 列族ahchor 列族mime 22"com.cn.www" t9 anchor:cnnsi.com="CNN" 23 t8 anchor:my.look.cn="CNN.com" 24 t6 contens:html="" mime:type="text/html" 25 t5 contens:html="" 26 t3 contens:html="" 27 28# RowKey: 是Byte array,是表中每条记录的“主键”，方便快速查找，RowKey的设计非常重要 29# Column Family: 列族，拥有一个名称(string)，包含一个或者多个相关列 30# Column: 属于某一个Columnfamily, familyName:columnName,每条记录可动态添加 31# Version Number: 类型为Long，默认值是系统时间戳，可由用户自定义 32# Value(cell): Byte array 33 34## Hbase系统架构 可以参考 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html 35 36######################### 安装配置启动 ######################### 37# 先完成 配置并启动zookeeper以及hadoop 的前提下，开始安装hbase 38tar zxvf hbase* -C 39cd hbase-1.4.2/conf 40 41vim /etc/profile 42export HBASE_HOME=/usr/local/src/hbase-1.4.2 43export PATH=$PATH:$HBASE_HOME/bin 44###（以下两行最好加上，若没有，启动Hadoop、hbase时都会有没加载lib成功的警告） 45export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 46export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" 47 48vim hbase-env.sh 49export JAVA_HOME=/usr/local/src/jdk1.8.0_161 50export HBASE_CLASSPATH=/usr/local/src/hbase-1.4.2/conf # 官方教程没有这行 51export HBASE_MANAGES_ZK=false ##### 使用自带zk 设为false #### 52export HBASE_HOME=/usr/local/src/hbase-1.4.2 # 官方教程没有这行 53export HADOOP_HOME=/usr/local/src/hadoop-2.7.5 # 官方教程没有这行 54#给以下两行加上注释 55#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" 56#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" 57 58vim hbase-site.xml 59<property> 60 <name>hbase.rootdir</name> <!-- hbase存放数据目录,设置好会自动创建 --> 61 <value>hdfs://master:9000/hbase/hbase_db</value> 62 <!-- 但是实际生产环境最好使用HDFS HA的nameservice 才能高可用. --> 63 <!-- hdfs://names1/hbase --> 64 <!-- 端口要和Hadoop的fs.defaultFS端口一致 --> 65</property> 66<property> 67 <name>hbase.cluster.distributed</name> <!-- 是否分布式部署 --> 68 <value>true</value> 69</property> 70<property> 71 <name>hbase.zookeeper.property.clientPort</name><!-- Zookeeper的端口 --> 72 <value>2181</value> 73</property> 74<property> 75 <name>hbase.zookeeper.quorum</name><!-- Zookeeper的地址 写ip也行 --> 76 <value>master,slave1,slave2</value> 77</property> 78<property> 79 <name>hbase.zookeeper.property.dataDir</name> 80 <!-- zookeeper 数据文件夹，不配也可以，但是配的话就必须和zoo.cfg的一样。 --> 81 <value>/usr/local/src/hbase-1.4.2/zookeeper</value> 82</property> 83<property> 84 <name>hbase.master</name> 85 <value>master:60000</value> 86</property> 87 88# 配置 regionservers 启用HA后,就改用master slave2 slave3 因为有4台vm了。vim regionservers 89master 90slave1 91slave2 92 93# 配置备份主控 94vim conf/backup-masters 95slave1
#######################
# 复制hadoop/etc/hadoop/hdfs-site.xml文件到hbase/conf/ 下 尤其是改过配置后，一定要重新复制
#######################
# 分别scp -r /usr/local/src/hbase-1.4.2 到其它机器
# 启动zookeeper, 启动hadoop HA ，启动备份Namenode sbin/yarn-daemon.sh start resourcemanager
# 启动hbase
./start-hbase.sh
### 验证 jps查看Hmaster, QuorumPeer, HRegionServer
### 访问http://master:16010 检查Region Servers 和 Backup Masters
### 0.98版为 http://master:60010
1######################## 使用 ######################## 2hbase shell # 进入shell模式 3# 在 shell 模式下，输入命令后直接回车，可以得到相关的帮助。 4status # 查看状态 5version 6list 7processlist #当前任务列表 8whoami # 当前用户 9#### 退格需要 ctrl + backspace 10 11create 'psn','cf1','cf2' #建表 表名和2个列族 12describe 'psn' # 表的描述 13disable 'psn' #禁用表 14drop 'psn' #删除表，必须先禁用. 15 16put 'psn','0001','cf1:name','Tohmase' #插入数据：表名，RowKey, 列，值 17put 'psn','0001','cf1:sex','male' 18 19scan 'psn' #显示表数据 scan尽量少用，因为数据量很大。 20 21get 'psn','0001','cf1:name' # 得到数据 22 23put 'psn','0001','cf1:name','Jerry' 24get 'psn','0001','cf1:name' #因为默认VERSION的设置，只保留1个版本。 25 26list_namespace #默认的表都在default中 27 28create 'tb2','cf' 29disable 'tb2' 30list 31drop 'tb2' 32 33 34# 如果是单机伪分布式, hbase-site.xml 中的 <name>hbase.rootdir</name> 将使用本地文件系统 <value>file:///tmp/hbase_db</value> 35# 那么，/tmp/hbase_db/data对应数据, oldWALs 和 WALs对应Hlog. 36# /tmp/hbase_db/data/default/psn 对应数据表psn, psn下的子目录对应Region 而Region下的子目录对应列族。 37# 进入列族，可以看到数据文件，如果没有文件，则可能因为还在内存中，可以手动溢写 38flush 'psn' 39# 查看数据文件命令 hbase hfile -p -f 文件名hbase hfile -p -f hdfs://names1/hbase/data/default/psn/321528543130bee66f28d583f91f6279/cf1/3351b190de7940a1bfa7c439c54cff70 40# RowKey 在满足业务需求的前提下尽量短一些，节省资源 41 42 43# 关闭各系统时，依次是： 44stop-hbase.sh 45stop-yarn.sh 46stop-dfs.sh 47zkServer.sh stop
看了这位老师的教程，进一步理解HDFS HA的重要性，初学的时候只是简单地搭建了hadoop环境，而实际的生产环境中，HA则是必不可少的。
后续我至少设置4台VM后，再试试搭建hadoop的HA。
更新：
启动成功 hadoop HA 后，又继续试验Hbase
1########## 今天试验时出现一个故障：create 'psn'表时提示已存在，disable时又提示不存在。 2# 可能的原因是改了hbase的配置文件后没有复制到其它节点。 3# 解决办法：zkCli.sh 进入zk shell, 在以下2个地方找到表名然后删除, 然后再hbase shell 重新创建表。 4# rmr /hbase/table/psn 5# rmr /hbase/table-lock/psn 6 7########### 试验一下 Backup Master是否可用。先杀了master的HMaster，然后看slave1会不会顶上 8# 刷新http://slave1:16010 后，发现HMaster 已经成了slave1. 自动顶上来了。 9# 再启动master上的 bin/start-hbase.sh 10# 刷新http://master:16010 后，看到Current Active Master: slave1 并且它自己成了backup