Hadoop-04-HBase完全分布式环境搭建


Hbase分布式详细安装步骤

 

Hadoop完全分布式环境已经搭建完成(参见01_Hadoop完全分布式环境搭建)。

 

注意:HbaseHadoop的版本必须对应!不然会出现各种问题!

这里选用的是Hadoop-0.20.2Hbase-0.90.5!经测试成功。

 

四、安装配置Hbase

Hadoop用户登录

1、下载hbase-0.90.5.tar.gz

 

2、解压hbase到某一目录/home/hadoop/hadoop_sub/hbase-0.90.5

 

3、配置hbase安装目录下conf下文件hbase-env.sh,导出JAVA_HOME

文件未尾加:

# The java implementation to use.  Required.

 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk

 export HBASE_CLASSPATH=hadoop的安装路径/conf

 export HBASE_MANAGE_ZK=true      //允许hbase管理其自带的zookeeper

 

4、配置/home/coole/hbase-0.20.6/conf下文件hbase-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

    <name>hbase.rootdir</name>

    <value>hdfs://h1:9000/hbase</value>   注意:这里的路径一定要和hadoopcore-site.xml下配置的路径一致!!!!

</property>

<property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

</property>

<property>

    <name>hbase.master</name>

    <value>h1:60000</value>

  </property>

<property>

      <name>hbase.zookeeper.quorum</name>

      <value>h1,h2,h3</value>

</property>

<property>

      <name>hbase.tmp.dir</name>

      <value>/home/hadoop/hadoop_sub/hbase_tmp</value>

</property>

<!--zookeeper集群data目录-->

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hadoop/hadoop_sub/zookeeper_data</value>

</property>

</configuration>

 

hbase.rootdir设置hbasehdfs上的目录,主机名为hdfsnamenode节点所在的主机 

hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群 

hbase.master设置hbasemaster主机名和端口 

hbase.zookeeper.quorum设置zookeeper的主机,官方推荐设置为357比较好,奇数。

 

5.替换hbase自带的hadoop!!!(重要,为了避免不兼容的情况)

备份hbase-0.90.5/lib目录下的hadoop-core-0.20-append-r1056497.jar,cp hadoop目录下的hadoop-0.20.2-core.jarhbase-0.90.5/lib目录。

 

 

6.配置/home/coole/hbase-0.20.6/conf下文件regionservers

h1

h2

h3

 

 

 

7、设置环境变量,用gedit打开/etc/profile文件在文件未尾添加:

export HBASE_HOME=/home/coole/ hbase-0.20.6

export PATH=$PATH:$HBASE_HOME/bin

 

完成后使用 source /etc/profile 命令使之生效。

 

8、 在完成以上修改之后,把master上的hbase原样复制到slave上,保证目录结构一致,可使用如下命令: 

scp –r /home/hadoop/ hadoop_sub/  hadoop@h2:/home/hadoop

scp –r /home/hadoop/hadoop_sub/   hadoop@h3:/home/hadoop

本次测试将Hbase等子项目统一放在~/hadoop_sub目录下,故可以整体复制到其他节点。

 

 

9、启动Hbase

start-hbase.sh 

stop-hbase.sh

 

10.使用jps命令查看hbase是否启动成功

master上可以看到HMasterRegionServerQuorumPeer启动成功;

slaves上可以看到HRegionServerQuorumPeer启动成功

 

注:

1、安装hbase 0.20.5版本自带了zookeeper-3.2.2所以不需要单独安装zookeeper。

2、hbase默认通过zookeeper管理,配置项在/jz/hbase-0.20.5/conf/hbase-env.sh文件中:

# Tell HBase whether it should manage it's own instance of Zookeeper or not.

# export HBASE_MANAGES_ZK=true如果需要采用自带安装的zookeeper可以将注释取消,把true修改为false。否则启动hbase的时候将会提示地址被占用。不过不影响hbase正常使用。

3、通过shell控制台想hbase插入中文数据将会报错,这是由于hbase中只是存放字节,采用程序将汉字改为字节录入即可。


智能推荐

注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
© 2014-2019 ITdaan.com 粤ICP备14056181号  

赞助商广告