大数据集群安装(一)


本次

本次测试计划以 Hadoop + Sqoop 实现。先在虚拟机上安装Hadoop,再安装Sqoop。

一、安装Java

版本:jdk-8u121-linux-x64.tar

安装路径: /usr/local/java

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo mkdir java

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo tar -zxf jdk-8u121-linux-x64.tar.gz 

gzsheng@gzsheng-virtual-machine:/usr/local$ sudo ln -s /usr/local/java/jdk1.8.0_121/ /usr/jdk


配置环境变量:

UBUNTU自带的VIM编辑器是tiny版,使用很别扭,使用命令: sudo apt-get install vim-gtk

详细情况可参考:http://jingyan.baidu.com/article/046a7b3efd165bf9c27fa915.html

另有两个版本之间的差异说明:http://www.cnblogs.com/mo-wang/p/4550859.html

#java configuration
export JAVA_HOME=/usr/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin


gzsheng@gzsheng-virtual-machine:/usr/local$ java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)



网上关于在环境变量配置文件主要有两个说法:

1、在~/.bashrc配置

2、在/etc/profile配置

所有用户每次登陆都会读取/etc/profile信息,而各个登陆用户都会读取各自的~/.bashrc文件,如果是自己配置的虚拟机,又创建了多个用户,那么环境变量配置在/etc/profile里,如果是在公司里,那么要根据实际情况判断。

另,如果要安装Hadoop,要在~/.bashrc文件添加JAVA_HOME环境变量。


安装SSH、配置SSH互信

hadoop@gzsheng-virtual-machine:~$ sudo apt-get install openssh-server 

可以使用ssh localhost登陆本机




一、安装Hadoop

实验环境:

物理机系统:Windows 10

虚拟环境:VMware Workstation 12 Pro + Ubuntu 16.04 LTS

事前准备:配置SSH无密码登陆 + 安装JAVA 1.8.0_121

安装版本:hadoop-2.7.2

本次安装Hadoop按照给力星的教程进行。

安装时遇到的问题:

1、安装Java时参考网上别人的教程,添加JAVA_HOME环境变量时,修改/etc/profile文件,给力星的教程上是在~/.bashrc文件中添加。

开启NameNode和DataNode守护进程

./sbin/start-dfs.sh

出现:Error: JAVA_HOME is not set and could not be found. 

在~/.bashrc中添加JAVA_HOME后再次执行成功




Sqoop安装步骤后续添加

安装sqoop一定要注意变更安装目录的所有者

sudo chown -R hadoop /usr/local/sqoop2

没有变更前,一直提示:

 Directory /usr/local/sqoop/@BASEDIR@/repository/db cannot be created.
  Failed to create database '@BASEDIR@/repository/db', see the next exception for details.

改好之后就成功了。



智能推荐

注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
© 2014-2019 ITdaan.com 粤ICP备14056181号  

赞助商广告