本次
本次测试计划以 Hadoop + Sqoop 实现。先在虚拟机上安装Hadoop,再安装Sqoop。
一、安装Java
版本:jdk-8u121-linux-x64.tar
安装路径: /usr/local/java
gzsheng@gzsheng-virtual-machine:/usr/local$ sudo mkdir java
gzsheng@gzsheng-virtual-machine:/usr/local$ sudo tar -zxf jdk-8u121-linux-x64.tar.gz
gzsheng@gzsheng-virtual-machine:/usr/local$ sudo ln -s /usr/local/java/jdk1.8.0_121/ /usr/jdk
配置环境变量:
UBUNTU自带的VIM编辑器是tiny版,使用很别扭,使用命令: sudo apt-get install vim-gtk
详细情况可参考:http://jingyan.baidu.com/article/046a7b3efd165bf9c27fa915.html
另有两个版本之间的差异说明:http://www.cnblogs.com/mo-wang/p/4550859.html
#java configuration
export JAVA_HOME=/usr/jdk
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
gzsheng@gzsheng-virtual-machine:/usr/local$ java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
网上关于在环境变量配置文件主要有两个说法:
1、在~/.bashrc配置
2、在/etc/profile配置
所有用户每次登陆都会读取/etc/profile信息,而各个登陆用户都会读取各自的~/.bashrc文件,如果是自己配置的虚拟机,又创建了多个用户,那么环境变量配置在/etc/profile里,如果是在公司里,那么要根据实际情况判断。
另,如果要安装Hadoop,要在~/.bashrc文件添加JAVA_HOME环境变量。
安装SSH、配置SSH互信
hadoop@gzsheng-virtual-machine:~$ sudo apt-get install openssh-server
可以使用ssh localhost登陆本机
一、安装Hadoop
实验环境:
物理机系统:Windows 10
虚拟环境:VMware Workstation 12 Pro + Ubuntu 16.04 LTS
事前准备:配置SSH无密码登陆 + 安装JAVA 1.8.0_121
安装版本:hadoop-2.7.2
本次安装Hadoop按照给力星的教程进行。
安装时遇到的问题:
1、安装Java时参考网上别人的教程,添加JAVA_HOME环境变量时,修改/etc/profile文件,给力星的教程上是在~/.bashrc文件中添加。
开启NameNode和DataNode守护进程
./sbin/start-dfs.sh
出现:Error: JAVA_HOME is not set and could not be found.
在~/.bashrc中添加JAVA_HOME后再次执行成功
Sqoop安装步骤后续添加
安装sqoop一定要注意变更安装目录的所有者
sudo chown -R hadoop /usr/local/sqoop2
没有变更前,一直提示:
Directory /usr/local/sqoop/@BASEDIR@/repository/db cannot be created.
Failed to create database '@BASEDIR@/repository/db', see the next exception for details.
改好之后就成功了。
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。