HDFS安装

最近内部需求，要求我把数据上传HDFS，顺便分享一下如何安装并查看HDFS文件目录

我是在 ubuntu(14.04.2) 上安装的：

1. 我安装ubuntu用的不是Hadoop用户，所以要新建一个Hadoop用户

　　$ sudo useradd -m hadoop -s /bin/bash

设置密码

$ sudo passwd hadoop

增加Hadoop用户管理权限，方便部署

$ sudo adduser hadoop sudo

更新apt （若出现 “Hash校验和不符” 的提示，可通过更改软件源来解决，由于我在该步骤没有出现这个问题。。。你们懂得）

$ sudo apt-get update

2. 安装SSH，配置SSH无密码登陆（Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server）

　　$ sudo apt-get install openssh-server

先登录一次ssh，按提示输入ubuntu的密码（登陆后如要退出，输入exit）

$ ssh localhost

配置SSH无密码登录

$ cd ~/.ssh/ 　　　　　　　　　　　　　　　　# 若没有该目录，请先执行一次ssh localhost

$ ssh-keygen -t rsa　　　　　　　　　　　　 # 会有提示，都按回车就可以

$ cat ./id_rsa.pub >> ./authorized_keys 　　　　# 加入授权

3. 安装Java环境

$ sudo apt-get install openjdk-7-jre openjdk-7-jdk　　#这边我直接通过命令安装 OpenJDK 7

找到OpenJDK的安装路径 (该命令输出路径去掉 /bin/javac 就是 JDK安装路径，之后会用到)

$ dpkg -L openjdk-7-jdk | grep '/bin/javac'

配置 JAVA_HOME 环境变量

$ vim ~/.bashrc

在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为之前命令得到的路径，并保存：

$ export JAVA_HOME=JDK安装路径

保存文件退出，执行命令使其生效：

$ source ~/.bashrc

检测一下是否生效：

$ echo $JAVA_HOME　　　　　　　　 # 检验变量值

$ java -version

$ JAVA_HOME/bin/java -version　　　　# 与直接执行 java -version 一样

以上，Java环境安装完毕

4. 安装Hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-x.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。我下载的是最新稳定版hadoop-2.9.0.tar.gz

解压到目标目录

$ sudo tar -zxf ~/download/hadoop-2.9.0.tar.gz -C ~/download

此时我的文件夹状态：

$ sudo mv ./hadoop-2.9.0/ ./hadoop　　　　# 修改文件名

$ sudo chown -R hadoop ./hadoop # 修改文件权限

由于我下载的包解压后就可以使用，现在测试一下Hadoop是否安装成功

$ cd hadoop　　　　　　 # 进入hadoop文件夹

$ ./bin/hadoop version　　# 成功则会显示 Hadoop 版本信息

到此Hadoop安装完成

5. 查看HDFS上的文件

在hadoop文件夹下，输入如下命令：

$ ./bin/hadoop fs -ls hdfs://192.168.X.XX:XX/test/input/online

把 -ls 改为 -text 就可以查看文件了

PS：各位觉得有用就留个赞 THX

评论区

相关推荐