Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。

下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：

　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。

　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（ifconfig查看IP地址）

　　一台Ubuntu主机系统Slave  ，IP地址假设为：192.168.1.108

　　（互ping一下，测试能否ping通）

修改主机名（方便区分主机）：

sudo vim /etc/hostname #分别修改为Master、Slave

修改完后分别重启一下，在终端Shell中可看到机器名的变化。

修改两台电脑的/etc/hosts文件，

sudo vim /etc/hosts

添加同样的配置：

1127.0.0.1 localhost
2192.168.1.101 Master
3192.168.1.108 Slave

配置完后在Master上检测一下能否ping通：ping Slave

配置ssh无密码登录本机和访问集群机器

1sudo apt-get openssh-server #若未安装ssh需先安装
2ssh-keygen -t rsa -P ""
3cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys #生成ssh公钥#将公钥发送给Slavescp ~/.ssh/id_rsa.pub Slave:/home/zj

在Slave电脑上将Master的公钥加入到该节点：

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

在Master电脑上执行命令：ssh Slave，测试能否用ssh登录Slave主机。

Hadoop集群配置

在Master上修改Hadoop的配置文件，

cd /usr/local/hadoop/etc/hadoop

① 修改slaves（将DataNode的主机名写入该文件）

Slave

② 修改core-site.xml

1<configuration>
2      <property>
3          <name>hadoop.tmp.dir</name>
4          <value>file:/usr/local/hadoop/tmp</value>
5          <description>Abase for other temporary directories.</description>
6      </property>
7      <property>
8          <name>fs.defaultFS</name>
9          <value>hdfs://master:9000</value>
10      </property>
11</configuration>

③ 修改hdfs-site.xml

1<configuration>
2    <property>
3        <name>dfs.replication</name>
4        <value>3</value>
5    </property>
6</configuration>

④ 修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)

1sudo cp ./mapred-site.xml.template ./mapred-site.xm #修改文件名
2
3<configuration>
4    <property>
5        <name>mapreduce.framework.name</name>
6        <value>yarn</value>
7    </property>
8</configuration>

⑤ 修改yarn-site.xml

1<configuration>
2  <!-- Site specific YARN configuration properties -->
3      <property>
4          <name>yarn.nodemanager.aux-services</name>
5          <value>mapreduce_shuffle</value>
6      </property>
7      <property>
8          <name>yarn.resourcemanager.hostname</name>
9          <value>master</value>
10      </property>
11</configuration>

配置好后，将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上

1cd /usr/local/
2rm -rf ./hadoop/tmp   # 删除以前运行时产生的临时文件
3rm -rf ./hadoop/logs/*  # 删除日志文件
4
5tar -zcf ~/hadoop.master.tar.gz ./hadoop #压缩文件
6cd ~
7scp ./hadoop.master.tar.gz Slave:/home/zj #发送到Slave

在Slave上解压hadoop文件

1sudo rm -rf /usr/local/hadoop/
2sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
3sudo chown -R zj /usr/local/hadoop

hadoop集群环境配置完成。

Spark集群配置

在Master上修改spark的配置文件，

cd /usr/local/spark/

① 修改slaves文件（将 slaves.template 拷贝到 slaves，cp ./conf/slaves.template ./conf/slaves）

slaves文件设置Worker节点：

Slave

②修改spark-env.sh文件（复制spark-env.sh.template ，再修改）

1export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
2export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
3export SPARK_MASTER_IP=192.168.1.101 #集群中Master节点的IP地址

配置好后，将Master主机上的/usr/local/spark文件夹复制到Slave节点上：

1cd /usr/local/
2tar -zcf ~/spark.master.tar.gz ./spark
3cd ~
4scp ./spark.master.tar.gz Slave:/home/zj

在Slave上解压spark文件：

1sudo rm -rf /usr/local/spark/
2sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
3sudo chown -R zj /usr/local/spark

spark集群配置完成。

启动Spark集群

启动Hadoop

1cd /usr/local/hadoop
2bin/hdfs namenode -format # 首次运行需格式化一下
3sbin/start-all.sh

启动spark（Master主机上）

1cd /usr/local/spark/
2sbin/start-master.shsbin/start-slaves.sh

分别在Master和Slave上输入jps，检查集群是否配置成功

1#Master主机上3170 SecondaryNameNode
23335 ResourceManager
33719 Jps
43657 Master
52926 NameNode
6
7#Slave主机上4933 Jps
84634 NodeManager
94876 Worker
104462 DataNode

能全部输出以上的各进程，则代表配置成功。缺少任一进程，需重新检查配置过程。

（注：来自厦门大学大数据学习总结）