Hadoop完整搭建过程(一):本地模式

1 本地模式

本地模式是最简单的模式,所有模块都运行在一个JVM进程中,使用本地文件系统而不是HDFS

本地模式主要是用于本地开发过程中的运行调试用,下载后的Hadoop不需要设置默认就是本地模式。

2 准备工作

笔者喜欢把JDK放在/usr/local下,运行前请确保设置了JAVA_HOME,注意是在etc/hadoop/hadoop-env.sh中设置:

1tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz 2sudo mv openjdk-11+28_linux-x64_bin /usr/local/java 3sudo vim HADOOP/etc/hadoop/hadoop-env.sh # HADOOP为Hadoop安装目录 4# 输入 5export JAVA_HOME=/usr/local/java

3 使用

官网关于该模式没有太多的描述,只有一个使用默认配置文件作为输入,然后匹配正则表达式作为输出的简单例子:

1# HADOOP表示Hadoop安装目录 2mkdir input 3cp HADOOP/etc/hadoop/*.xml input 4HADOOP/bin/hadoop jar HADOOP/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+' 5cat output/*

从下图的id可以看出是以本地模式工作的:

在这里插入图片描述

4 输出

输出文件夹output有两个文件:

在这里插入图片描述

  • _SUCCESS:是个空文件,表示运行成功
  • part-r-00000:输出结果文件,词数统计

part-r-00000结果如上图所示。

实际上本地模式不需要特别的处理,因为默认就是本地模式。

5 参考

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

Hadoop完整搭建过程(三):完全分布模式(虚拟机)

1完全分布模式完全分布模式是比本地模式与伪分布模式更加复杂的模式,真正利用多台Linux主机来进行部署Hadoop,对集群进行规划,使得Hadoop各个模块分别部署在不同的多台机器上,这篇文章介绍的是通过三台虚拟机进行集群配置的方式,主要步骤为:准备虚拟机:准备虚拟机基本环境ipHost配置:手

Hadoop完整搭建过程(二):伪分布模式

1伪分布模式伪分布模式是运行在单个节点以及多个Java进程上的模式。相比起本地模式,需要进行更多配置文件的设置以及ssh、YARN相关设置。2Hadoop配置文件修改Hadoop安装目录下的三个配置文件:etc/hadoop/coresite.xmle

Django中Admin中的一些参数配置

设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable

Hadoop完整搭建过程(一):本地模式 - HelloWorld