Flink从入门到真香(Flink环境部署

Flink Standalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/K8S等模式下的部署

Standalone执行架构图:

Flink从入门到真香(Flink环境部署-集群standalone模式)

1)client客户端提交任务给Jobmanager
2)JobManager负责申请任务运行所需要的资源并管理任务和资源。
3)JobManager分发任务给TaskManager执行
4)TaskManager定期向JobManager汇报状态

1、环境:
10.0.83.71 jobmanager+taskmanager
10.0.83.72 taskmanager
10.0.83.73 taskmanager

systemctl stop firewalld

systemctl disable firewalld

2、修改配置环境,改为实际的集群配置:
sed -i 's/jobmanager.rpc.address: localhost/jobmanager.rpc.address: 10.0.83.71/g' /opt/flink/conf/flink-conf.yaml
sed -i 's/taskmanager.numberOfTaskSlots: 1/taskmanager.numberOfTaskSlots: 2/g' /opt/flink/conf/flink-conf.yaml
#允许通过web提交
sed -i 's/#web.submit.enable: false/web.submit.enable: true/g' /opt/flink/conf/flink-conf.yaml

指定master节点

sed -i 's/localhost:8081/10.0.83.71:8081/g' /opt/flink/conf/masters

指定worker节点

echo -e '10.0.83.71\n10.0.83.72\n10.0.83.73' > /opt/flink/conf/workers

3、配置免密登录
分别在71,72,73上执行:ssh-keygen -t rsa

分别在每台机器上执行copy to其他2个机器地址:
ssh-copy-id 10.0.83.71
ssh-copy-id 10.0.83.72
ssh-copy-id 10.0.83.73

4、代码同步到其他机器
scp -r /opt/flink 10.0.83.72:/opt/
scp -r /opt/flink 10.0.83.73:/opt/

部署hadoop集群

可以参考: https://blog.51cto.com/mapengfei/2546950
在hadoop集群部署完成之后,
hdfs dfs -mkdir -p /wordcount/output
hdfs dfs -mkdir -p /wordcount/input

上传样例数据到hdfs上
hdfs dfs -put /opt/words.txt /wordcount/input

执行flink测试任务:
cd /opt/flink/
bin/flink run examples/batch/WordCount.jar --input hdfs://node1:8020/wordcount/input/words.txt --output hdfs://node1:8020/wordcount/output

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

Flink on Yarn三部曲之一:准备工作

关于FlinkonYarn三部曲本文是《FlinkonYarn三部曲》的第一篇,整个系列由以下三篇组成:1.准备工作:搭建FlinkonYarn环境前,将所有硬件、软件资源准备好;2.部署和设置:部署CDH和Flink,然后做相关设置3.Flink实战:在Yarn环境提交Flink任务整个三部曲的实战内容如下图

Twitter的分布式自增ID算法snowflake (Java版)

概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移