CentOS 6.5 部署Kafka集群

在部署前需确保网络正常及已安装JDK和Zookeeper环境

JDK安装教程

部署 Zookeeper

zookeeper 最好也把IP给绑定上去 ClientPortAddress=x.x.x.x

部署Kafka

创建相关目录

1mkdir -p /home/modfun
2cd /home/modfun

下载 Kafka

1# 下载
2wget http://mirrors.shu.edu.cn/apache/kafka/1.1.1/kafka_2.11-1.1.1.tgz
3# 解压
4tar zxf kafka_2.11-1.1.1.tgz

创建kafka依赖目录

1# 消息日志持久化目录
2mkdir -p /data/kafka/log

修改配置文件

1cd kafka_2.11-1.1.1
2vim config/server.properties

修改内容如下

1# 一次修改多台（集群）的borker.id 从 0 开始
2border.id=0
3
4# 解除注释
5listeners=PLAINTEXT://172.27.1.1:9092
6
7# 局域网对外互联网开放设置
8advertised.listeners=PLAINTEXT://172.27.1.1:9092
9# 修改主机名为本机内网IP
10host.name=172.27.1.1
11
12# 设置处理消息最大值
13message.max.bytes=2000000
14fetch.message.max.bytes=2000000
15
16# 修改日志存放目录
17log.dirs=/data/kafka/log
18
19# 设置分区数，为Topic创建分区时，分区数最好是broker数量的整数倍，这样才能是一个Topic的分区均匀的分布在整个Kafka集群中
20num.partitions=3
21
22# 修改Zookeeper集群的IP和端口
23zookeeper.connect=172.27.1.1:2181,172.27.1.2:2181,172.27.1.3:2181
24
25# 添加启用删除topic配置
26delete.topic.enable=true
27
28

启动kafka

1# 添加守护的方式启动
2bin/kafka-server-start.sh -daemon ./config/server.properties

停止kafka

kill -9 {pid}