本文主要讲解下一台服务器如何部署kafka集群服务。
# 前言
分布式消息队列是大型分布式系统不可缺少的中间件，主要解决应用耦合、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构。
今天跟大家讲解下如何部署单机Kafka集群，希望大家喜欢。
# Kafka是什么？
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。
# 特点
- 它同时为发布和订阅提供高吞吐量；
- 它支持多订阅者，当失败时能自动平衡消费者；
- 它将消息持久化到磁盘，因此可用于批量消费。
# Kafka概念
说到Kafka，自然离不开三个专业术语：生产者(Producer)、消费者(Consumer)、主题(Topic)。
我们再来看这个图，大致会有一定的了解了。
了解了一些基本知识，下面开始讲解下如何部署。
# 部署环境
本次是以CentOS6 环境为例子，介绍下如何快速搭建。
# 官网下载地址
https://archive.apache.org/dist/kafka/
这里我以2.1.0版本为例
https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz
# 部署zookeeper
这里不展开描述，有兴趣的可以参考我之前写的文章：中间件-简单部署zookeeper。
# 部署kafka
- 新建独立目录
$ pwd
/opt/testerzhang/3rd/kafka2.1
1
2
2
- 解压包,并重命名文件夹名
$ tar zxf kafka_2.12-2.1.0.tgz
$ mv kafka_2.12-2.1.0 kafka1
1
2
2
- 配置节点1
$ vi kafka1/config/server.properties
# 每个节点值不一样
broker.id=10
# 端口地址
port=9110
#配置当前主机hostname，也可以IP
host.name=10.10.10.10
#配置对应的zookeepr地址
zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.10.10.10:9110
#存放log目录
log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka1-log
1
2
3
4
5
6
7
8
9
10
11
12
13
2
3
4
5
6
7
8
9
10
11
12
13
- 配置节点2
$ cp -rf kafka1 kafka2
$ vi kafka2/config/server.properties
# 每个节点值不一样
broker.id=11
# 端口地址
port=9111
#配置当前主机hostname，也可以IP
host.name=10.10.10.10
#配置对应的zookeepr地址
zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.10.10.10:9111
#存放log目录
log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka2-log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
2
3
4
5
6
7
8
9
10
11
12
13
14
- 配置节点3
$ cp -rf kafka1 kafka3
$ vi kafka3/config/server.properties
# 每个节点值不一样
broker.id=12
# 端口地址
port=9112
#配置当前主机hostname，也可以IP
host.name=10.10.10.10
#配置对应的zookeepr地址
zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003
#在配置集群的时候，必须设置
listeners = PLAINTEXT://10.10.10.10:9112
#存放log目录
log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka3-log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
2
3
4
5
6
7
8
9
10
11
12
13
14
- 启动方法
$ cd /opt/testerzhang/3rd/kafka2.1/kafka1/bin
$ nohup sh ./kafka-server-start.sh ../config/server.properties &
1
2
2
这样，单机版Kafka集群搭建完毕，开始玩起来吧。
是不是很简单？相信你学会了。
欢迎关注我的公众号testerzhang，原创技术文章第一时间推送。
v1.4.16