Kafka - kafka环境配置以及参数分析
admin
2024-03-17 16:47:34
0

kafka安装配置

首先下载zookeeper

wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz复制备份 zoo.cfg 文件

关于zookeepr的 配置文件参数分析参考:

kafka下载

wget https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz

修改配置文件config/server.properties:

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://node01:9092   
#kafka的消息存储文件
log.dir=/soft/kafka/logs
#kafka连接zookeeper的地址
zookeeper.connect=node01:2181
listeners: 可以配置安全连接配置 
listeners=SSL://node01:9092  
PropertyDefaultDescription
broker.id00每个broker都可以用一个唯一的非负整数id进行标识;这个id可以作为broker的“名字”,你可以选择任意你喜欢的数字作为id,只要id是唯一的即可。
log.dirs/tmp/kafka-logskafka存放数据的路径。这个路径并不是唯一的,可以是多个,路径之间只需要使用逗号分隔即可;每当创建新partition时,都会选择在包含最少partitions的路径下进行
listenersPLAINTEXT://192.168.65.60:9092server接受客户端连接的端口,ip配置kafka本机ip即可
zookeeper.connectlocalhost:2181zooKeeper连接字符串的格式为:hostname:port,此处hostname和port分别是ZooKeeper集群中某个节点的host和port;zookeeper如果是集群,连接方式为 hostname1:port1, hostname2:port2, hostname3:port3
log.retention.hours168每个日志文件删除之前保存的时间。默认数据保存时间对所有topic都一样。
num.partitions1topic分区
default.replication.factor1自动创建topic的默认副本数量,建议设置为大于等于2
min.insync.replicas1当producer设置acks为-1时,min.insync.replicas指定replicas的最小数目(必须确认每一个repica的写数据都是成功的),如果这个数目没有达到,producer发送消息会产生异常
delete.topic.enablefalse是否允许删除主题

配置案例:

#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以
配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=node01:2181

相关内容

热门资讯

为什么中国人喜欢吃油炸食品? 为什么中国人喜欢吃油炸食品?“最受欢迎”的几种油炸食物,臭豆腐上榜,不知道你最爱吃哪一种?青春期人们...
雷锋名言及故事 雷锋名言及故事雷锋名言及故事一滴水只有放进大海里才永远不会干涸,一个人只有当他把自己和集体事业融合在...
上古王冠无尽深渊梦魔模式打完还... 上古王冠无尽深渊梦魔模式打完还有奖励吗上古王冠无尽深渊梦魔模式打完之后还有奖励有的,上古王冠无尽深渊...
为什么好多人都讨厌下雨天呢?下... 为什么好多人都讨厌下雨天呢?下雨天有什么不好吗?有些人讨厌下雨,有些人喜欢下雨,因为人与人是不一样的...
大风为什么能把茅草屋顶掀开? ... 大风为什么能把茅草屋顶掀开? 物理题大风为什么能把茅草屋顶掀开? 物理题从流体力学上讲,空气流速快的...
科学家发明创造的故事 科学家发明创造的故事以下是 整理的《科学家发明创造的故事》,希望大家喜欢! 1 贝尔,就是发明电...
关于道德的中国古代名人小故事 关于道德的中国古代名人小故事 01 亲尝汤药  汉文帝刘恒,汉高祖第三子,为薄太后所生。高后八年(前...
中华寓言故事的内容简介 中华寓言故事的内容简介 《中华寓言故事》从浩如烟海的寓言王国里,精选了中国文化发展史上的179篇寓言...
男朋友对我说我是不会把你搞丢的... 男朋友对我说我是不会把你搞丢的因为你是在我心里什么意思你朋友说起情话来应该一套一套的。你们的日常对话...
超能世界光之殿堂换了联盟还在吗 超能世界光之殿堂换了联盟还在吗你好,还在的。超能世粗高旁岩橡界光之殿堂退盟10分钟之后就可以加入再加...
如果茅台酒跌破1000元,你还... 几天前,有朋友跟我说,如果茅台酒跌破1500元,我会买20件酒。于是我问他,如果接着跌破1200元呢...
有关友善的故事 有关友善的故事关于友善的三个小故事:中华民族一直以来都崇尚与人为善,以和为贵。在五千年的历史长河中,...
原创 优... 暑期宅家怎么能缺了甜剧?优酷这5部“天花板”级甜剧已就位!高糖剧情+心动CP,从校园到都市,甜度超标...
夏日清凉特调:解锁 4 款神仙... 在炎炎夏日,一杯清凉解暑的甜品不仅能带来味觉上的享受,更能为身心注入一份宁静与治愈。无论是传统的杏皮...
突发!“高端零食第一股”或易主... 7月10日晚间,A股“高端零食第一股”良品铺子(603719.SH)发布公告称,公司控股股东宁波汉意...
AI数字菜谱在蓉首发,“成都造... 滚烫的炒锅上方,机械臂稳健地接过系统指令,精准抓取青椒、肉片,镬气升腾间一份色泽红亮、香气四溢的菜肴...
海口五丰香芋又获丰收:珍品香飘... 田地里郁郁葱葱的芋头正等待收割。 人民网 枉源摄 人民网海口7月10日电(枉源) 龙泉镇五一村的万亩...
原创 每... “从手到口,从口到心,中国人延续着对世界和人生特有的感知方式。只要点起炉火,端起碗筷,每个平凡的人,...
大千世界之上是什么世界 大千世界之上是什么世界 大千世界是佛教中指世界的无边无际。《大乘入理论》中有云:“有是世界,无是...
星际争霸2目前的最强神族是谁? 星际争霸2目前的最强神族是谁?是MC吗?lovett 白大妈这些都是远古时代的了,现在比较强的几个神...