Kafka - kafka环境配置以及参数分析
admin
2024-03-17 16:47:34
0

kafka安装配置

首先下载zookeeper

wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz复制备份 zoo.cfg 文件

关于zookeepr的 配置文件参数分析参考:

kafka下载

wget https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz

修改配置文件config/server.properties:

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://node01:9092   
#kafka的消息存储文件
log.dir=/soft/kafka/logs
#kafka连接zookeeper的地址
zookeeper.connect=node01:2181
listeners: 可以配置安全连接配置 
listeners=SSL://node01:9092  
PropertyDefaultDescription
broker.id00每个broker都可以用一个唯一的非负整数id进行标识;这个id可以作为broker的“名字”,你可以选择任意你喜欢的数字作为id,只要id是唯一的即可。
log.dirs/tmp/kafka-logskafka存放数据的路径。这个路径并不是唯一的,可以是多个,路径之间只需要使用逗号分隔即可;每当创建新partition时,都会选择在包含最少partitions的路径下进行
listenersPLAINTEXT://192.168.65.60:9092server接受客户端连接的端口,ip配置kafka本机ip即可
zookeeper.connectlocalhost:2181zooKeeper连接字符串的格式为:hostname:port,此处hostname和port分别是ZooKeeper集群中某个节点的host和port;zookeeper如果是集群,连接方式为 hostname1:port1, hostname2:port2, hostname3:port3
log.retention.hours168每个日志文件删除之前保存的时间。默认数据保存时间对所有topic都一样。
num.partitions1topic分区
default.replication.factor1自动创建topic的默认副本数量,建议设置为大于等于2
min.insync.replicas1当producer设置acks为-1时,min.insync.replicas指定replicas的最小数目(必须确认每一个repica的写数据都是成功的),如果这个数目没有达到,producer发送消息会产生异常
delete.topic.enablefalse是否允许删除主题

配置案例:

#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以
配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=node01:2181

相关内容

热门资讯

谁知道黄鹤楼的传说(简短一点) 谁知道黄鹤楼的传说(简短一点)有谁知道黄鹤楼的传说?急啊!!!江夏郡辛氏卖酒。有一先生飘然而来,衣甚...
描写夏天的小诗歌 描写夏天的小诗歌夏天来临,大地一片生机盎然,阳光照耀,草木欣欣向荣,蝉鸣声声,花香四溢, 微风习习,...
大学生的恋爱是不是越来越快餐化... 大学生的恋爱是不是越来越快餐化?作为一名目睹了身边朋友分分合合的大学生来说,是的,大学生的恋爱确实越...
李白是怎样被唐玄宗重用的,而后... 李白是怎样被唐玄宗重用的,而后又为何辞官回家?天宝初年,李白游历到会稽一带,与当地才子吴筠十分要好,...
什么是无限方块呢?有人了解吗? 什么是无限方块呢?有人了解吗?无限方块也是魔方的一种,是由VIVARISE推出的产品,这款无限方块产...
想要一个个性签名 想要一个个性签名我是一名财务 常常要签字 所以想要一个适合好看的艺术签名 我叫徐小红,请动这个...
诉求5句“成功没有捷径”的名人... 诉求5句“成功没有捷径”的名人名言?用来套作文地~!眼下我们面对的是一个竞争激烈的社会,竞争就有变易...
用自己的话讲一个西游记里的故事... 用自己的话讲一个西游记里的故事, 三百字以内就行。唐僧和他的宠物们打怪升级,终于the end,从此...
上虞的民间故事 上虞的民间故事 上虞的民间故事有哪些啊,越多越好,要有故事情节哦,先谢了 1、沥海的由来 相传很久很...
有关自然之道的故事(急急急急急... 有关自然之道的故事(急急急急急急急急急)关自道故事(急急急急急急急急急急急急急急) 要简短点(急啊急...
千里因缘 千里因缘千里因缘可能性有多大?很大,很大。。。到阿启命理网站机会说大,即不大。说小也不小。有缘千里来...
全职猎人:最后的任务 全职猎人:最后的任务全职猎人:最后的任务 几时有得看阿。。。。。。那边都出了 这边怎么还没有的估计...
香港九龙寨名人? 香港九龙寨名人?有十大名人:1何香凝2王宠惠3何东4李惠堂5何鸿章6何甘棠7赵一获8邹文怀9容国团1...
苏州杜村 苏州杜村杜村是苏州还是上海的啊,要怎么剩车?那里做手工活的多吗?是渡村吧,连名字都不清楚怎么找啊,你...
乒乓球手抄报 乒乓球手抄报乒乓球手抄报 乒乓宏粗派球凳丛手蔽贺抄报
汗不敢出文言文兄弟俩的性格特点 汗不敢出文言文兄弟俩的性格特点 钟毓诚实,行为拘束;钟会聪慧机灵,说话口齿伶俐。汗不敢出是指魏...
蒸汽眼罩真的能让眼睛更加明亮吗... 蒸汽眼罩真的能让眼睛更加明亮吗?像这样的蒸汽眼罩,每天坚持半个小时,可以让眼睛特别的明亮,眼睛会变得...
永定门城楼下半年启动修缮,丰富... 去年7月,北京中轴线申遗成功,一年来,越来越多的人选择将北京中轴线作为体味北京独特文化魅力的旅游目的...
酸奶成为关注焦点!调查发现:坚... 声明:本文根据权威资料结合个人观点撰写,为原创内容,文末已标注文献等相关信源,在今日头条全网首发72...