惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Last Week in AI
Last Week in AI
H
Help Net Security
博客园 - 叶小钗
V
Visual Studio Blog
阮一峰的网络日志
阮一峰的网络日志
博客园 - 三生石上(FineUI控件)
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Microsoft Azure Blog
Microsoft Azure Blog
G
Google Developers Blog
腾讯CDC
MongoDB | Blog
MongoDB | Blog
宝玉的分享
宝玉的分享
P
Proofpoint News Feed
GbyAI
GbyAI
Microsoft Security Blog
Microsoft Security Blog
A
About on SuperTechFans
博客园 - 司徒正美
人人都是产品经理
人人都是产品经理
T
The Blog of Author Tim Ferriss
Martin Fowler
Martin Fowler
月光博客
月光博客
博客园 - 聂微东
酷 壳 – CoolShell
酷 壳 – CoolShell
Vercel News
Vercel News

Kafka

请问一下,多节点消费 kafka 如何做到串行消费 Kafka 消息处理冲突问题 kafka king 陆续也快有 100 个 star 了,虽然很少,但是也是对我的认可,感谢大家 求助一个 zookeeper 配置 acl, kafka 是否需要做相关修改的问题 2023 年基于 Kafka 做重试队列的最佳实践? kakfa 生产者的 ack=all 的参数会受到 broker 的最小同步副本参数的影响吗 kafka 的 producer 和 broker 的关系是什么? kafka 性能问题: kafka 传递海量小数据的时候,需要合并数据发送吗 有无 kafka 八股文或者书籍推荐 有什么好用的 kafka 桌面客户端? kafka Kraft 模式增加投票节点配置后启动报错 kafka-console-consumer.sh 同时读取某个 topic 的所有 partition 能实现吗? 请教一个使用 HAProxy 代理访问 kafka 集群的问题 kafka stream 拓扑的几个疑问 在生产环境中,向 kafka 发送图片消息是否合适 kafka 消费者平滑退出一般是怎么做的? 请教 kafka 独立消费者 如果崩溃了如何获取 offset? 关于 kafka 丢数据 如何获取 KRaft Kafka 的 controller leader 如何从 Kafka 消费的数据中取最大值存储? Kafka Stream 拓扑结构可视化 Kafka 数据同步 请教一下 kafka group 数量比较大对 kafka 性能影响大吗 为什么很多场景数据先写入 kafka 再写入 elastic,而不是直接写 elastic? Golang Kafka Writer 消息被截断 kakfa producer 发消息会堵塞么? kakfa 的 producer 阻塞该怎么查 请问一下实际业务中, kafka 的消费者组一般应用于什么场景? kafka 多线程消费是否必须手动提交 offset/partion 才能避免竞争 求一个基于 kafka 的消息消费框架 蹲一个 Kafka 大神,新增 partition 没有引起消费组的 rebalance,偶现
kafka 如何实现每 10 秒拉一次数据?
ex1gtnim7d · 2021-07-20 · via Kafka

如题,我在生产者端每 0.5 秒发送一个消息,消息大约 4KB 一个

在消费者端配置了下面两个参数,以保证消费者每 10 秒能够回调一次

fetch-min-bytes = Integer.MAX_VALUE (当一次拉取请求的数据小于这个值,就会等待直到满足这个参数,这里我设到最大值)
fetch-max-wait-ms: 10000 (如果等待超过这个值就直接返回,这里设为 10 秒)

同时我是用批量消费的方式进行的,每次回调都会打印一次时间间隔观察实际消费情况,发现消费者在每 10 秒的时候总会拉取两次,但我希望它只拉取一次

KafkaConsumer--->==:10s size:6
KafkaConsumer--->==:0s size:14
KafkaConsumer--->==:9s size:7
KafkaConsumer--->==:0s size:13

所以比较疑惑是触发了哪个参数导致它会多回调一次

btw,我尝试过把下面这些参数都调到最大,但都无济于事

send.buffer.bytes = Integer.MAX_VALUE
receive.buffer.bytes = Integer.MAX_VALUE
max.partition.fetch.bytes Integer.MAX_VALUE
fetch.max.bytes = Integer.MAX_VALUE
max.poll.records = Integer.MAX_VALUE

有没有熟悉 kafka 的大佬帮忙解答一二