惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

J
Java Code Geeks
量子位
腾讯CDC
A
About on SuperTechFans
小众软件
小众软件
Microsoft Azure Blog
Microsoft Azure Blog
T
Tailwind CSS Blog
V
V2EX
B
Blog RSS Feed
H
Hackread – Cybersecurity News, Data Breaches, AI and More
GbyAI
GbyAI
Recent Announcements
Recent Announcements
Microsoft Security Blog
Microsoft Security Blog
博客园 - 叶小钗
罗磊的独立博客
宝玉的分享
宝玉的分享
WordPress大学
WordPress大学
大猫的无限游戏
大猫的无限游戏
IT之家
IT之家
V
Visual Studio Blog
D
DataBreaches.Net
博客园 - 三生石上(FineUI控件)
月光博客
月光博客
有赞技术团队
有赞技术团队

Kafka

请问一下,多节点消费 kafka 如何做到串行消费 Kafka 消息处理冲突问题 kafka king 陆续也快有 100 个 star 了,虽然很少,但是也是对我的认可,感谢大家 求助一个 zookeeper 配置 acl, kafka 是否需要做相关修改的问题 2023 年基于 Kafka 做重试队列的最佳实践? kakfa 生产者的 ack=all 的参数会受到 broker 的最小同步副本参数的影响吗 kafka 的 producer 和 broker 的关系是什么? kafka 性能问题: kafka 传递海量小数据的时候,需要合并数据发送吗 有无 kafka 八股文或者书籍推荐 有什么好用的 kafka 桌面客户端? kafka Kraft 模式增加投票节点配置后启动报错 kafka-console-consumer.sh 同时读取某个 topic 的所有 partition 能实现吗? 请教一个使用 HAProxy 代理访问 kafka 集群的问题 kafka stream 拓扑的几个疑问 在生产环境中,向 kafka 发送图片消息是否合适 kafka 消费者平滑退出一般是怎么做的? 请教 kafka 独立消费者 如果崩溃了如何获取 offset? 关于 kafka 丢数据 如何获取 KRaft Kafka 的 controller leader 如何从 Kafka 消费的数据中取最大值存储? Kafka Stream 拓扑结构可视化 Kafka 数据同步 请教一下 kafka group 数量比较大对 kafka 性能影响大吗 为什么很多场景数据先写入 kafka 再写入 elastic,而不是直接写 elastic? Golang Kafka Writer 消息被截断 kakfa producer 发消息会堵塞么? kakfa 的 producer 阻塞该怎么查 请问一下实际业务中, kafka 的消费者组一般应用于什么场景? kafka 多线程消费是否必须手动提交 offset/partion 才能避免竞争 求一个基于 kafka 的消息消费框架 kafka 如何实现每 10 秒拉一次数据?
Kafka 内存陡然降低问题
qwefdrt · 2019-01-09 · via Kafka

最近一直出现 Kafka 集群中所有节点内存瞬间降低的问题。
然后当时的日志里显示:
[2019-01-09 01:08:05,297] WARN Send worker leaving thread (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,296] INFO Received connection request /(org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,447] ERROR Unreasonable buffer length: 100000 (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,547] INFO Received connection request /(org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,564] WARN Connection broken for id 8444275087900673, my id = 1, error = (org.apache.zookeeper.server.quorum.QuorumCnxManager)
java.io.IOException: Received packet with invalid packet: 0
at org.apache.zookeeper.server.quorum.QuorumCnxManager$RecvWorker.run(QuorumCnxManager.java:1012)
[2019-01-09 01:08:05,565] WARN Interrupting SendWorker (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,595] WARN Interrupted while waiting for message on queue (org.apache.zookeeper.server.quorum.QuorumCnxManager)
java.lang.InterruptedException
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchronizer.java:2014)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2088)
at java.util.concurrent.ArrayBlockingQueue.poll(ArrayBlockingQueue.java:418)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.pollSendQueue(QuorumCnxManager.java:1094)
at org.apache.zookeeper.server.quorum.QuorumCnxManager.access$700(QuorumCnxManager.java:74)
at org.apache.zookeeper.server.quorum.QuorumCnxManager$SendWorker.run(QuorumCnxManager.java:929)
[2019-01-09 01:08:05,597] WARN Send worker leaving thread (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,597] INFO Received connection request (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,646] WARN Connection broken for id 3377699988963328, my id = 1, error = (org.apache.zookeeper.server.quorum.QuorumCnxManager)
java.io.IOException: Received packet with invalid packet: 0
at org.apache.zookeeper.server.quorum.QuorumCnxManager$RecvWorker.run(QuorumCnxManager.java:1012)
[2019-01-09 01:08:05,670] WARN Interrupting SendWorker (org.apache.zookeeper.server.quorum.QuorumCnxManager)
[2019-01-09 01:08:05,670] WARN Interrupted while waiting for message on queue (org.apache.zookeeper.server.quorum.QuorumCnxManager)
请问 ERROR Unreasonable buffer length: 100000 这个是什么原因造成的,应该如何解决?