惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Cloudflare Blog
有赞技术团队
有赞技术团队
H
Help Net Security
V
Visual Studio Blog
F
Fortinet All Blogs
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 司徒正美
G
Google Developers Blog
Google DeepMind News
Google DeepMind News
腾讯CDC
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Stack Overflow Blog
Stack Overflow Blog
I
InfoQ
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
L
LangChain Blog
N
Netflix TechBlog - Medium
罗磊的独立博客
The GitHub Blog
The GitHub Blog
云风的 BLOG
云风的 BLOG
Hugging Face - Blog
Hugging Face - Blog
A
About on SuperTechFans
aimingoo的专栏
aimingoo的专栏
Recent Announcements
Recent Announcements

Kafka

请问一下,多节点消费 kafka 如何做到串行消费 Kafka 消息处理冲突问题 kafka king 陆续也快有 100 个 star 了,虽然很少,但是也是对我的认可,感谢大家 求助一个 zookeeper 配置 acl, kafka 是否需要做相关修改的问题 2023 年基于 Kafka 做重试队列的最佳实践? kakfa 生产者的 ack=all 的参数会受到 broker 的最小同步副本参数的影响吗 kafka 的 producer 和 broker 的关系是什么? kafka 性能问题: kafka 传递海量小数据的时候,需要合并数据发送吗 有无 kafka 八股文或者书籍推荐 有什么好用的 kafka 桌面客户端? kafka Kraft 模式增加投票节点配置后启动报错 kafka-console-consumer.sh 同时读取某个 topic 的所有 partition 能实现吗? 请教一个使用 HAProxy 代理访问 kafka 集群的问题 kafka stream 拓扑的几个疑问 在生产环境中,向 kafka 发送图片消息是否合适 kafka 消费者平滑退出一般是怎么做的? 请教 kafka 独立消费者 如果崩溃了如何获取 offset? 关于 kafka 丢数据 如何获取 KRaft Kafka 的 controller leader 如何从 Kafka 消费的数据中取最大值存储? Kafka Stream 拓扑结构可视化 Kafka 数据同步 请教一下 kafka group 数量比较大对 kafka 性能影响大吗 为什么很多场景数据先写入 kafka 再写入 elastic,而不是直接写 elastic? Golang Kafka Writer 消息被截断 kakfa producer 发消息会堵塞么? kakfa 的 producer 阻塞该怎么查 请问一下实际业务中, kafka 的消费者组一般应用于什么场景? kafka 多线程消费是否必须手动提交 offset/partion 才能避免竞争 求一个基于 kafka 的消息消费框架 kafka 如何实现每 10 秒拉一次数据?
Python 消费 ka-f-a-k 时无限挂起,如何定位原因
css3 · 2021-06-18 · via Kafka

直接通过ka,fka 命令行是可以消费的,但通过 python 消费时,一直消费不到,进程也不超时,更换消费组,消费lastet最新 msg 也无响应, consume.poll(1000, 1) 第一个参数的 timeout 仿佛无效,设置了也是一直等待消费

import time
from kafka import KafkaConsumer

topic1 = 'additional_order'
host = '192.168.14.55:9092'


consume = KafkaConsumer(topic, group_id="group1", 
                              bootstrap_servers=host, auto_offset_reset='latest',
                              security_protocol='SASL_PLAINTEXT',
                              sasl_mechanism='PLAIN',
                              sasl_plain_username='admin',
                              sasl_plain_password='$%<a'
                              api_version=(0, 10)
                              )


while True:
    count += 1
    if time.time() - start_time &gt; 1 * 60:
        print('超时,退出')
        break
    msg = consume.poll(1000, 1)  # 看上去,进程是一直等候在这里
    print(count)