惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Hacker News - Newest:
Hacker News - Newest: "LLM"
S
Security Affairs
PCI Perspectives
PCI Perspectives
Google Online Security Blog
Google Online Security Blog
W
WeLiveSecurity
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Recent Commits to openclaw:main
Recent Commits to openclaw:main
P
Privacy & Cybersecurity Law Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
S
Security @ Cisco Blogs
Security Archives - TechRepublic
Security Archives - TechRepublic
Cyberwarzone
Cyberwarzone
L
Lohrmann on Cybersecurity
TaoSecurity Blog
TaoSecurity Blog
V
Visual Studio Blog
博客园 - 聂微东
Scott Helme
Scott Helme
博客园 - 【当耐特】
K
Kaspersky official blog
Security Latest
Security Latest
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
MyScale Blog
MyScale Blog
Schneier on Security
Schneier on Security
WordPress大学
WordPress大学
博客园 - 叶小钗
C
Check Point Blog
V2EX - 技术
V2EX - 技术
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - Franky
T
Tor Project blog
Apple Machine Learning Research
Apple Machine Learning Research
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
腾讯CDC
雷峰网
雷峰网
博客园_首页
美团技术团队
Y
Y Combinator Blog
C
CERT Recently Published Vulnerability Notes
AWS News Blog
AWS News Blog
月光博客
月光博客
N
Netflix TechBlog - Medium
Last Week in AI
Last Week in AI
Recent Announcements
Recent Announcements
Google DeepMind News
Google DeepMind News
Help Net Security
Help Net Security
P
Proofpoint News Feed
MongoDB | Blog
MongoDB | Blog
C
Cybersecurity and Infrastructure Security Agency CISA

Kafka

请问一下,多节点消费 kafka 如何做到串行消费 Kafka 消息处理冲突问题 - V2EX kafka king 陆续也快有 100 个 star 了,虽然很少,但是也是对我的认可,感谢大家 - V2EX 求助一个 zookeeper 配置 acl, kafka 是否需要做相关修改的问题 - V2EX 2023 年基于 Kafka 做重试队列的最佳实践? - V2EX kakfa 生产者的 ack=all 的参数会受到 broker 的最小同步副本参数的影响吗 - V2EX kafka 的 producer 和 broker 的关系是什么? - V2EX kafka 性能问题: kafka 传递海量小数据的时候,需要合并数据发送吗 - V2EX 有无 kafka 八股文或者书籍推荐 - V2EX 有什么好用的 kafka 桌面客户端? - V2EX kafka Kraft 模式增加投票节点配置后启动报错 - V2EX kafka-console-consumer.sh 同时读取某个 topic 的所有 partition 能实现吗? - V2EX 请教一个使用 HAProxy 代理访问 kafka 集群的问题 - V2EX kafka stream 拓扑的几个疑问 在生产环境中,向 kafka 发送图片消息是否合适 - V2EX kafka 消费者平滑退出一般是怎么做的? 请教 kafka 独立消费者 如果崩溃了如何获取 offset? - V2EX 关于 kafka 丢数据 - V2EX 如何获取 KRaft Kafka 的 controller leader - V2EX 如何从 Kafka 消费的数据中取最大值存储? - V2EX Kafka Stream 拓扑结构可视化 - V2EX Kafka 数据同步 - V2EX 请教一下 kafka group 数量比较大对 kafka 性能影响大吗 - V2EX 为什么很多场景数据先写入 kafka 再写入 elastic,而不是直接写 elastic? - V2EX Golang Kafka Writer 消息被截断 - V2EX kakfa producer 发消息会堵塞么? kakfa 的 producer 阻塞该怎么查 - V2EX 请问一下实际业务中, kafka 的消费者组一般应用于什么场景? - V2EX kafka 多线程消费是否必须手动提交 offset/partion 才能避免竞争 - V2EX 求一个基于 kafka 的消息消费框架 - V2EX kafka 如何实现每 10 秒拉一次数据? - V2EX 蹲一个 Kafka 大神,新增 partition 没有引起消费组的 rebalance,偶现 - V2EX kafka 如何知道生产者的 IP? - V2EX Python 消费 ka-f-a-k 时无限挂起,如何定位原因 - V2EX Python 消费 kafka 时无限挂起,如何定位原因 - V2EX 关于 PHP Rdkafka 消费者性能讨论 - V2EX xshell 无法使用 kafka 命令行发送消息到 topic - V2EX [Kafka] 求助, 同一个服务如何组播消费 kafka 某个 topic 的消息呢? - V2EX kafka 非常非常非常难用 - V2EX 有什么办法可以让 kafka 消费者走代理么? - V2EX 如何在消息消费者多实例(Cluster)的情况下保证应用级别的精确分发? - V2EX 各位大佬, zookeeper 加了 digest , kafka 要怎么改配置啊? - V2EX Kafka 需不需要设置安全认证 - V2EX springboot 集成 kafka 广播式消费 - V2EX kafka 疑惑,为什么随着 topic 增加,性能会急剧下降 - V2EX 求 kafka 的 docker 镜像? - V2EX 有老哥知道怎么给 kafka 某个 topic 创建消费组 - V2EX 准备写个基于 kafka 的延迟队列, 有感兴趣的吗 - V2EX 有同学在生产环境里用过 Apache Kafka 么?能否分享一下你踩过的坑? - V2EX Kafka 内存陡然降低问题 - V2EX
问一个消息队列的问题 - V2EX
Yuicon · 2019-05-09 · via Kafka

这是一个创建于 2594 天前的主题,其中的信息可能已经有所发展或是发生改变。

现在有很多仓库本地电脑会创建一些例如设备这样的对象,需要发送消息到消息队列让云端管理也创建一个一样的对象。现在问题的两个对象在数据库里的 id 是不一样的,云端要用怎样的方式把云端数据库的 id 传给本地数据库比较好?本地没有公网 ip,所以无法回调。

  • 云端
  • 数据库
  • 队列
  • 对象

    15 条回复    2019-05-09 21:21:48 +08:00

    Yuicon

    1

    Yuicon      2019 年 5 月 9 日

    目前自己的想法是搞个新的队列让客户端订阅去存 id,但是这样就很浪费,可能这个消息只发给一个客户端,这样所有的客户端都收到了

    Yuicon

    2

    Yuicon      2019 年 5 月 9 日

    没有人么。。

    swuzjb

    3

    swuzjb      2019 年 5 月 9 日

    分布式主键生成策略? 没看懂你的问题

    Yuicon

    4

    Yuicon      2019 年 5 月 9 日

    @swuzjb 依赖了框架的 orm 所以主键用的是数据库自动生成的
    我的问题是客户端发送消息后,有什么好的方法拿到云端根据消息创建记录后生成的主键

    coffeSlider

    5

    coffeSlider      2019 年 5 月 9 日 via Android

    写一个接口做 id 映射。

    h8743

    6

    h8743      2019 年 5 月 9 日

    啥数据库? mybatis mysql 自带新增返回 id

    Yuicon

    8

    Yuicon      2019 年 5 月 9 日

    @h8743 兄弟 拿 id 是可以做到的 问题是怎么传给客户端

    Yuicon

    9

    Yuicon      2019 年 5 月 9 日

    最后我的解决方案是搞个新队列,把带 id 的对象发布上去

    Nasei

    10

    Nasei      2019 年 5 月 9 日 via Android

    可以搞一个两边都能访问的数据库…云端建完了就写一个本地 id 和云端 id 的记录,本地间隔去查

    Yuicon

    11

    Yuicon      2019 年 5 月 9 日

    @Nasei 这样感觉消耗有点大,本地有很多也怕这个数据库有性能问题

    对象现在基本都有唯一的 code 字段,其实是一开始设计的问题,因为前期开发用的 orm 就依赖了数据库自动生成的 id,所以就有这么蛋疼的事情

    Nasei

    12

    Nasei      2019 年 5 月 9 日 via Android

    @Yuicon 从队列发回来也是可以的,就变了一个基于队列的 rpc 了

    Yuicon

    13

    Yuicon      2019 年 5 月 9 日

    @Nasei 嗯 感觉唯一缺点就是我不需要广播 一个消息应该精准的发给需要的客户端

    rrfeng

    14

    rrfeng      2019 年 5 月 9 日

    『两个对象在数据库里的 id 是不一样的』
    你让他一样不就行了吗???

    数据库里的自增 id 无所谓啊,加一个字段不就行了?关键是客户端生成的 id 是不是唯一的?

    Yuicon

    15

    Yuicon      2019 年 5 月 9 日

    @rrfeng 你说的这个我是搞了一个唯一的 code 字段,问题是业务里用了很 orm 的东西,强依赖了这个自增 id
    比如我要创建一个对象,必须要传入对应的外键 id 才行