1

只用一个节点消费？

2

进队列前对任务进行一个 hash ，有时序性的扔在一起

3

给任务加个字增 id ，每个消费服务执行任务前校验一下顺序

4

kafka 一个分区不就是顺序执行的么。你还想要啥

5

指定 key ，key 相同会推送到相同分区，同一分区的消息有顺序

6

给串行的每个节点定义一个 topic 和 topic 的串行顺序，每个节点执行器执行完成后把消息推送到下一个 topic

7

要求单实例顺序执行了， 那消费者多实例的意义是啥...

8

9

@Wh1t3zZ 因为服务自己是多节点部署的，启动起来，kafka 就订阅消费了。。。

10

@crysislinux 消费节点是多个，我测试的，即便多个消费者在一个消费者组，第一个消费者拿到消息处理的过程中，第二条消息到来，也会被消费，这个时候，第一条消息和第二条消息就是并行在处理了

11

@Trim21 主要是服务是多节点部署，启动起来自然开始订阅消费

12

2

单个实例去消费不就完了，如果必须是多个实例，就去抢分布式锁，拿到锁的才能去消费

13

多节点抢锁，抢不到锁的 commit offset 要回退的，因为你第二个节点虽然拿不到锁，但已经消费到数据了

15

放同一个分区。之所有会出现多条消息并行处理，因为是批量拉取消费消息，这个是你的消费逻辑问题，看一下是不是消费逻辑并发处理拉取的消息了

16

你给这个 topic 只分配一个 partition 就好了，这样多消费者就不起作用了

18

kafka 在这起什么作用? rpc 调用就会导致任务丢失了?

19

3

20

@Marinaaaa 我现在用的是第二种，指定生成者往指定分区发消息，消费者就算只有一个，也有问题：我在消费方法中加了 sleep 来模拟处理数据耗时，第一条消息还在 sleep 的时候，第二条消息到来，也会进入处理阶段，也就是消费者相当于多线程的，不断的在消费。不知道这种情况如何处理

21

没看懂，你说的串行是什么？ task 按顺序一个一个消费？
------------------------
就是说，多个节点排队消费，第一个节点拿到消息后，如果没处理完，其他节点不能继续消费
------------------------
这又是啥?这不是串行呀。这是 task lock 保证的

22

@NoKey #20 你手动提交每条消息的 offset ，然后把消费的方法改成阻塞式，这样每次消费完再手动提交之后才会消费下一条消息。

23

@wwhontheway 就是想知道 springboot+kafka ，能不能做成一个简单的串行处理队列😁

25

创建一个专门用于处理这些串行任务的 Kafka 主题，然后：
使用单一消费者实例，属于自己的消费者组
使用 TransactionalId 来跟踪每个任务的进度
实现一个轮询机制，定期检查任务是否已经完成，如果完成则提交 offset 并删除该任务
可以考虑使用 Kafka Streams 或 KSQL 来简化实现这个业务

26

你手动指定分区或者使用相同的消息 key ，这样所有消息都会被发送到同一个分区，而一个分区只会被分配给一个消费者，相当于你只有一个订阅到此分区的消费实例在消费这些消息，其它消费者都在空跑

28

将任务分组保证同一组的任务被同一个消费者消费,该消费者保证自身所有任务串行执行
这样可以在多消费者的同时保证串行

29

启动的时候指定某一个实例进行消费，其他示例忽略此消息

30

31

@vaynecv 赞同，后台服务多实例，初始化的时候通过分布式锁确定订阅 topic 的实例。然后，补充一点，防止这个订阅了 topic 的实例宕机，后台其他实例监听分布式锁过期的订阅，redission 那个，再进行重新抢锁，订阅 topic 。如果过期时间比较长（默认 10 分钟）无法接受的话，可以再加个补偿，举个例子，管理后台服务的程序（运管）可能最先知道后台实例挂了，通知其他实例这个情况。

32

topic 只有一个 partition 即可，你开多少个 Consumer 他都是串行。