Kafka事务:
Kafka从0.11版本开始引入了事务支持.事务可以保证Kafka在Exactly Once语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败.
Producer事务:
为了实现跨分区跨会话的事务,需要引入一个全局唯一的Transaction ID,并将获得的PID和Transaction ID绑定.这样当producer重启后就可以通过正在进行的Transaction ID获得原来的PID.
为了管理Transaction,Kafka引入了一个新的组件Transaction Coordinator.Producer就是通过和Transaction Coordinator交互获得Transaction ID对应的任务状态.Transaction Coordinator还负责将事务所有写入Kafka的一个内部Topic.这样即使整个服务重启,由于事务状态得到保存,进行中的事务状态可以得到恢复,从而继续进行.
Consumer事务(精准一次性消费):
对于Consumer而言,事务的保证就会相对较弱,尤其是无法保证Commit的信息被精准消费.这是由于Consumer可以通过offset访问任意信息,而且不同SegmentFile生命周期不同,同一事务的消息可能会出现重启后被删除的情况.如果想完成Consumer端的精准一次性消费,那么需要kafka消费端将消费过程和提交offset过程做原子绑定.此时我们需要将kafka的offset保存到支持事务的自定义介质(比如mysql).