• Kafka 3是一个不存在的版本号,可能是你想表达的Kafka 3个节点的KRaft模式集群。KRaft模式是Kafka从3.3版本开始引入的新的模式,它取代了旧的ZooKeeper-based集群。
    238
  • Kafka从0.11版本开始引入了事务支持.事务可以保证Kafka在Exactly Once语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败.
    220
  • push(推)模式很难适应消费速率不同的消费者,因此消息发送速率是由broker决定的.它的目标是尽可能以最快速传递消息,但是这样很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络阻塞.而pull模式则可以根据consumer的消费能力以适当速率消费消息.
    240
  • Kafka的Producer可以同步或异步发送消息.在消息发送的过程中,涉及到了两个线程-----main线程和sender线程,以及一个线程共享变量--RecordAccumulator. main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到kafka broker.
    224
  • Topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据.Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset.消费者组中的每个消费者,都会实时记录自己消费到了哪个offset(grop + topic + partition),以便出错恢复时,从上次的位置继续消费.
    194
  • kafka的Topic操作指令
    203
  • a.Kafka集群是由多个Broker组成的,每个Broker拥有唯一的ID
    199
  • 以kafka3.4.0 Kraft模式为例
    254