Kafka 概述

分布式消息队列的核心概念与运维要点

Kafka 是高吞吐的分布式消息队列与流平台,承担系统间的异步解耦与事件流转。本小节整理它的部署、使用与运维实践。

核心概念速览

概念	说明
Topic	消息的逻辑分类
分区 Partition	Topic 的并行单位,分区内有序
副本 Replica	分区的冗余,ISR 保持同步
生产者 / 消费者	写入与读取的两端
消费组 Consumer Group	同组分摊分区,实现消费负载均衡

典型使用场景

• 异步解耦:下单后发消息,库存、通知各自消费
• 流量削峰:突发流量先进队列,后端按能力消费
• 事件流:CDC、日志采集、实时计算的管道

运维重点

• 分区规划:分区数决定消费并行度,创建后只能加不能减
• 副本与 ISR:副本因子建议 3,关注 under-replicated 分区
• 消费积压:Lag 是最重要的监控指标
• 消息可靠性:acks=all + 幂等生产者,权衡吞吐与可靠

延伸阅读

• 可观测性概述:积压监控与告警