死信队列的实现

目录

1. Kafka 中的 死信队列（Dead Letter Queue, DLQ） 实现，并不是 Kafka 原生内置的功能，而是通过 业务逻辑约定 或 框架支持 来实现的。它的本质是：在消费失败后将消息主动发送到另一个特殊的 Topic 中，由开发者或框架负责这部分逻辑。
2. ✅ 死信队列的实现方式
3. 一、基本思路：自定义处理失败消息逻辑
4. 二、代码示例（以 Spring Kafka 为例）
5. 三、使用 Spring Kafka 的 ErrorHandler 支持（推荐）
6. 1. 配置 DeadLetterPublishingRecoverer
7. 2. 配置 ErrorHandler
8. 3. 应用到 KafkaListener
9. Spring 会自动将消息重试失败后发送到 DLQ。
10. ✅ DLQ 的作用
11. ✅ 实现机制总结

Kafka 中的 死信队列（Dead Letter Queue, DLQ） 实现，并不是 Kafka 原生内置的功能，而是通过 业务逻辑约定 或 框架支持 来实现的。它的本质是：在消费失败后将消息主动发送到另一个特殊的 Topic 中，由开发者或框架负责这部分逻辑。#

✅ 死信队列的实现方式#

一、基本思路：自定义处理失败消息逻辑#

1. 正常消费逻辑中捕获异常
2. 失败时将消息发送到一个名为 DLQ 的 Topic
3. DLQ Topic 由专门的消费者监听，做告警、人工干预或延迟重试

---

二、代码示例（以 Spring Kafka 为例）#

@KafkaListener(topics = "my-topic", groupId = "my-group")
public void consume(String message) {
    try {
        // 正常业务逻辑处理
        process(message);
    } catch (Exception e) {
        // 发送失败消息到死信队列
        kafkaTemplate.send("my-topic.DLQ", message);
    }
}

三、使用 Spring Kafka 的 ErrorHandler 支持（推荐）#

Spring Kafka 提供了内置的 DLQ 支持，可以自动将处理失败的消息发送到 DLQ：

1. 配置 DeadLetterPublishingRecoverer#

@Bean
public DeadLetterPublishingRecoverer recoverer(KafkaTemplate<String, String> kafkaTemplate) {
    return new DeadLetterPublishingRecoverer(kafkaTemplate,
        (record, ex) -> new TopicPartition(record.topic() + ".DLQ", record.partition()));
}

2. 配置 ErrorHandler#

@Bean
public DefaultErrorHandler errorHandler(DeadLetterPublishingRecoverer recoverer) {
    return new DefaultErrorHandler(recoverer, new FixedBackOff(1000L, 2)); // 重试 2 次后进入 DLQ
}

3. 应用到 KafkaListener#

Spring 会自动将消息重试失败后发送到 DLQ。#

✅ DLQ 的作用#

• 隔离异常消息，避免阻塞整个分区的消费
• 提供补偿机制，如人工修复、重放、告警通知
• 便于问题追踪，保留完整失败消息上下文

---

✅ 实现机制总结#

---