SpringBoot+RabbitMQ 死信队列

VSole2022-05-23 16:45:30

前言

死信:无法被消费的消息,称为死信。

如果死信一直留在队列中,会导致一直被消费,却从不消费成功。

所以我们专门开辟了一个来存放死信的队列,叫死信队列(DLX,dead-letter-exchange)。

死信的几种来源:
  • 消息 TTL 过期(time to live,存活时间,可以用在限时支付消息)
  • 队列达到最大长度(队列满了,无法路由到该队列)
  • 消息被拒绝( basic.reject / basic.nack ),并且 requeue = false

环境准备配置

准备 MQ 的队列和环境:

  • 正常交换机
  • 正常队列(最长队列 5) ---- 正常消费者,拒绝消息
  • ttl 队列(过期时间 60 秒) ---- 没有消费者
  • 死信交换机
  • 死信队列

主要配置文件如下:

@Configuration
public class DeadConfig {

    /* 正常配置 **********************************************************************************************************/

    /**
     * 正常交换机,开启持久化
     */
    @Bean
    DirectExchange normalExchange() {
        return new DirectExchange("normalExchange", true, false);
    }

    @Bean
    public Queue normalQueue() {
        // durable: 是否持久化,默认是false,持久化队列:会被存储在磁盘上,当消息代理重启时仍然存在,暂存队列:当前连接有效
        // exclusive: 默认也是false,只能被当前创建的连接使用,而且当连接关闭后队列即被删除。此参考优先级高于durable
        // autoDelete: 是否自动删除,当没有生产者或者消费者使用此队列,该队列会自动删除。
        Map args = deadQueueArgs();
        // 队列设置最大长度
        args.put("x-max-length", 5);
        return new Queue("normalQueue", true, false, false, args);
    }

    @Bean
    public Queue ttlQueue() {
        Map args = deadQueueArgs();
        // 队列设置消息过期时间 60 秒
        args.put("x-message-ttl", 60 * 1000);
        return new Queue("ttlQueue", true, false, false, args);
    }

    @Bean
    Binding normalRouteBinding() {
        return BindingBuilder.bind(normalQueue()).to(normalExchange()).with("normalRouting");
    }

    @Bean
    Binding ttlRouteBinding() {
        return BindingBuilder.bind(ttlQueue()).to(normalExchange()).with("ttlRouting");
    }

    /* 死信配置 **********************************************************************************************************/

    /**
     * 死信交换机
     */
    @Bean
    DirectExchange deadExchange() {
        return new DirectExchange("deadExchange", true, false);
    }

    /**
     * 死信队列
     */
    @Bean
    public Queue deadQueue() {
        return new Queue("deadQueue", true, false, false);
    }

    @Bean
    Binding deadRouteBinding() {
        return BindingBuilder.bind(deadQueue()).to(deadExchange()).with("deadRouting");
    }

    /**
     * 转发到 死信队列,配置参数
     */
    private Map deadQueueArgs() {
        Map map = new HashMap<>();
        // 绑定该队列到私信交换机
        map.put("x-dead-letter-exchange", "deadExchange");
        map.put("x-dead-letter-routing-key", "deadRouting");
        return map;
    }

}

arguments 具体参数如下:

队列达到最大长度

首先测试最简单的,没有消费者。

调用6次正常队列的生产方法。

 /**
  * 正常消息队列,队列最大长度5
  */
 @GetMapping("/normalQueue")
 public String normalQueue() {

     Map map = new HashMap<>();
     map.put("messageId", String.valueOf(UUID.randomUUID()));
     map.put("data", System.currentTimeMillis() + ", 正常队列消息,最大长度 5");

     rabbitTemplate.convertAndSend("normalExchange", "normalRouting", map, new CorrelationData());
     return JSONObject.toJSONString(map);
 }

MQ 结果如下:

消息 TTL 过期

消息的TTL 指的是消息的存活时间,我们可以通过设置消息的TTL或者队列的TTL来实现。

  • 消息的TTL :对于设置了过期时间属性(expiration)的消息,消息如果在过期时间内没被消费,会过期
  • 队列的TTL :对于设置了过期时间属性(x-message-ttl)的队列,所有路由到这个队列的消息,都会设置上这个过期时间

两种配置都行,一般都用在定时任务,限时支付这种地方。

 /**
  * 消息 TTL, time to live
  */
 @GetMapping("/ttlToDead")
 public String ttlToDead() {

     Map map = new HashMap<>();
     map.put("messageId", String.valueOf(UUID.randomUUID()));
     map.put("data", System.currentTimeMillis() + ", ttl队列消息");

     rabbitTemplate.convertAndSend("normalExchange", "ttlRouting", map, new CorrelationData());
     return JSONObject.toJSONString(map);
 }

发送后:

等待过期后:

Demo 中只是为了方便,代码中尽量使用 消息TTL,不要用 队列TTL


拒绝消息

正常队列消费后拒绝消息,并且不进行重新入队:

@Component
@RabbitListener(queues = "normalQueue")
public class NormalConsumer {
    @RabbitHandler
    public void process(Map message, Channel channel, Message mqMsg) throws IOException {
        System.out.println("收到消息,并拒绝重新入队 : " + message.toString());
        channel.basicReject(mqMsg.getMessageProperties().getDeliveryTag(), false);
    }
}

MQ 控制台:

死信队列消费:

@Component
@RabbitListener(queues = "deadQueue")
public class DeadConsumer {
    @RabbitHandler
    public void process(Map message, Channel channel, Message mqMsg) throws IOException {
        System.out.println("死信队列收到消息 : " + message.toString());
        channel.basicAck(mqMsg.getMessageProperties().getDeliveryTag(), false);
    }
}

消息顺序和实验一致:

死信队列收到消息 : {data=1631534291765, 正常队列消息,最大长度 5, messageId=bce3888b-da38-4299-ac88-d22cbe164739}
死信队列收到消息 : {data=1631535222745, ttl队列消息, messageId=a4617445-5aab-4fac-aec7-5709ea699598}
死信队列收到消息 : {data=1631534503765, 正常队列消息,最大长度 5, messageId=b65ecaab-5ce7-4597-a32c-c90b67ec46da}
死信队列收到消息 : {data=1631534511468, 正常队列消息,最大长度 5, messageId=d63d2a4c-e7d3-4f00-a6ca-78e2d62d1d92}
死信队列收到消息 : {data=1631534585087, 正常队列消息,最大长度 5, messageId=eed0c349-415b-43dc-aa79-c683122a1289}
死信队列收到消息 : {data=1631534588311, 正常队列消息,最大长度 5, messageId=7a7bd152-f2fa-4a74-b9e6-943ac7cbb3d4}
死信队列收到消息 : {data=1631534608504, 正常队列消息,最大长度 5, messageId=9de512a1-4ca4-4060-9096-27aba01c1687}在看点这里好文分享给更多人↓↓
优先级队列ttl
本作品采用《CC 协议》,转载必须注明作者和本文链接
死信:无法被消费的消息,称为死信。 如果死信一直留在队列中,会导致一直被消费,却从不消费成功。 所以我们专门开辟了一个来存放死信的队列,叫死信队列(DLX,dead-letter-exchange)。 死信的几种来源: 消息 TTL 过期(time to live,存活时间,可以用在限时支付消息) 队列达到最大长度(队列满了,无法路由到该队列) 消息被拒绝( basic.reject / b
虽然平时大部分工作都是和网络相关, 但会接触Linux系统, 尤其是使用了Mac之后, 每天都是工作在黑色背景的命令行环境中. 自己记忆力不好, 很多有用的Linux命令不能很好的记忆, 现在逐渐总结一下, 以便后续查看。基本操作Linux 关机,重启#?查看当前用户环境变量。查看有几颗cpu,每颗分别是几核。
Linux比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢它的原因,比较短小但却功能强大。
虽然平时大部分工作都是和Java相关的开发, 但是每天都会接触Linux系统, 尤其是使用了Mac之后, 每天都是工作在黑色背景的命令行环境中. 自己记忆力不好, 很多有用的Linux命令不能很好的记忆, 现在逐渐总结一下, 以便后续查看。
Truzz通过路径转换间的差异,识别与验证检查相关的字节,并在变异阶段保护该字节以缓解上述问题。Truzz会对每个种子进行排名,能够发现更多新边的种子具有更高的优先级。字节分析在字节分析阶段,Truzz根据路径转换过程中两种执行路径之间的差异为输入字节建立概率分布,并利用概率分布选择要变异的字节。
RSA-CRT算法是使用中国剩余定理加速模幂运算的RSA算法,可大幅度降级计算时间。其中,底数为c,指数l位用d表示,模数为N,窗口大小为w。结合已泄露的部分密钥,通过对二叉树的深度优先遍历可恢复完整密钥。但第一个方案的实验结果可达到一次模幂运算的窗口值恢复不超过3个错误,因此结合部分密钥泄露攻击对剩余窗口值进行恢复的时间和空间开销可以容忍。
目前业界常见的延时消息方案
本期我们就一起来详细的了解 思科、华为、H3C、锐锐四家厂商交换机的配置命令。
Java并发队列与容器
2022-07-29 10:03:36
所谓“阻塞”是指在某些情况下线程被挂起,当满足一定条件时会被自动唤醒,可以通过API进行控制。生产和消费数据时,直接将枚举对象插入或删除,不会产生或销毁额外的对象实例。
当线程从等待状态苏醒后,会自动检测自己得APC队列中是否存在APC过程。所以只需要将目标进程的线程的APC队列里面添加APC过程,当然为了提高命中率可以向进程的所有线程中添加APC过程。然后促使线程从休眠中恢复就可以实现APC注入。往线程APC队列添加APC,系统会产生一个软中断。第二个参数表示插入APC的线程句柄,要求线程句柄必须包含THREAD_SET_CONTEXT访问权限。第三个参数表示传递给执行函数的参数。如果直接传入shellcode不设置第三个函数,可以直接执行shellcode。
VSole
网络安全专家