RabbitMQ延迟消息发送

为什么使用延迟消息?

不同于同步消息,有些业务场景下希望可以实现延迟一定时间再消费消息。

典型的场景有微信、支付宝等第三方支付回调接口,会在用户支付后3秒、5秒、30秒等等时间后向应用服务器发送回调请求,确保应用服务器可以正确收到消息。

那有些朋友就会说了,把需要定时处理的数据存到数据库中用定时任务就可以实现,为什么还弄个异步消息。增加后台维护成本。

使用定时任务当然没有问题可以实现该问题。在小数据量情况下没有问题。但当数据量交大的时候怎么办?如果每个任务的延迟时间不同怎么办?

其他方式实现消息队列

名称

实现方式

详细说明

Redis

使用zset数据结构

使用zset的score属性存放执行时间戳,起一个死循环的线程不断的取第一个Key值,如果当前时间戳大于该Key的socre 值时将它取出来消费,注意不需要遍历整个Zset集合,以免造成性能浪费

定时任务

给定周期扫描待处理消息

使用该方式间隔时间不好控制,给短会造成无意义的扫描,增加数据库压力,给长了误差较大

定时任务

动态创建唯一性定时任务

一次性的任务会增加数据库存储,需要定时清理,如相差时间较近的任务较多,也会造成性能较差

时间轮

自定义

自定义一个时间轮的数据结构,启动一个后台线程,延迟一秒,获取时间轮中的任务启动子线程独立执行时间轮的任务

如何选择消息中间件?

中间件

是否原生支持

说明

RocketMQ

支持

不支持任意时间的延迟消息的设置,仅支持内置预设值的延迟时间间隔的延迟消息。预设值的延迟时间间隔为:1s、 5s、 10s、 30s、 1m、 2m、 3m、 4m、 5m、 6m、 7m、 8m、 9m、 10m、 20m、 30m、 1h、 2h

RabbitMQ

不支持

可使用消息的TTL和死信Exchange实现

Kafka

不支持

可使用TimingWheel 实现

AcitveMQ

支持

因自己在使用RabbitMQ做为消息中间件,所以直接选用了RabbitMQ来实现。

实现之前

在实现之前我们先需要知道RabbitMQ以下两个概念。

  • TTL(Time To Live)消息过期时间。

消息如果在队列中一直没有被消费并且存在时间超过了TTL,消息就会变成了"死信" (Dead Message),后续无法再被消费了。

  • DLX(Dead-Letter-Exchange)死信交换器。

它的作用其实是用来接收死信消息(dead message)的。

  1. 消息被拒绝(Basic.Reject/Basic.Nack) ,井且设置requeue 参数为false
  2. 消息过期
  3. 队列达到最大长度

因为消息如果未被正常消费并设置了requeue为false时会进入死信队列,我们可以监控消费死信队列中消息,来观察和分析系统的问题。

RabbitMQ可以从两种维度设置消息过期时间,分别是队列和消息本身。两种方式哪个时间小先执行哪个。

实现思路

想到有两种实现方式和效果。甚至可以结合使用。

第一种:设定固定几个延迟时间(像RocketMQ中间件)

固定延迟消息队列

第二种:实现自定义任意时间延迟

自定义任意时间延迟

以上两种方式各有优缺点,我自己实现的是第二种,下面详细说明

图中后半段死信路由与应用消费基本相同,只要在消费端绑将一个正常队列与死信路由绑定就行。

1/** 2 * @Author: maomao 3 * @Date: 2019-09-04 18:34 4 */ 5@Slf4j 6@Component 7public class FreeCloudMQConsume { 8 @RabbitListener(bindings = {@QueueBinding(value = @Queue(value = "free.cloud.out.mq",durable = "true"), 9 exchange = @Exchange(value = "free.cloud.die.exchange",type = ExchangeTypes.TOPIC), 10 key = "free.cloud.out.mq.dead.message.#")}) 11 public void print(String message){ 12 log.info("print 5 ---- > {}",message); 13 } 14}

调用方发送消息

1/** 2 * 创建延迟队列,会随指定延迟时间+5秒后删除队列 3 * @param queueName 4 * @param delayMillis 5 * @return 6 */ 7 private static Queue createDelayQueue(String queueName, Integer delayMillis) { 8 /** 9 * 队列名称 //死信时间 ,死信重新投递的交换机 ,路由到队列的routingKey 10 */ 11 String time = String.valueOf(System.currentTimeMillis()); 12 String delayQueueName = queueName + ".delay_" + delayMillis + "_" + time; 13 return QueueBuilder.durable(delayQueueName) 14 //设置消息失效时间 15 .withArgument("x-message-ttl",delayMillis * 1000) 16 //设置队列自动删除时间 ,比消息延迟时间多5秒 17 .withArgument("x-expires", (delayMillis + 5) * 1000) 18 //设置死信路由 19 .withArgument("x-dead-letter-exchange", "free.cloud.die.exchange") 20 //设置死信路由routingKey 21 .withArgument("x-dead-letter-routing-key", queueName + ".dead.message." + time) 22 .build(); 23 } 24 25 /** 26 * 发送延迟消息 27 * @param queueName 28 * @param message 29 * @param delayMillis 30 */ 31 public static void sendDelayMessage(String queueName,Object message,Integer delayMillis){ 32 //死信消息队列(动态创建,会销毁) 33 Queue delayQueue = createDelayQueue(queueName, delayMillis); 34 //创建队列 35 addQueue(delayQueue); 36 //延迟消息路由Key 37 StringBuilder delayRoutingKey = new StringBuilder(queueName + ".delay"); 38 delayRoutingKey.append(".").append(message.hashCode() + "_" + RandomUtil.randomString(5)); 39 //绑定延迟路由 40 RabbitMqUtil.addBinding(delayQueue,delayExchange,delayRoutingKey.toString()); 41 getRabbitTemplate().convertAndSend("free.cloud.delay.exchange",delayRoutingKey.toString(),message); 42 }

以上是自定义延迟消息的关键实现代码,完整代码可以 点击这里 获取

效果

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

thinkcmf+jsapi 实现微信支付

首先从小程序端接收订单号、金额等参数,然后后台进行统一下单,把微信支付的订单号返回,在把订单号发送给前台,前台拉起支付,返回参数后更改支付状态。。。回调publicfunctionnotify(){$wechatDb::name('wechat')where('status',1)find();

Twitter的分布式自增ID算法snowflake (Java版)

概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移

RabbitMQ延迟消息发送 - HelloWorld