RabbitMQ数据丢失分析

RabbitMQ数据丢失分析

简要系统流程场景图

简要系统流程场景图

数据丢失场景

以下场景分析前提是队列持久化,交换器持久化,消息持久化,非持久化场景没有尝试。

消息发送

image

序号

Producer

MQ

数据丢失说明

1

发送数据失败

MQ服务宕机

Producer未做数据本地化导致数据丢失

2

发送数据成功

MQ服务良好

由于某种不良因素,MQ未收到消息,但Producer仍以为本身发送数据成功,导致数据丢失

消息持久化

在消息持久化的过程中,即写盘的过程中,MQ宕机导致的数据丢失,如下图。

image

消息消费

image

  • 自动ack导致的数据丢失
  • 业务处理异常导致的数据丢失

数据丢失解决方案

消息发送

  • 发送失败后做数据本地化操作,待MQ正常后,将数据重新发往MQ。
  • Producer开启Confirm模式,即MQ受到消息并持久化消息后会告诉Producer。

消息持久化

Producer开启Confirm模式,一旦没有受到MQ的回馈消息,重新发送,可以给个次数限制,不满足时还可以做数据本地化操作

消息消费

  • 手动ack
  • 解决代码异常,发生错误时,日志记录下数据。

confirm模式草图

image

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )