前言 其实大多数项目用到redis多一点,这篇文章我们主要来谈一下:如何保证Mongodb和数据库双写的数据一致性?1。MongoDB概念及基本用法1。1什么是MongoDB? MongoDB是一个开源的、可扩展的、跨平台的、面向文档的非关系型数据库(NOSQL)。它底层用的C语言编写,主要是提供可扩展的高性能数据存储解决方案。 MongoDB主要用于存储大容量的数据。其文档存储格式有点类似json,例如文件、图片、音频、视频等。 MongoDB也通常用来存储大数据,例如GPS数据等。1。2MongoDB的基本使用 下面我们来看一下MongoDB数据库的基本使用。 MongoDB数据库,客户端写入数据流程图如下: 可以看出,当客户端请求写入数据时,数据插入到MongoDB后得到数据mongoid,再写入数据到数据库并保存mongoid,这样就存在了一个数据关联关系。 MongoDB数据库,客户端请求数据流程图如下: 当客户端请求该数据时先去数据库拿到MongoDB中的数据id,再去MongoDB中取出数据即可。 如此就保证了核心属性存储在数据库,同时也解决了客户端的大数据或大文件的存储。2。怎样保证MongoDB和数据库双写一致性? 当前最常用的两种解决方案如下。2。1先写数据库,再写MongoDB 方案一:先写数据库,再写MongoDB。 图例如下: 这种方案,需要注意得的是写入数据库要记录mongoid,此时因还没有写入数据到MongoDB是拿不到其真实id的,因此需在写入数据到数据库时自定义生产mongoid,当写入数据MongoDB中时用已经生成的id。 因此这种方案主要用于对数据完整性要求不高的场景下,也就是非核心数据可有可无,丢失了也无关紧要。 举个例子说明一下这种方案的弊端: 当数据库刚保存成功数据,网络异常或写入MongoDB逻辑异常,此时就会导致非核心数据保存失败而丢失。因此此方案在实际项目中基本不使用。2。2先写MongoDB,再写数据库 方案一:先写MongoDB,再写数据库。 图例如下: 同样的道理:如果MongoDB写入数据成功了,此时网络中断或逻辑异常了,导致写入数据库失败又怎么解决。 上述问题一样因MongoDB写入成功后不会回滚,因此一样会导致双写数据不一致的情况。 这里我们再来返回去看一下上面分析的MongoDB的基本操作呢,实际上当客户端获取数据时,先获取数据库的mongoid,再通过mongoid查询MongoDB中数据,此种情况去MongDB查询数据时查不到的。 也就是说,这种情况下MongoDB钟保存的是垃圾数据。因此对实际业务没有任何影响的。 该方案弊端: MongDB中垃圾数据过多会占用存储,要怎么来清理这些数据? 客户端新增数据不影响业务,要是客户端修改数据呢?3。修改操作又怎么保证MongoDB和数据库数据一致? 试想如果我们采用客户端新增先写MongoDB后写数据库方案来做客户端修改数据,当MongoDB修改成功,数据库修改失败时,这样修改操作也不能保证双鞋一致性了。 客户端修改数据时,我们可以这样操作: 客户端提交修改数据请求后,我们同样先去MongoBD新增一条数据,拿到新的mongoid,再去修改数据库并更新新的mongoid。 示例如下: 分析一下:客户端发起修改请求时,如果MogoDB新增数据成功了,再去修改数据库数据失败了,此时因数据库保存的是老的mongoid,客户端依然可以拿到数据。 该方案弊端: MongDB中垃圾数据过多会占用存储,要怎么来清理这些数据? 为了解决修改MongoDB时可能产生的垃圾数据,我们可以这样操作: 同样客户端请求修改数据时,先在MongoDB新增一套数据,保留老数据并拿到新的mongoid,再去更新数据库数据,更新成功后再用村塾再数据库的老mongoid删除MongoDB中旧数据。 具体流程图如下: 注意了,问题又来了,加入当修改数据库成功后,去删除MongoDB老数据时失败了,那这样MongDB中的垃圾数据是不是就一直保留了? 因此这里就需要【重试机制】来删除MongoDB老数据了。 常见的重试机制:定时任务、mq。 这样客户端请求修改数据时产生的垃圾数据清理问题解决了,那么新增呢?4。新增的垃圾数据又怎么清理? 又回到上面新增的方案二中遗留的垃圾数据清理问题了。4。1定时任务删除 同样的这里可以采用:定时任务 简单的来说就是用MongoDB中的mongoid扫描数据库中该mongoid,如果数据库中不存在则就删除MongoDB中该条数据。 问题又来了,如果MongoDB中数据量很大呢?通常的做法:缩小扫描数据的范围。 例如:获取MongoDB数据时,根据mongoid的一个范围查询,再用mongoid去数据库查询数据并删除MongoDB垃圾数据。 但如果缩小扫描数据的范围后,数据量仍然很大,定时任务还是处理不过来呢?通常可以:多线程定时任务处理。4。2随机删除 可以借鉴redis的随机清除缓存国企数据策略,采用随机删除方案。 同样用定时任务,每隔500ms随机查询MongoDB中10条数据进行批量处理。