数据存储方法、装置、介质及设备制造方法及图纸

技术编号:38139689 阅读:9 留言:0更新日期:2023-07-08 09:53
本申请实施例提供一种数据存储方法、装置、介质及设备,该方法包括:监听命中预设规则的目标业务数据;判断目标业务数据是否在预设时间段内首次产生;将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据;获取待写入数据携带的业务方标签;根据业务方标签查找对应的数据库地址;根据数据库地址将待写入数据写入对应的目标数据库。本申请通过预先给每个业务方配置一个独立的数据库,根据每条数据自带的业务方标签分类后写入对应的数据库中。不仅能够增大数据处理的吞吐量,还能够每个业务方存储的数据是隔离的,当其中一个业务方对应的数据库出现问题时,不会影响其他业务方的数据库正常使用。用。用。

【技术实现步骤摘要】
数据存储方法、装置、介质及设备


[0001]本申请涉及电子通信
,尤其涉及一种数据更新
,特别涉及一种数据存储方法、装置、介质及设备。

技术介绍

[0002]银行目前存在这样的业务场景,通过配置业务命中规则,对实时消息进行判断,如果客户命中规则则判定用户命中该事件,并将事件的编码、客户号及命中时间存储到数据库中,以提供查询服务。目前银行一般会选择elasticsearch(分布式搜索和分析引擎)作为存储工具,但随着业务量的增加,业务配置的事件、客户命中数据及数据更新频率也跟着增加,导致数据库压力骤增,致使数据库的数据维护成本上升。

技术实现思路

[0003]本申请实施例提供一种数据存储方法、装置、介质及设备,利用本申请实施例提供的数据存储方法,通过预先给每个业务方配置一个独立的MongoDB数据库,利用批量消费同时处理多条数据,然后根据每条数据自带的业务方标签分类后写入对应的MongoDB数据库中,再进一步写入对应的数据表。不仅能够增大数据处理的吞吐量,还能够每个业务方存储的数据是隔离的,当其中一个业务方对应的MongoDB数据库出现问题时,不会影响其他业务方的MongoDB数据库正常使用,同时可以减轻数据库的存储压力。
[0004]本申请实施例一方面提供了一种数据存储方法,所述数据存储方法包括:
[0005]监听命中预设规则的目标业务数据;
[0006]判断所述目标业务数据是否在预设时间段内首次产生;
[0007]将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据;
[0008]获取所述待写入数据携带的业务方标签;
[0009]根据所述业务方标签查找对应的数据库地址;
[0010]根据所述数据库地址,将所述待写入数据写入对应的目标数据库。
[0011]在本申请实施例所述的数据存储方法中,所述根据所述数据库地址,将所述待写入数据写入对应的目标数据库,包括:
[0012]将所述待写入数据推送至RocketMQ,由所述RocketMQ根据所述数据库地址,将所述待写入数据进行批量写入对应的目标数据库。
[0013]在本申请实施例所述的数据存储方法中,在所述将所述待写入数据写入对应的目标数据库之后,所述方法还包括:
[0014]获取与所述待写入数据携带的业务方标签对应的数据表地址;
[0015]根据所述数据表地址,将所述待写入数据写入所述目标数据库中对应的目标数据表。
[0016]在本申请实施例所述的数据存储方法中,每个所述数据库中包括至少两个数据
表,所述至少两个数据表分别用于存储不同写入时间段的业务数据;
[0017]所述将所述待写入数据写入所述目标数据库中对应的目标数据表,包括:
[0018]根据所述待写入数据写入时刻所属的时间段写入对应的目标数据表。
[0019]在本申请实施例所述的数据存储方法中,在所述得到计算结果之后,所述方法还包括:
[0020]接收针对目标数据表的移除请求;
[0021]获取所述移除请求中包含的数据表编号;
[0022]将与所述数据表编号对应的目标数据表从数据库中移除。
[0023]在本申请实施例所述的数据存储方法中,所述数据库为MongoDB数据库。
[0024]相应的,本申请实施例另一方面还提供了一种数据存储装置,所述数据存储装置包括:
[0025]数据监听模块,用于监听命中预设规则的目标业务数据;
[0026]数据判断模块,用于判断所述目标业务数据是否在预设时间段内首次产生;
[0027]数据确定模块,用于将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据;
[0028]数据获取模块,用于获取所述待写入数据携带的业务方标签;
[0029]数据查找模块,用于根据所述业务方标签查找对应的数据库地址;
[0030]数据写入模块,用于根据所述数据库地址,将所述待写入数据写入对应的目标数据库。
[0031]在本申请实施例所述的数据存储装置中,所述数据写入模块,用于将所述待写入数据推送至RocketMQ,由所述RocketMQ根据所述数据库地址,将所述待写入数据进行批量写入对应的目标数据库。
[0032]相应的,本申请实施例另一方面还提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如上所述的数据存储方法。
[0033]相应的,本申请实施例另一方面还提供了一种终端设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令以执行如上所述的数据存储方法。
[0034]本申请实施例提供了一种数据存储方法、装置、介质及设备,该方法通过监听命中预设规则的目标业务数据;判断所述目标业务数据是否在预设时间段内首次产生;将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据;获取所述待写入数据携带的业务方标签;根据所述业务方标签查找对应的数据库地址;根据所述数据库地址,将所述待写入数据写入对应的目标数据库。利用本申请实施例提供的数据存储方法,通过预先给每个业务方配置一个独立的MongoDB数据库,利用批量消费同时处理多条数据,然后根据每条数据自带的业务方标签分类后写入对应的MongoDB数据库中,再进一步写入对应的数据表。不仅能够增大数据处理的吞吐量,还能够每个业务方存储的数据是隔离的,当其中一个业务方对应的MongoDB数据库出现问题时,不会影响其他业务方的MongoDB数据库正常使用,同时可以减轻数据库的存储压力。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0036]图1为本申请实施例提供的数据存储方法的流程示意图。
[0037]图2为本申请实施例提供的数据存储装置的结构示意图。
[0038]图3为本申请实施例提供的数据存储装置的另一结构示意图。
[0039]图4为本申请实施例提供的终端设备的结构示意图。
具体实施方式
[0040]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
[0041]需要说明的是,以下内容是对本方案背景做出的简单介绍:
[0042]本方案提供的数据存储方法主要是围绕“目前大多数数据在存储时都是通过在一个数据库中划出多个不同的数据存储区域来存储不同类型的数据,但是采用这种方式不仅会影响数据库的存储压本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:监听命中预设规则的目标业务数据;判断所述目标业务数据是否在预设时间段内首次产生;将首次产生的目标业务数据或非首次产生且距离当前时刻最近的目标业务数据作为待写入数据;获取所述待写入数据携带的业务方标签;根据所述业务方标签查找对应的数据库地址;根据所述数据库地址,将所述待写入数据写入对应的目标数据库。2.如权利要求1所述的数据存储方法,其特征在于,所述根据所述数据库地址,将所述待写入数据写入对应的目标数据库,包括:将所述待写入数据推送至RocketMQ,由所述RocketMQ根据所述数据库地址,将所述待写入数据进行批量写入对应的目标数据库。3.如权利要求1所述的数据存储方法,其特征在于,在所述将所述待写入数据写入对应的目标数据库之后,所述方法还包括:获取与所述待写入数据携带的业务方标签对应的数据表地址;根据所述数据表地址,将所述待写入数据写入所述目标数据库中对应的目标数据表。4.如权利要求3所述的数据存储方法,其特征在于,每个所述数据库中包括至少两个数据表,所述至少两个数据表分别用于存储不同写入时间段的业务数据;所述将所述待写入数据写入所述目标数据库中对应的目标数据表,包括:根据所述待写入数据写入时刻所属的时间段写入对应的目标数据表。5.如权利要求4所述的数据存储方法,其特征在于,所述方法还包括:接收针对目标数据...

【专利技术属性】
技术研发人员:钱玉森
申请(专利权)人:平安银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1