一种交易数据查询方法、装置及系统制造方法及图纸

技术编号:21547833 阅读:38 留言:0更新日期:2019-07-06 21:24
本申请提供了一种交易数据查询方法、装置及系统,利用具有海量存储特点的HADOOP数据库作为云数据库来存储大量的历史交易数据。由于关系型数据库的存储容量较小,将近期少量的交易数据存储在关系型数据库中。通过异构存储策略既保证了交易数据的完整性又能够存储海量数据。通过查询路由装置,将查询请求按照时间属性分为关系型数据库查询和云数据库的查询,由于关系型数据库和云数据库中存储了完整的交易数据,因此可以实现同步查询到所有交易数据,解决了关系型的数据库存储容量不足以支持交易明细数据的查询需求的技术问题。

A Method, Device and System of Transaction Data Query

【技术实现步骤摘要】
一种交易数据查询方法、装置及系统
本申请涉及计算机领域,尤其涉及一种交易数据查询方法、装置及系统。
技术介绍
目前传统商业银行往往使用关系型数据库存储交易明细数据,但随着业务量的增长和时间的推移,交易明细数据总量增长很快,逐渐接近关系型数据库存储容量的上限,需要定期清理,被清理掉的数据将无法被查询,商业银行客户实时查询较为久远的历史交易明细数据的需求就无法得到满足。可见,关系型的数据库存储容量不足以支持交易明细数据的查询需求。
技术实现思路
本申请提供了一种交易数据查询方法、装置及系统,目的在于关系型的数据库存储容量不足以支持交易明细数据的查询需求的问题。为了实现上述目的,本申请提供了以下技术方案:一种交易数据查询方法,包括:接收查询交易请求;将所述查询交易请求中的第一类报文发给第一数据库,所述第一类报文为用于查询当日的近m天之外的交易数据的报文,所述第一数据库用于存储T-k日之前的交易数据,其中,T为当日,k为正整数;将所述查询交易请求中的第二类报文发给第二数据库,所述第二类报文为用于查询当日的近m天的交易数据的报文,所述第二数据库用于存储T日至T-n日内的交易数据,其中,n为正整数,且n>k,k+1≤m≤n+1;基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果。可选的,还包括:在所述第一类数据库的负载增加的情况下,增加m的取值;和/或,在所述第二类数据库的负载增加的情况下,减小m的取值;其中,第一类数据库的负载增加包括:第一类数据库的查询数据量的增长率大于第一阈值,和/或,第一类数据库的响应时间大于第二阈值;第二类数据库的负载增加包括:第二类数据库的查询数据量的增长率大于第三阈值,和/或,第二类数据库的响应时间大于第四阈值。可选的,在所述将所述查询交易请求中的第一类报文发给第一数据库之前,还包括:从所述查询交易请求中获取第一类目标报文,所述第一类目标报文用于从查询当日的近m天之外的交易数据的报文;将所述第一类目标报文进行格式转换,得到所述第一类报文;在所述将所述查询交易请求中的第二类报文发给第二数据库之前,还包括:从所述查询交易请求中获取第二类目标报文,所述第二类目标报文用于查询当日的近m天的交易数据的报文;将所述第二类目标报文进行格式转换,得到所述第二类报文。可选的,所述基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果包括:将所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果进行预设操作,得到所述查询结果,并反馈所述查询结果;其中,所述预设操作包括:转换为预设格式和/或合并。一种交易数据查询系统,包括:第一数据库、第二数据库和查询路由装置;所述第一数据库用于存储T-k日之前的交易数据,其中,T为当日,k为正整数;所述第二数据库用于存储T日至T-n日内的交易数据,其中,n为正整数,且n>k;所述查询路由装置用于执行前述的交易数据查询方法。可选的,还包括:存储控制装置,用于将T-k日之前的交易数据存储到所述第一数据库,并将T日至T-n日内的交易数据存储到所述第二数据库。可选的,所述第一数据库包括HADOOP数据库,所述第二数据库包括关系型数据库。一种交易数据查询装置,包括:接收模块,用于接收查询交易请求;路由模块,用于将所述查询交易请求中的第一类报文发给第一数据库,所述第一类报文为用于查询当日的近m天之外的交易数据的报文,所述第一数据库用于存储T-k日之前的交易数据,将所述查询交易请求中的第二类报文发给第二数据库,所述第二类报文为用于查询当日的近m天的交易数据的报文,所述第二数据库用于存储T日至T-n日内的交易数据,其中,T为当日,k为正整数,n为正整数,且n>k,k+1≤m≤n+1;反馈模块,用于基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果。可选的,所述路由模块还用于:在所述第一类数据库的负载减小的情况下,增加m的取值;和/或,在所述第二类数据库的负载增加的情况下,减小m的取值;其中,负载减小包括:查询数据量的增长率小于第一阈值,和/或,响应时间小于第二阈值;负载增加包括:查询数据量的增长率大于第三阈值,和/或,响应时间大于第四阈值。可选的,还包括:转换模块,用于在所述将所述查询交易请求中的第一类报文发给第一数据库之前,从所述查询交易请求中获取第一类目标报文,所述第一类目标报文用于从查询当日的近m天之外的交易数据的报文,将所述第一类目标报文进行格式转换,得到所述第一类报文;在所述将所述查询交易请求中的第二类报文发给第二数据库之前,从所述查询交易请求中获取第二类目标报文,所述第二类目标报文用于查询当日的近m天的交易数据的报文,将所述第二类目标报文进行格式转换,得到所述第二类报文;以及,将所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果进行预设操作,得到所述查询结果,并反馈所述查询结果;其中,所述预设操作包括:转换为预设格式和/或合并。由上述方案可知,本申请提供了一种交易数据查询系统,其中所述的系统中采用了关系型数据库和非关系型的云数据库的异构存储策略。其中,利用具有海量存储特点的HADOOP数据库作为云数据库来存储大量的历史交易数据。由于关系型数据库的存储容量较小,将近期少量的交易数据存储在关系型数据库中。通过异构存储策略既保证了交易数据的完整性又能够存储海量数据。通过查询路由装置,将查询请求按照时间属性分为关系型数据库查询和云数据库的查询,由于关系型数据库和云数据库中存储了完整的交易数据,因此可以实现同步查询到所有交易数据,解决了关系型的数据库存储容量不足以支持交易明细数据的查询需求的技术问题。附图说明为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为一种交易数据查询系统的应用场景示意图;图2为又一种交易数据查询系统的示意图;图3为一种查询路由装置的功能的具体实现流程图;图4为一种交易数据查询装置的结构示意图。具体实施方式图1为本申请实施例公开的一种交易数据查询系统的应用场景示意图,其中,本申请实施例公开的交易数据查询系统与查询前端(例如查询客户端)相连,用于基于查询前端的查询指令,查询并向查询前端反馈交易数据的查询结果。下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。图2为本申请实施例公开的一种交易数据查询系统,该系统包括查询路由装置、与查询路由装置相连的关系型数据库、与查询路由装置相连的云数据库、与关系型数据库和云数据库相连的存储控制装置。其中,存储控制装置用于控制关系型数据库和云数据库存储交易数据量。设当日为T日,T-k日之前的交易数据保存在云数据库中。云数据库为非关系型数据库,例如可以是HADOOP数据库,而HADOOP数据库是一种海量存储数据库。因此本文档来自技高网...

【技术保护点】
1.一种交易数据查询方法,其特征在于,包括:接收查询交易请求;将所述查询交易请求中的第一类报文发给第一数据库,所述第一类报文为用于查询当日的近m天之外的交易数据的报文,所述第一数据库用于存储T‑k日之前的交易数据,其中,T为当日,k为正整数;将所述查询交易请求中的第二类报文发给第二数据库,所述第二类报文为用于查询当日的近m天的交易数据的报文,所述第二数据库用于存储T日至T‑n日内的交易数据,其中,n为正整数,且n>k,k+1≤m≤n+1;基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果。

【技术特征摘要】
1.一种交易数据查询方法,其特征在于,包括:接收查询交易请求;将所述查询交易请求中的第一类报文发给第一数据库,所述第一类报文为用于查询当日的近m天之外的交易数据的报文,所述第一数据库用于存储T-k日之前的交易数据,其中,T为当日,k为正整数;将所述查询交易请求中的第二类报文发给第二数据库,所述第二类报文为用于查询当日的近m天的交易数据的报文,所述第二数据库用于存储T日至T-n日内的交易数据,其中,n为正整数,且n>k,k+1≤m≤n+1;基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果。2.根据权利要求1所述的方法,其特征在于,还包括:在所述第一类数据库的负载增加的情况下,增加m的取值;和/或,在所述第二类数据库的负载增加的情况下,减小m的取值;其中,第一类数据库的负载增加包括:第一类数据库的查询数据量的增长率大于第一阈值,和/或,第一类数据库的响应时间大于第二阈值;第二类数据库的负载增加包括:第二类数据库的查询数据量的增长率大于第三阈值,和/或,第二类数据库的响应时间大于第四阈值。3.根据权利要求1或2所述的方法,其特征在于,在所述将所述查询交易请求中的第一类报文发给第一数据库之前,还包括:从所述查询交易请求中获取第一类目标报文,所述第一类目标报文用于从查询当日的近m天之外的交易数据的报文;将所述第一类目标报文进行格式转换,得到所述第一类报文;在所述将所述查询交易请求中的第二类报文发给第二数据库之前,还包括:从所述查询交易请求中获取第二类目标报文,所述第二类目标报文用于查询当日的近m天的交易数据的报文;将所述第二类目标报文进行格式转换,得到所述第二类报文。4.根据权利要求3所述的方法,其特征在于,所述基于所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果,反馈查询结果包括:将所述第一数据库反馈的查询结果和所述第二数据库反馈的查询结果进行预设操作,得到所述查询结果,并反馈所述查询结果;其中,所述预设操作包括:转换为预设格式和/或合并。5.一种交易数据查询系统,其特征在于,包括:第一数据库、第二数据库和查询路由装置;所述第一数据库用于存储T-k日之前的交易数据,其中,T为当日,k为正整数;所述第二数据库用于存储T日至T-n日内的交易数据,其中,n为正...

【专利技术属性】
技术研发人员:董朝霞赵焕芳侯鑫磊李鹏
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1