交易流水数据的处理方法、装置及数据处理系统服务器制造方法及图纸

技术编号:33298925 阅读:17 留言:0更新日期:2022-05-06 12:04
本申请公开了一种交易流水数据的处理方法、装置及数据处理系统服务器,该方法由数据处理系统服务器执行,该方法包括:根据交易流水数据的交易时间跨度,确定若干个交易时间段;按照所述交易时间段对所述交易流水数据进行处理,其中,在一个数据处理期内,对一个交易时间段内的交易流水数据进行若干次批处理,每次批处理的交易流水数据量不大于预设数据处理步长。本申请的交易流水数据的处理方法通过上述分交易时间段、分批次和预设处理步长对交易流水数据进行处理,相比于传统的一次性处理大量数据的方案,能够大大提高交易流水数据的整体处理效率以及系统资源分配的灵活性和系统的整体性能。统的整体性能。统的整体性能。

【技术实现步骤摘要】
交易流水数据的处理方法、装置及数据处理系统服务器


[0001]本申请涉及金融
,尤其涉及一种交易流水数据的处理方法、装置及数据处理系统服务器。

技术介绍

[0002]在金融业务领域,交易系统每天产生的交易数据量是十分庞大的。例如,交易峰值时,交易流水数据TPS(每秒事务处理量)可能达到几十万。为了保证交易的高效、稳定进行,需要及时响应和处理交易流水数据。
[0003]现有技术中对于交易流水数据进行处理时,往往会设置定时任务,如每10分钟归集一次,一次归集10分钟内的数据,然而这种方式可能会导致高并发情况下数据库负载过高等情况。

技术实现思路

[0004]本申请实施例提供了一种交易流水数据的处理方法、装置及数据处理系统服务器,以自适应调节交易流水数据的处理速度,提高交易流水数据的整体处理效率以及系统资源分配的灵活性和系统的整体性能。
[0005]本申请实施例采用下述技术方案:
[0006]第一方面,本申请实施例提供一种交易流水数据的处理方法,由数据处理系统服务器执行,其中,所述方法包括:
[0007]根据交易流水数据的交易时间跨度,确定若干个交易时间段;
[0008]按照所述交易时间段对所述交易流水数据进行处理,其中,在一个数据处理期内,对一个交易时间段内的交易流水数据进行若干次批处理,每次批处理的交易流水数据量不大于预设数据处理步长。
[0009]可选地,所述根据交易流水数据的交易时间跨度,确定若干个交易时间段包括:
[0010]根据所述交易流水数据中记录的最早交易时间和最迟交易时间,确定所述交易流水数据的交易时间跨度;
[0011]在所述交易时间跨度大于预设时间跨度的情况下,将所述交易时间跨度划分为多个交易时间段。
[0012]可选地,所述对一个交易时间段内的交易流水数据进行若干次批处理包括:
[0013]将该交易时间段内的交易流水数据总条数与所述预设数据处理步长进行比较;
[0014]在所述交易流水总条数大于所述预设数据处理步长的情况下,根据所述预设数据处理步长将该交易时间段内的交易流水数据划分为多个子处理批次;
[0015]根据该交易时间段内交易流水号的最大值和最小值以及所述预设数据处理步长,确定各子处理批次的批处理参数的最大目标值和最小目标值,并基于各子处理批次的批处理参数的最大目标值和最小目标值,对各子处理批次的交易流水数据分别进行批处理。
[0016]可选地,所述交易流水数据包括入金流水数据,所述入金流水数据中携带所对应
机构的机构标识;所述批处理为:
[0017]将所述入金流水数据中记录的入金金额归集到所对应机构的入金账号中。
[0018]可选地,所述对一个交易时间段内的交易流水数据进行若干次批处理包括:
[0019]根据所述入金流水数据中携带的所对应机构的机构标识,逐个处理各机构所对应的入金流水数据。
[0020]可选地,所述逐个处理各机构所对应的入金流水数据包括:
[0021]从该交易时间段内的入金流水数据中,查询出目标机构在所述预设数据处理步长内待归集流水数据,所述目标机构为各机构中的任意一个机构;
[0022]根据所述入金流水数据中记录的交易批次,按所述交易批次逐次将所述目标机构待归集流水数据中记录的入金金额归集到所述目标机构的入金账号中。
[0023]可选地,所述批处理是在开启的数据库事务中执行的,所述逐个处理各机构所对应的入金流水数据还包括:
[0024]在将所述待归集流水数据中记录的入金金额归集到各机构的入金账号后,更新所述待归集流水数据的状态为已归集状态;
[0025]该方法还包括:
[0026]在一次批处理结束后,若该次批处理后状态为已归集状态的入金流水数据的条数与该次批处理执行过程中查询出的各机构的待归集流水数据的条数之和相等,则提交相应的数据库事务,否则重新开启数据库事务执行该次批处理。
[0027]可选地,所述方法还包括:
[0028]在处理目标机构的入金流水数据前,根据所述入金流水数据中携带的机构标识,查询出所述目标机构的入金账号并锁定,以及在所述目标机构的入金流水数据处理完毕后,对所述目标机构的入金账号进行解锁。
[0029]可选地,所述方法还包括:
[0030]根据已处理的交易流水数据的最迟交易时间,确定所述交易流水数据中记录的最早交易时间;以及,
[0031]根据最后一次批处理的交易流水数据中记录的最迟交易时间,更新所述已处理的交易流水数据的最迟交易时间。
[0032]可选地,所述方法还包括:
[0033]根据数据库性能指标和所述交易流水数据对应的交易业务类型中的至少一项,确定所述交易时间段以及所述预设数据处理步长。
[0034]可选地,所述方法还包括:
[0035]接收交易流水数据处理任务,以根据所述交易流水数据处理任务执行所述根据交易流水数据的交易时间跨度,确定若干个交易时间段的步骤。
[0036]第二方面,本申请实施例还提供一种交易流水数据的处理装置,应用于数据处理系统服务器,其中,所述装置用于实现前述之任一所述交易流水数据的处理方法。
[0037]第三方面,本申请实施例还提供一种电子设备,包括:
[0038]处理器;以及
[0039]被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行前述之任一所述交易流水数据的处理方法。
[0040]第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行前述之任一所述交易流水数据的处理方法。
[0041]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例的交易流水数据的处理方法可以由单独部署的数据处理系统服务器执行,在进行交易流水数据的处理时,可以先根据交易流水数据的交易时间跨度,确定一个或多个交易时间段,然后根据确定的交易时间段,对交易流水数据进行分段处理,其中,在一个数据处理期内,可以对一个交易时间段内的交易流水数据进行一次或多次批处理,每次批处理的交易流水数据量不大于预设数据处理步长。通过上述分交易时间段、分批次和预设处理步长对交易流水数据进行处理,相比于传统的一次性处理大量数据的方案,能够大大提高交易流水数据的整体处理效率以及系统资源分配的灵活性和系统的整体性能。
附图说明
[0042]此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
[0043]图1为本申请实施例中一种备付金系统架构的结构示意图;
[0044]图2为本申请实施例中一种交易流水数据的处理方法的流程图;
[0045]图3为本申请实施例中一种交易流水数据的处理方法本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种交易流水数据的处理方法,由数据处理系统服务器执行,其中,所述方法包括:根据交易流水数据的交易时间跨度,确定若干个交易时间段;按照所述交易时间段对所述交易流水数据进行处理,其中,在一个数据处理期内,对一个交易时间段内的交易流水数据进行若干次批处理,每次批处理的交易流水数据量不大于预设数据处理步长。2.如权利要求1所述方法,其中,所述根据交易流水数据的交易时间跨度,确定若干个交易时间段包括:根据所述交易流水数据中记录的最早交易时间和最迟交易时间,确定所述交易流水数据的交易时间跨度;在所述交易时间跨度大于预设时间跨度的情况下,将所述交易时间跨度划分为多个交易时间段。3.如权利要求1所述方法,其中,所述对一个交易时间段内的交易流水数据进行若干次批处理包括:将该交易时间段内的交易流水数据总条数与所述预设数据处理步长进行比较;在所述交易流水总条数大于所述预设数据处理步长的情况下,根据所述预设数据处理步长将该交易时间段内的交易流水数据划分为多个子处理批次;根据该交易时间段内交易流水号的最大值和最小值以及所述预设数据处理步长,确定各子处理批次的批处理参数的最大目标值和最小目标值,并基于各子处理批次的批处理参数的最大目标值和最小目标值,对各子处理批次的交易流水数据分别进行批处理。4.如权利要求1~3之任一所述方法,其中,所述交易流水数据包括入金流水数据,所述入金流水数据中携带所对应机构的机构标识;所述批处理为:将所述入金流水数据中记录的入金金额归集到所对应机构的入金账号中。5.如权利要求4所述方法,其中,所述对一个交易时间段内的交易流水数据进行若干次批处理包括:根据所述入金流水数据中携带的所对应机构的机构标识,逐个处理各机构所对应的入金流水数据。6.如权利要求5所述方法,其中,所述逐个处理各机构所对应的入金流水数据包括:从该交易时间段内的入金流水数据中,查询出目标机构在所述预设数据处理步长内待归集流水数据,所述目标机构为各机构中的任意一个机构;根据所述入金流水数据中记录的交易批次,按所述交易批次逐次将所述目标机构待归集流水数据中记录的入...

【专利技术属性】
技术研发人员:孟天宝曹洋华卢翔王永
申请(专利权)人:网联清算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1