热点数据批量调度方法及装置制造方法及图纸

本发明专利技术提供的热点数据批量调度方法及装置，首先通过对流水号进行取模处理和映射处理，进而得到预定值集合，将预定值集合划分为多个批次，进而将处于同一批次中的预定值所对应的交易数据发送给一个数据处理装置进行处理，从而使得一个热点数据分散至多个数据处理装置进行处理，并且预定值是根据虚拟地区数来确定，从而根据交易流水号可以将热点数据均匀分配，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。

Hot data batch scheduling method and device

【技术实现步骤摘要】
热点数据批量调度方法及装置
本专利技术涉及数据处理
，更具体的，涉及一种热点数据批量调度方法及装置。
技术介绍
随着互联网金融的发展，第三方快捷支付业务量呈现爆发式增长，如腾讯财付通“春节微信红包”活动，单日通过中国工商银行股份有限公司交易系统进行快捷支付的最高业务量已达5000多万笔，且第三方支付业务往往集中在某个地区，导致数据分布严重不均、业务热点集中、主机批量处理效率缓慢，这些问题已经成为第三方快捷支付业务的发展瓶颈，严重影响了银行和第三方支付机构的合作。传统的数据处理方法的突出问题已经不能适应第三方快捷支付技术与应用领域发展的需要，亟待解决。
技术实现思路
为了解决解决上述不足的至少一个，本申请提供一种热点数据批量调度方法及装置。在本申请一个方面实施例中，一种热点数据批量调度方法，包括：从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。在某些实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述从预设格式的多个交易数据中读取各交易数据的流水号，包括：识别多个交易数据中处于该设定位置的值。在某些实施例中，所述N的取值范围为20至400。在某些实施例中，所述根据设定的映射关系对所述取模结果集合进行映射处理，包括：根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。在某些实施例中，所述映射关系为：f(E)＝Min(Ti)+E其中，Ti表示各批次处理的地区范围，E为所述预定值。在某些实施例中，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：按照均匀划分规则将所述预定值集合划分为至少一个批次。本申请另一方面实施例提供一种热点数据批量调度装置，包括：读取模块，从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；取模计算模块，使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；映射处理模块，根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；调度模块，按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。在某些实施例中，在所述预设格式中，所述流水号为处于一设定位置的值，所述读取模块识别多个交易数据中处于该设定位置的值。在某些实施例中，所述N的取值范围为20至400。在某些实施例中，所述映射处理模块根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。在某些实施例中，所述映射关系为：f(E)＝Min(Ti)+E其中，TE表示各批次处理的地区范围，E为所述预定值。在某些实施例中，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：按照均匀划分规则将所述预定值集合划分为至少一个批次。本申请又一方面实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的方法的步骤。本申请又一方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的方法的步骤。本专利技术具有如下有益效果：本专利技术提供的热点数据批量调度方法及装置，首先通过对流水号进行取模处理和映射处理，进而得到预定值集合，将预定值集合划分为多个批次，进而将处于同一批次中的预定值所对应的交易数据发送给一个数据处理装置进行处理，从而使得一个热点数据分散至多个数据处理装置进行处理，并且预定值时根据虚拟地区数来确定，从而根据交易流水号可以将热点数据均匀分配，分区不再集中，联机交易插入不会所有记录都争抢同一个分区资源，每N笔交易的分区才相同，可有效降低联机插入热点，提高交易的成功率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本专利技术实施例中热点调度系统结构示意图。图2示出本专利技术实施例中热点调度方法流程示意图。图3示出本专利技术实施例中图1中热点调度装置的模块示意图。图4示出本专利技术实施例中一热点调度场景的具体流程示意图。图5示出专利技术实施例中热点数据调度方法与传统旧模式的对比示意图。图6示出适于用来实现本申请实施例的计算机设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图5中旧模式所示，传统的数据分散方法一般是按照交易地区、账号归属地区或账号等进行分区，当某个地区或账号业务量增长较大时，易出现热点和数据严重分布不均，如腾讯财付通业务，数据全部集中在财付通账号归属的深圳地区所在的分区，尤其传统节日期间，量大频高，分区表空间严重不足，主机联机交易插入易形成热点，主机批量单批次处理数据量过大影响整体处理效率。图1示出了一种热点数据调度处理系统，其包括终端1、第三方系统2、银行平台系统3、热点数据批量调度装置4以及多个数据处理装置5。终端装置1，用于用户输入交易信息并发起指令，所述的交易信息包括客户卡号或账号、交易金额、交易对手、用途等信息，所述终端装置1包括手机、PAD、PC等终端设备，所述终端装置1包括手机、PAD、PC等终端设备。第三方系统2，用于接收、加工、传递终端装置1传入的信息，第三方支付平台从网关接收到信息后，提取交易要素，识别借贷方信息，并加工成一笔笔支付指令，然后将数据传送至银行平台系统3。银行平台系统3，用于接收第三方系统加工后的数据，并进行进一步的加工，包括生成交易流水号、补充交易地区、网点、操作柜员等信息。加工处理后，将对应交易要素信息传送至主机处理系统的热点数据批量调度装置4。热点数据批量调度装置4，用于接收银行平台系统3加工后的数据(即交易数据)，完成数据的接收、提取、分批、调度、存储等处理。所述的数据批量调度处理装置4部署在主机上，该装置的结构将在图3中做进一步的详细说明。多个数据处理装置5可以是各自对应一个区域，例如深圳、广州的服务器。图2示出了本申请一个方面实施例热点数据批量调度方法的流程示意图，该具体步骤由上述的热点数据批量调度装置4执行，如图2所示，其具体包括：S1：从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；S2：使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；S3：根据设定的映射关系对所述取模结果集合本文档来自技高网...

【技术保护点】
1.一种热点数据批量调度方法，其特征在于，包括：从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。

【技术特征摘要】
1.一种热点数据批量调度方法，其特征在于，包括：从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；按照设定划分规则将所述预定值集合划分为至少一个批次，并将同一批次中的预定值所对应的交易数据调度至一个数据处理装置进行处理。2.根据权利要求1所述的热点数据批量调度方法，其特征在于，在所述预设格式中，所述流水号为处于一设定位置的值，所述从预设格式的多个交易数据中读取各交易数据的流水号，包括：识别多个交易数据中处于该设定位置的值。3.根据权利要求1所述的热点数据批量调度方法，其特征在于，N的取值范围为20至400。4.根据权利要求1所述的热点数据批量调度方法，其特征在于，所述根据设定的映射关系对所述取模结果集合进行映射处理，包括：根据设定的映射关系，基于每个批次对应的处理地区范围对所述取模结果集合进行映射处理。5.根据权利要求4所述的热点数据批量调度方法，其特征在于，所述映射关系为：f(E)＝Min(Ti)+E其中，Ti表示各批次处理的地区范围，E为所述预定值。6.根据权利要求1所述的热点数据批量调度方法，其特征在于，所述按照设定划分规则将所述预定值集合划分为至少一个批次，包括：按照均匀划分规则将所述预定值集合划分为至少一个批次。7.一种热点数据批量调度装置，其特征在于，包括：读取模块，从预设格式的多个交易数据中读取各交易数据的流水号；所述交易流水号为表示交易顺序的号码；取模计算模块，使每个所述交易流水号对N进行取模运算，得到取模结果集合，其中N表示划分的虚拟地区数；N为大于0的整数；映射处理模块，根据设定的映射关系对所述取模结果集合进行映射处理，得到预定值集合；调度模块，按照设定划分规则将所述预定值集...

【专利技术属性】
技术研发人员：王前程，温建波，佘俊胜，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11