数据批量处理方法和装置制造方法及图纸

本申请提供了一种数据批量处理方法和装置，其中，该方法包括：业务前置系统接收多个分行前置系统发送的第一批量请求数据；业务前置系统对第一批量请求数据进行切片处理，得到多个第一数据切片；业务前置系统将多个第一数据切片发送至流处理系统；流处理系统对接收到的多个第一数据切片进行分布式流处理，生成第一处理结果文件。上述方案可以提高处理效率，实现大批量交易请求的实时处理。

【技术实现步骤摘要】
数据批量处理方法和装置
本申请涉及数据处理
，特别涉及一种数据批量处理方法和装置。
技术介绍
目前，实时性批量交易业务量日益增长，如分行批量还款、分行批量查询应还、公积金新旧模式转换、自动扣款批量入账等。随着银行业务的持续增长，前端上送的批量代理文件持续增大。传统批转单模式有两种：单AP单线程循环发送交易请求、单AP多线程循环发送交易请求。然而，传统的批转单模式存在实时性差且数据处理效率低的问题。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据处理
，以解决现有技术中批量数据处理的实时性差且处理效率低有限的问题。本申请实施例还提供了一种数据批量处理方法，包括：业务前置系统接收多个分行前置系统发送的第一批量请求数据；业务前置系统对第一批量请求数据进行切片处理，得到多个第一数据切片；业务前置系统将多个第一数据切片发送至流处理系统；流处理系统对接收到多个第一数据切片进行分布式流处理，生成第一处理结果文件。本申请实施例还提供了一种数据批量处理方法，应用于业务前置系统，包括：接收多个分行前置系统发送的第一批量请求数据；对第一批量请求数据进行切片处理，得到多个第一数据切片；将多个第一数据切片发送至流处理系统，其中，流处理系统对多个第一数据切片进行分布式流处理，生成第一处理结果文件。本申请实施例还提供了一种数据批量处理方法，应用于流处理系统，包括：接收业务前置系统发送的多个第一数据切片，其中，多个第一数据切片是业务前置系统对从多个分行前置系统接收到的第一批量请求数据进行切片后得到的；对多个第一数据切片进行分布式流处理，生成第一处理结果文件；将第一处理结果文件发送至业务前置系统。本申请实施例还提供了一种数据批量处理装置，位于业务前置系统，包括：接收模块，用于接收多个分行前置系统发送的第一批量请求数据；切片模块，用于对第一批量请求数据进行切片处理，得到多个第一数据切片；发送模块，用于将多个第一数据切片发送至流处理系统，其中，流处理系统对多个第一数据切片进行分布式流处理，生成第一处理结果文件。本申请实施例还提供了一种数据批量处理装置，位于流处理系统，包括：接收模块，用于接收业务前置系统发送的多个第一数据切片，其中，多个第一数据切片是业务前置系统对从多个分行前置系统接收到的第一批量请求数据进行切片后得到的；处理模块，用于对多个第一数据切片进行分布式流处理，生成第一处理结果文件；发送模块，用于将第一处理结果文件发送至业务前置系统。本申请实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的数据批量处理方法的步骤。本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的数据批量处理方法的步骤。在本申请实施例中，提供了一种数据批量处理方法，业务前置系统接收多个分行前置系统发送的第一批量请求数据，对第一批量请求数据进行切片处理，得到多个第一数据切片，并将多个第一数据切片发送至流处理系统，流处理系统对接收到的多个第一数据切片进行分布式流处理，生成第一处理结果文件，实现批量数据的实时处理。上述方案中，通过将批量请求数据切片成多个数据切片，并发送至流处理系统进行分布式流处理，可以提高处理效率，实现大批量交易请求的实时处理。通过上述方案解决了现有的批量请求数据处理的实时性差以及效率低的技术问题，达到了有效提升批量数据处理的实时性和处理效率的技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：图1示出了本申请一实施例中数据批量处理方法的流程图；图2示出了本申请一实施例中的数据批量处理方法的流程图；图3示出了本申请一实施例中的数据批量处理方法的流程图；图4示出了本申请一实施例中的ApacheStorm系统的架构图；图5示出了本申请一实施例中的Spout与Bolt的关系图；图6示出了本申请一实施例中的数据批量处理方法的时序图；图7示出了本申请一实施例中的数据批量处理方法的流程图；图8示出了本申请一实施例中的数据批量处理装置的示意图；图9示出了本申请一实施例中的数据批量处理装置的示意图；图10示出了本申请一实施例中的计算机设备的示意图。具体实施方式下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。在本说明书的一个场景示例中，多个分行前置系统可以向业务前置系统发送第一批量请求数据。其中，多个分行前置系统可以包括各地分行的前置系统。业务前置系统可以汇集各地分行前置系统的批量请求数据，以进行统一处理。其中，第一批量请求数据可以是各种业务请求数据，例如，分行批量还款请求数据、分行批量查询应还请求数据、公积金新旧模式转换请求数据、自动扣款批量入账等、转账请求数据等。业务前置系统在接收到各地分行前置系统发送的批量请求数据之后，可以对第一批量请求数据进行切片处理，得到多个第一数据切片。之后，业务前置系统可以将多个第一数据切片发送至流处理系统。流处理系统对接收到的多个第一数据切片进行分布式流处理，生成第一处理结果文件。在一个实施方式中，在将多个第一数据切片发送至流处理系统之后，业务前置系统可以接收流处理系统发送的第一处理结果文件。业务前置系统可以获取多个分行前置系统中各分行前置系统的结果文件配置信息，并根据第一处理结果文件和各分行前置系统的结果文件配置信息，生成各分行前置系统对应的第一结果文件。之后，业务前置系统可以将各分行前置系统对应的第一结果文件发送至对应的分行前置系统。在一个实施方式中，业务前置系统可以读取第一批量请求数据至数据库，创建定时处理任务，并根据定时处理任务从数据库中读取第一批量请求数据。在从数据库中读取第一批量请求数据之后，业务前置系统可以对第一批量请求数据进行切片处理，得到多个第一数据切片。在一个实施方式中，在业务前置系统将各分行前置系统对应的第一结果文件发送至对应的分行前置系统之后，业务前置系统还可以接收各分行前置系统发送的第二批量请求数据。其中，第二批量请求数据是根据各分行前置系统对应的第一结果文件生成的。在一个实施例中，可以是各分行前置系统根据对应的第一结果文件生成第二批量请求数据。在另一个实施例中，可以是发送第一批量请求数据至各分行前置系统的其他业务中本文档来自技高网...

【技术保护点】
1.一种数据批量处理方法，其特征在于，包括：/n业务前置系统接收多个分行前置系统发送的第一批量请求数据；/n所述业务前置系统对所述第一批量请求数据进行切片处理，得到多个第一数据切片；/n所述业务前置系统将所述多个第一数据切片发送至流处理系统；/n所述流处理系统对接收到所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。/n

【技术特征摘要】
1.一种数据批量处理方法，其特征在于，包括：
业务前置系统接收多个分行前置系统发送的第一批量请求数据；
所述业务前置系统对所述第一批量请求数据进行切片处理，得到多个第一数据切片；
所述业务前置系统将所述多个第一数据切片发送至流处理系统；
所述流处理系统对接收到所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。


2.一种数据批量处理方法，其特征在于，所述方法应用于业务前置系统，包括：
接收多个分行前置系统发送的第一批量请求数据；
对所述第一批量请求数据进行切片处理，得到多个第一数据切片；
将所述多个第一数据切片发送至流处理系统，其中，所述流处理系统对所述多个第一数据切片进行分布式流处理，生成第一处理结果文件。


3.根据权利要求2所述的方法，其特征在于，在将所述多个第一数据切片发送至流处理系统之后，还包括：
接收所述流处理系统发送的第一处理结果文件；
获取所述多个分行前置系统中各分行前置系统的结果文件配置信息；
根据所述第一处理结果文件和所述各分行前置系统的结果文件配置信息，生成所述各分行前置系统对应的第一结果文件；
将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统。


4.根据权利要求2所述的方法，其特征在于，对所述第一批量请求数据进行切片处理，得到多个第一数据切片，包括：
读取所述第一批量请求数据至数据库；
创建定时处理任务，并根据所述定时处理任务从所述数据库中读取所述第一批量请求数据；
对所述第一批量请求数据进行切片处理，得到多个第一数据切片。


5.根据权利要求3所述的方法，其特征在于，在将所述各分行前置系统对应的第一结果文件发送至对应的分行前置系统之后，还包括：
接收所述各分行前置系统发送的第二批量请求数据，其中，所述第二批量请求数据是根据所述各分行前置系统对应的第一结果文件生成的；
对所述第二批量请求数据进行切片处理，得到多个第二数据切片；
将所述多个第二数据切片发送至流处理系统，其中，所述流处理系统对所述多个第二数据切片进行分布式流处理，生成第二处理结果文件。


6.根据权利要求2所述的方法，其特...

【专利技术属性】
技术研发人员：邱俊凌，杨健，何翔飞，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11