数据的批量处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据的批量处理方法、装置、设备及存储介质，该方法通过在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据。本发明专利技术将所述待处理任务数据进行批量处理，提高了数据处理效率。

Data batch processing methods, devices, equipment and storage media

【技术实现步骤摘要】
数据的批量处理方法、装置、设备及存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及数据的批量处理方法、装置、设备及计算机可读存储介质。
技术介绍
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。对于银行的业务系统主要使用IOE架构以及中心数据库的部署方式。对数据库的操作主要是单库单表单线程的串行数据处理方式，在执行批量资源时，无法充分利用系统的CPU资源。因此，现有银行业务系统处理批量数据的时间会随着数据量的增加而增长，处理效率低下。
技术实现思路
本专利技术的主要目的在于提出一种数据的批量处理方法、装置、设备及计算机可读存储介质，旨在解决现有银行业务系统的串行数据处理方式造成的数据处理效率低下的技术问题。为实现上述目的，本专利技术提供一种数据的批量处理方法，所述数据的批量处理方法包括如下步骤：在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤具体包括：获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤之前，还包括：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。可选地，所述获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功的步骤之后，还包括：若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤具体包括：在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据的步骤之后，还包括：若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。可选地，所述在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据的步骤之前，还包括：判断所述总数据量是否达到所述分库数据量阈值；所述判断所述总数据量是否达到所述分库数据量阈值的步骤之后，还包括：在所述总数据量未达到所述分库数据量阈值时，根据每个数据表的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的待处理分表子任务数据；通过多台机器批量处理所述待处理分表子任务数据，以对所述待处理任务数据进行批量处理。此外，为实现上述目的，本专利技术还提供一种数据的批量处理装置，所述数据的批量处理装置包括：任务数据计算模块，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；任务数据分库模块，用于在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；任务数据分表模块，用于根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；任务批量处理模块，用于通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。可选地，所述任务批量处理模块具体包括：数据取模分配单元，用于获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；数据分段处理单元，用于根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。可选地，所述数据的批量处理装置还包括任务时间判断模块，所述任务时间判断模块还用于：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。可选地，所述任务时间判断模块还用于：获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。可选地，所述任务时间判断模块还用于：若本文档来自技高网...

【技术保护点】
1.一种数据的批量处理方法，其特征在于，所述数据的批量处理方法包括如下步骤：在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。

【技术特征摘要】
1.一种数据的批量处理方法，其特征在于，所述数据的批量处理方法包括如下步骤：在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。2.如权利要求1所述的数据的批量处理方法，其特征在于，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤具体包括：获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。3.如权利要求1所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤之前，还包括：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。4.如权利要求3所述的数据的批量处理方法，其特征在于，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。5.如权利要求4所述的数据的批量处理方法，其特征在于，所述获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功的步骤之后，还包括：若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。6.如权利要求1所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤具体包括：在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。7.如权利要求6所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据的步骤之后，还包括：若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。8.如权利要1-7中任一项所述的数据的批量处理方法，其特征在于，所述在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据...

【专利技术属性】
技术研发人员：欧阳江平，李建峰，李毅，万磊，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44