本发明专利技术实施例公开了一种批量文件智能联机处理方法、装置及可存储介质，所述方法包括：接收业务系统下发的批量文件；根据预先配置的拆分规则对所述批量文件进行拆分，以得到若干分片文件；获取各处理节点的资源占有数据，以此进行节点分类，识别出节点类型；根据所述资源占有数据进行各节点的任务量计算；根据计算结果对若干分片文件进行任务派发；按批量任务的配置规则由各节点处理分片文件；其有益效果是：克服了现有技术中，无法结合节点的实际能力调整联机任务在各节点分配情况的问题。力调整联机任务在各节点分配情况的问题。力调整联机任务在各节点分配情况的问题。
【技术实现步骤摘要】
一种批量文件智能联机处理方法、装置及可存储介质
[0001]本专利技术涉及任务分配
，具体涉及一种批量文件智能联机处理方法、装置及可存储介质。
技术介绍
[0002]随着科技与全球经济的发展，我国银行业近年呈业务量暴增、业务种类繁多等特点。激增的业务量对系统的交易处理能力有着严格的要求。因此，越来越多的银行业务倾向于用批量处理的方式处理弱实时性要求的业务。同时，银行推出的各类业务，在对应的报表、账务等方面的处理均需要大量批量任务的支撑。目前关于批量处理任务联机处理的普遍做法为：接受文件；定时触发批量任务；对文件进行拆分；定量分发分片到空闲节点进行联机交易处理；合并结果文件。
[0003]基于当前场景与现有方案，目前的批量任务转联机交易处理存在如下问题：
[0004]1、各节点对分片任务的处理能力不同，无法结合节点的实际能力调整联机任务在各节点的分配情况；
[0005]2、无法避免不同批量任务间各分片在不同节点的热点数据访问问题，使得交易处理时间延长。
技术实现思路
[0006]本专利技术的目的是：提供了一种批量文件智能联机处理方法、装置及可存储介质，以克服现有技术中，无法结合节点的实际能力调整联机任务在各节点的分配情况的缺陷。
[0007]第一方面：一种批量文件智能联机处理方法，所述方法包括：
[0008]接收业务系统下发的批量文件；
[0009]根据预先配置的拆分规则对所述批量文件进行拆分，以得到若干分片文件；
[0010]获取各处理节点的资源占有数据，以此进行节点分类，识别出节点类型；所述节点类型包括被标记的高能耗节点和未标记为高能耗的节点；
[0011]根据所述资源占有数据进行各节点的任务量计算；
[0012]根据计算结果对若干分片文件进行任务派发；
[0013]按批量任务的配置规则由各节点处理分片文件。
[0014]通过获取各处理节点的资源占有数据，以此进行节点分类，针对性地得出各节点的任务量；从而克服了现有技术中，无法结合节点的实际能力调整联机任务在各节点分配情况的问题。
[0015]作为本申请一种可选的实施方式，所述进行任务量计算具体包括：
[0016]对于未标记为高能耗的节点，查询最近一次分发给各节点的分片数量，并计为Mi；
[0017]将Mi*a作为高能耗节点本次分片任务的派发量；其中，a为第一分配系数，a的取值范围为0＜a＜1；
[0018]对未标记为高能耗的节点，将Mi*b作为本次分片任务的派发量；其中，b为第二分
配系数，b的取值范围为b＞a。
[0019]作为本申请一种可选的实施方式，派发时，取消对高能耗节点的标记，优先选取可被高效处理的高效率分片，避开选取包含热点数据的分片。
[0020]作为本申请一种可选的实施方式，所述进行任务派发具体包括：
[0021]各节点从待下发分片文件中，查询各节点所具有的高效率分片；其中，所述高效率分片为本节点已经加载过数据关键字段的分片文件；
[0022]如果各节点所具有的高效率分片小于对应的派发量，则继续选取其他分片，但需避开选取包含热点数据的分片；
[0023]将选取好的分片下发到对应的节点中。
[0024]作为本申请一种可选的实施方式，所述方法还包括：
[0025]当节点开始进行分片任务的处理后，查看是否还存在未分发的分片文件；若存在，则返回至节点分类步骤进行再次执行。
[0026]第二方面：一种批量文件智能联机处理装置，所述装置包括：
[0027]接收模块，用于接收业务系统下发的批量文件；
[0028]拆分模块，用于根据预先配置的拆分规则对所述批量文件进行拆分，以得到若干分片文件；
[0029]标记模块，用于获取各处理节点的资源占有数据，以此进行节点分类，识别出节点类型；所述节点类型包括被标记的高能耗节点和未标记为高能耗的节点；
[0030]计算模块，用于根据所述资源占有数据进行各节点的任务量计算；
[0031]派发模块，用于：
[0032]根据计算结果对若干分片文件进行任务派发；
[0033]按批量任务的配置规则由各节点处理分片文件。
[0034]作为本申请一种可选的实施方式，所述进行任务量计算具体包括：
[0035]对于未标记为高能耗的节点，查询最近一次分发给各节点的分片数量，并计为Mi；
[0036]将Mi*a作为高能耗节点本次分片任务的派发量；其中，a为第一分配系数，a的取值范围为0＜a＜1；
[0037]对未标记为高能耗的节点，将Mi*b作为本次分片任务的派发量；其中，b为第二分配系数，b的取值范围为b＞a。
[0038]作为本申请一种可选的实施方式，派发时，取消对高能耗节点的标记，优先选取可被高效处理的高效率分片，避开选取包含热点数据的分片。
[0039]作为本申请一种可选的实施方式，所述进行任务派发具体包括：
[0040]各节点从待下发分片文件中，查询各节点所具有的高效率分片；其中，所述高效率分片为本节点已经加载过数据关键字段的分片文件；
[0041]如果各节点所具有的高效率分片小于对应的派发量，则继续选取其他分片，但需避开选取包含热点数据的分片；
[0042]将选取好的分片下发到对应的节点中。
[0043]第三方面：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的方法。
[0044]采用上述技术方案，具有以下优点：本专利技术提出的一种批量文件智能联机处理方法、装置及可存储介质，通过获取各处理节点的资源占有数据，以此进行节点分类，识别出当前批量的高能耗节点并进行标记，以此针对性地得出各节点的任务量，选取可被高效处理的高效率分片，避开选取包含热点数据的分片，以提升批量任务的处理速度；解决了分布式微服务框架下，节点资源利用不充分、不合理所导致的批量任务处理时间长、故障多等问题；从而克服了现有技术中，无法结合节点的实际能力调整联机任务在各节点的分配情况和热点数据的访问问题。
附图说明
[0045]图1是本专利技术实施例所提供的一种批量文件智能联机处理方法的流程图；
[0046]图2是本专利技术实施例所提供的一种批量文件智能联机处理方法的方案架构图；
[0047]图3是本专利技术实施例所提供的一种任务派发量计算的流程图；
[0048]图4是本专利技术实施例所提供的一种任务派发的流程图；
[0049]图5是本专利技术实施例所提供的一种批量文件智能联机处理装置的结构示意图。
具体实施方式
[0050]下面将详细描述本专利技术的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本专利技术。在以下描述中，为了提供对本专利技术的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种批量文件智能联机处理方法，其特征在于，所述方法包括：接收业务系统下发的批量文件；根据预先配置的拆分规则对所述批量文件进行拆分，以得到若干分片文件；获取各处理节点的资源占有数据，以此进行节点分类，识别出节点类型；所述节点类型包括被标记的高能耗节点和未标记为高能耗的节点；根据所述资源占有数据进行各节点的任务量计算；根据计算结果对若干分片文件进行任务派发；按批量任务的配置规则由各节点处理分片文件。2.根据权利要求1所述的一种批量文件智能联机处理方法，其特征在于，所述进行任务量计算具体包括：对于未标记为高能耗的节点，查询最近一次分发给各节点的分片数量，并计为Mi；将Mi*a作为高能耗节点本次分片任务的派发量；其中，a为第一分配系数，a的取值范围为0＜a＜1；对未标记为高能耗的节点，将Mi*b作为本次分片任务的派发量；其中，b为第二分配系数，b的取值范围为b＞a。3.根据权利要求2所述的一种批量文件智能联机处理方法，其特征在于，派发时，取消对高能耗节点的标记，优先选取可被高效处理的高效率分片，避开选取包含热点数据的分片。4.根据权利要求3所述的一种批量文件智能联机处理方法，其特征在于，所述进行任务派发具体包括：各节点从待下发分片文件中，查询各节点所具有的高效率分片；其中，所述高效率分片为本节点已经加载过数据关键字段的分片文件；如果各节点所具有的高效率分片小于对应的派发量，则继续选取其他分片，但需避开选取包含热点数据的分片；将选取好的分片下发到对应的节点中。5.根据权利要求4所述的一种批量文件智能联机处理方法，其特征在于，所述方法还包括：当节点开始进行分片任务的处理后，查看是否还存在未分发的分片文件；若存在，则返回至节点分类步骤进行再次执行。6.一种批量文件智能联机处理装置，其特征在于，所述...
【专利技术属性】
技术研发人员：张俊，邢星，刘金华，刘子煌，单晓晨，
申请(专利权)人：维恩贝特科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。