数据处理方法、装置、调度服务器及介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、调度服务器及介质，所述方法包括：接收终端发送的待处理任务，若待处理任务满足预设拆分条件，则根据目标拆分策略对待处理任务进行拆分处理，得到至少一个子任务，为每个子任务添加标识，并将添加标识后的每个子任务发送至对应的执行服务器，接收每个子任务对应的执行服务器返回的处理结果，并根据标识对每个子任务对应的执行服务器返回的处理结果进行合并处理，得到针对待处理任务的目标处理结果。通过实施上述方法，可以对数据进行拆分处理，提升对于数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、调度服务器及介质
本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置、调度服务器及介质。
技术介绍
随着计算机技术的发展，计算机可以用于处理多种类的任务，但随着计算机性能提升的同时，任务的复杂度也与日俱增，因此可以采用计算机集群对任务进行处理，对于一个庞大的聚合任务来说，直接将整个聚合任务一次性发布到计算机集群中，瞬间会占用大量资源，导致资源峰值，影响同时使用同个计算资源的其他任务，出现资源争抢，严重情况会导致计算机集群宕机，在任务管理上由于任务粒度更大，不能更灵活更细粒度地管理任务，以便回收任务占用的资源。这种聚合任务会导致一个超级庞大的聚合脚本，从而导致后续的脚本维护成本剧增，后续有新的业务统计逻辑，或者要变更原有计算逻辑，修改如此庞大的脚本会更容易出现问题，不满足软件设计的开闭原则，因此，如何提升针对占用资源较大的聚合任务的处理效率，成为亟待解决的问题。
技术实现思路
本专利技术实施例提供了一种数据处理方法、装置、调度服务器及介质，可以对数据进行拆分处理，提升对于数据处理的效率。<本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n接收终端发送的待处理任务；/n若所述待处理任务满足预设拆分条件，则根据目标拆分策略对所述待处理任务进行拆分处理，得到至少一个子任务，所述目标拆分策略用于确定针对所述待处理任务的目标拆分节点以及拆分处理得到的每个子任务与用于任务处理的执行服务器之间的对应关系；/n为所述每个子任务添加标识，并将添加标识后的所述每个子任务发送至对应的执行服务器，以使得所述每个子任务对应的执行服务器对所述各个子任务进行处理；/n接收所述每个子任务对应的执行服务器返回的处理结果，所述每个子任务对应的执行服务器返回的处理结果中含有所述标识；/n根据所述标识对所述每个子任...

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
接收终端发送的待处理任务；
若所述待处理任务满足预设拆分条件，则根据目标拆分策略对所述待处理任务进行拆分处理，得到至少一个子任务，所述目标拆分策略用于确定针对所述待处理任务的目标拆分节点以及拆分处理得到的每个子任务与用于任务处理的执行服务器之间的对应关系；
为所述每个子任务添加标识，并将添加标识后的所述每个子任务发送至对应的执行服务器，以使得所述每个子任务对应的执行服务器对所述各个子任务进行处理；
接收所述每个子任务对应的执行服务器返回的处理结果，所述每个子任务对应的执行服务器返回的处理结果中含有所述标识；
根据所述标识对所述每个子任务对应的执行服务器返回的处理结果进行合并处理，得到针对所述待处理任务的目标处理结果。


2.根据权利要求1所述的方法，其特征在于，所述接收终端发送的待处理任务之后，所述方法还包括：
获取所述待处理任务中的可拆分节点以及用于任务处理的执行服务器的信息，所述信息包括数量和剩余负载量，所述可拆分节点包括所述待处理任务中不同处理模块之间的连接点；
根据所述可拆分节点和所述执行服务器的信息确定所述目标拆分策略。


3.根据权利要求2所述的方法，其特征在于，所述可拆分节点的数量为K，所述用于任务处理的执行服务器的数量为M，所述K和M为正整数，所述根据所述可拆分节点和所述执行服务器的信息确定所述目标拆分策略，包括：
若所述执行服务器的数量M大于或等于所述可拆分节点的数量K，则将所述K个可拆分节点确定为针对所述待处理任务的目标拆分节点，所述K个可拆分节点用于将所述待处理任务拆分为K个子任务；
从所述M个执行服务器中选取出剩余负载量最大的K个执行服务器作为目标执行服务器；
根据任务量与剩余负载量匹配的原则建立所述K个子任务与所述K个目标执行服务器之间的对应关系。


4.根据权利要求3所述的方法，其特征在于，所述根据任务量与剩余负载量匹配的原则建立所述K个子任务与所述K个目标执行服务器之间的对应关系，包括：
获取所述K个子任务中每个子任务的任务量以及所述K个目标执行服务器中每个执行服务器的剩余负载量；
按照任务量由大到小顺序对所述K个子任务进行排序，得到第一序列集；
按照剩余负载量由大到小顺序对所述K个目标执行服务器进行排序，得到第二序列集；
将所述第一序列集中排序为第I位的子任务与所述第二序列集中排序为第I位的执行服务器相对应，所述I为正整数。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述执行服务器的数量M小于所述可拆分节点的数量K，则从所述K个可拆分节点中选取M个可拆分节点作为目标拆分节点，所述M个可拆分节点用于将所述待处理任务拆分为M个子任务；
确定所述M个可拆分节点中每个可拆分节点对应的子任务的任务量以及所述M个执行服务器中每个执行服务器的剩余负载量；
根据任务量与剩余负载量匹配的原则建立所述M个子任务与所述M个执行服务器之间的对应关系。

【专利技术属性】
技术研发人员：蔡高年，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44