一种任务分片配置方法及装置、设备、存储介质制造方法及图纸

本发明专利技术实施例公开了一种任务分片配置方法及装置、设备、存储介质，该方法包括任务配置平台通过在注册中心注册，以订阅服务；根据提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片得到子任务，并根据订阅服务的机器的配置信息对子任务进行配置。本发明专利技术实施例基于提供订阅服务的机器的配置信息，对待处理任务进行非均匀分片和配置，以实现按照机器配置来承担任务的目的，达到资源有效合理使用，避免高配机器支援空闲，以及减少低配机器负载较高经常宕机风险，实现分布式任务的动态分配任务的功能。任务的功能。任务的功能。

【技术实现步骤摘要】
一种任务分片配置方法及装置、设备、存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种任务分片配置方法及装置、设备、存储介质。

技术介绍

[0002]在进行大量数据的处理过程中，为了提高效率，可以将一个任务拆分为多个任务分片，由多个服务器同时进行处理。目前，通常基于Elastic
‑
job分布式调度框架和TBSchedule分布式调度框架实现任务分片。
[0003]但是Elastic
‑
job分布式调度框架和TBSchedule分布式调度框架都是基于zookeeper来实现任务调度的高可用和分片，并不能根据机器实际配置情况，进行不均匀分片处理，即不能让高配置机器多承担一些分片项，低配置机器少承担一些分片项。

技术实现思路

[0004]本专利技术实施例期望提供一种任务分片配置方法及装置、设备、存储介质，能够实现不均匀分片处理，按照机器的配置对任务进行配置，达到资源有效合理使用，避免高配机器支援空闲，同时减少低配机器负载较高经常宕机风险。
[0005]本专利技术的技术方案是这样实现的：
[0006]本专利技术实施例提供一种任务分片配置方法，应用于Quartz任务配置平台，包括：
[0007]发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
[0008]接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
[0009]基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；
[0010]基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
[0011]上述方案中，所述基于所述目标地址信息的所述配置信息以及所述预设分片算法，对所述待处理任务分片处理，以得到子任务，包括：
[0012]基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；
[0013]根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
[0014]上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
[0015]若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地
址信息数量的整数倍。
[0016]上述方案中，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
[0017]若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；
[0018]根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
[0019]上述方案中，所述根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：
[0020]根据所述预设分片算法，以及所述目标地址信息的数量、所述第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。
[0021]上述方案中，所述基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果，包括：
[0022]根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
[0023]上述方案中，所述根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果，包括：
[0024]基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所述配置信息，对所述目标地址信息排序，得到排序后的目标地址信息；
[0025]根据所述排序后的目标地址信息，以及所述每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。
[0026]本专利技术实施例提供一种任务分片配置方法，应用于注册中心，包括：
[0027]接收任务配置平台发送的服务消费注册请求；其中，所述服务消费注册请求携带有待处理任务；
[0028]响应于所述服务消息注册请求，根据所述待处理任务，确定任务执行地址信息；其中，所述任务执行地址信息由服务端发送至所述注册中心进行存储；
[0029]基于预设dubbo路由规则，对所述任务执行地址信息过滤，得到目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器，所述目标地址信息为所述服务消息注册请求的响应结果；
[0030]发送所述目标地址信息至所述任务配置平台。
[0031]本专利技术实施例提供一种任务分片配置装置，包括第一接收单元、第一处理单元和第一发送单元，如下：
[0032]所述第一发送单元，用于发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；
[0033]所述第一接收单元，用于接收所述注册中心响应于所述服务消费注册请求发送的
目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；
[0034]所述第一处理单元，用于基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。
[0035]上述方案中，所述第一处理单元，还用于基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；根据所述对比结果以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。
[0036]上述方案中，所述第一处理单元，还用于若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。
[0037]上述方案中，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务分片配置方法，其特征在于，应用于Quartz任务配置平台，包括：发送服务消费注册请求至注册中心；所述服务消费注册请求携带有待处理任务；接收所述注册中心响应于所述服务消费注册请求发送的目标地址信息；其中，目标地址信息表征用于执行所述待处理任务的机器；基于所述目标地址信息的配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务；其中，所述配置信息表征所述机器的中央处理器CPU和内存；基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果；其中，所述任务配置平台通过所述配置结果获得用于处理所述子任务的服务。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标地址信息的所述配置信息以及预设分片算法，对所述待处理任务分片处理，以得到子任务，包括：基于所述目标地址信息中每个目标地址信息的所述配置信息，对所述目标地址信息进行对比，并得到对比结果；根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务。3.根据权利要求2所述的方法，其特征在于，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：若所述对比结果为所述目标地址信息之间不存在配置差异，则根据所述预设分片算法，以及所述目标地址信息的数量，对所述待处理任务分片处理，并得到多个第一子任务；其中，所述多个第一子任务表征所述子任务；所述多个第一子任务的数量为所述目标地址信息数量的整数倍。4.根据权利要求2所述的方法，其特征在于，所述根据所述对比结果以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：若所述对比结果为所述目标地址信息之间存在配置差异，则根据所述每个目标地址信息的所述配置信息，对所述目标地址信息进行划分，并得到至少两组目标地址信息；根据所述至少两组目标地址信息以及预设分片算法，对所述待处理任务分片处理，以得到所述子任务。5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两组目标地址信息以及所述预设分片算法，对所述待处理任务分片处理，以得到所述子任务，包括：根据所述预设分片算法，以及所述目标地址信息的数量、第一目标地址信息中目标地址信息的数量，对所述待处理任务分片处理，并得到多个第二子任务；其中，所述第一目标地址信息为所述至少两组目标地址信息中的任意一组目标地址信息，所述第一目标地址信息中所述每个目标地址信息的所述配置信息均高于所述至少两组目标地址信息中剩余的目标地址信息；所述多个第二子任务表征所述子任务；所述多个第二子任务的数量为所述目标地址信息与所述第一目标地址信息中目标地址信息的数量和。6.根据权利要求1所述的方法，其特征在于，所述基于所述目标地址信息的所述配置信息，对所述子任务进行配置，得到配置结果，包括：根据所述目标地址信息中每个目标地址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标地址信息中每个目标地
址信息的所述配置信息，对所述子任务进行配置，得到所述配置结果，包括：基于预设排序规则，以及所述目标地址信息中所述每个目标地址信息的所...

【专利技术属性】
技术研发人员：丰泽，王晓成，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：