【技术实现步骤摘要】
本专利技术涉及任务处理，尤其是一种消息任务的批处理方法、系统、设备及介质。
技术介绍
1、近年来，随着互联网行业的日益发展，各厂商保有的数据量在不断增多，需要批量操作场景越来越多，因此，异步批量处理技术愈发受到各厂商的青睐。
2、目前，现有的单机异步批处理方案通常是以单机串行的方式运行，该种方式的处理速度较慢，处理效率较低；另外，通过单机串行的方式进行异步批处理，其程序代码高度耦合在一起，代码复用性较差；还有，单个批次任务在某个流程步骤执行异常，或者，服务器资源紧张导致停机时，整个批次任务就会中断，进度卡顿，服务稳定性较低。
3、因此，现有技术存在的问题还亟需解决和优化。
技术实现思路
1、本专利技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
2、为此，本专利技术实施例的第一个目的在于提供一种消息任务的批处理方法，该方法可以有效提高批处理任务的处理效率，提高代码复用性和稳定性，有效减少进度卡顿的情况。
3、本申请实施例的第二个目的在于提供一种消息任务的批处理系统。
4、为了达到上述技术目的，本申请实施例所采取的技术方案包括：
5、第一方面，本申请实施例提供了一种消息任务的批处理方法，用于分片生成器，所述批处理方法包括：
6、获取来自业务端的批处理任务；
7、对所述批处理任务进行分片处理，得到若干个分片任务；
8、将若干个所述分片任务传输至消息中间件，以使得所述
9、其中，若干个所述分片任务，划分为所述消息中间件中的若干个类目，确定出若干个所述分片执行器，每个所述分片执行器和一个所述类目对应。
10、另外，根据本申请上述实施例的消息任务的批处理方法，还可以具有以下附加的技术特征：
11、进一步地，在本申请的一个实施例中，所述对所述批处理任务进行分片处理，得到若干个分片任务，包括：
12、获取预设的任务分片规则；
13、根据所述任务分片规则，对所述批处理任务进行异步分片处理，得到若干个中间任务；
14、对若干个所述中间任务进行类目指定处理，得到若干个所述分片任务。
15、进一步地，在本申请的一个实施例中，所述批处理方法还包括：
16、获取预设的补偿规则，以及数据库中的第一分片任务的执行状态；
17、对所述补偿规则和所述第一分片任务的执行状态进行比较处理，得到比较结果；
18、若所述比较结果为是，则将所述第一分片任务重传至所述消息中间件。
19、第二方面，本申请实施例提供了一种消息任务的批处理方法，用于分片执行器，所述批处理方法包括：
20、接收并执行消息中间件并行分发的分片任务；
21、其中，所述分片任务通过以下步骤得到：
22、分片生成器获取来自业务端的批处理任务；
23、所述分片生成器对所述批处理任务进行分片处理，得到若干个所述分片任务；
24、所述分片生成器将若干个所述分片任务传输至所述消息中间件；
25、其中，若干个所述分片任务，划分为所述消息中间件中的若干个类目，确定出若干个所述分片执行器，每个所述分片执行器和一个所述类目对应。
26、进一步地，在本申请的一个实施例中，所述执行消息中间件并行分发的分片任务，包括：
27、对所述分片任务进行锁定处理，得到第二分片任务；
28、执行所述第二分片任务，并根据所述第二分片任务的执行进度更新数据库中的所述第二分片任务的执行状态。
29、进一步地，在本申请的一个实施例中，所述批处理方法还包括：
30、对当前的第二分片任务进行末任判断处理，得到判断结果；
31、若所述判断结果为是，则获取数据库中的所有所述第二分片任务的执行状态；
32、对所有所述第二分片任务的执行状态聚合处理，得到批处理结果。
33、进一步地，在本申请的一个实施例中，所述批处理方法，还包括：
34、获取预设的重试规则，所述重试规则包括重试次数、重试间隔和重试策略；
35、根据所述重试规则，对第三分片任务进行失败重试处理，得到重试结果，所述第三分片任务用于表征当前执行失败的分片任务；
36、若所述重试结果为失败，则移除所述第三分片任务，并根据所述重试结果更新数据库中的所述第三分片任务的执行状态。
37、第三方面，本申请实施例提供了一种消息任务的批处理系统，用于分片生成器，所述分片生成器用于和至少一个分片执行器通信连接，所述系统包括：
38、获取单元，用于获取来自业务端的批处理任务；
39、分片单元，用于对所述批处理任务进行分片处理，得到若干个分片任务；
40、传输单元，用于将若干个所述分片任务传输至消息中间件，以使得所述消息中间件将若干个所述分片任务并行分发至分片执行器中执行；
41、其中，若干个所述分片任务，划分为所述消息中间件中的若干个类目，确定出若干个所述分片执行器，每个所述分片执行器和一个所述类目对应。
42、第四方面，本申请实施例还提供了一种计算机设备，包括：
43、至少一个处理器；
44、至少一个存储器，用于存储至少一个程序；
45、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述方面所述的方法。
46、第五方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现上述方面所述的方法。
47、本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
48、本申请实施例所公开的一种消息任务的批处理方法、系统、设备及介质，其中，该批处理方法通过获取来自业务端的批处理任务；对所述批处理任务进行分片处理，得到若干个分片任务；将若干个所述分片任务传输至消息中间件，以使得所述消息中间件将若干个所述分片任务并行分发至分片执行器中执行；其中，若干个所述分片任务，划分为所述消息中间件中的若干个类目，确定出若干个所述分片执行器，每个所述分片执行器和一个所述类目对应。该批处理方法可以有效提高批处理任务的处理效率，提高代码复用性和稳定性，有效减少进度卡顿的情况。
本文档来自技高网...【技术保护点】
1.一种消息任务的批处理方法，其特征在于，用于分片生成器，所述批处理方法包括：
2.根据权利要求1所述的消息任务的批处理方法，其特征在于，所述对所述批处理任务进行分片处理，得到若干个分片任务，包括：
3.根据权利要求1所述的消息任务的批处理方法，其特征在于，所述批处理方法还包括：
4.一种消息任务的批处理方法，其特征在于，用于分片执行器，所述批处理方法包括：
5.根据权利要求4所述的消息任务的批处理方法，其特征在于，所述执行消息中间件并行分发的分片任务，包括：
6.根据权利要求5所述的消息任务的批处理方法，其特征在于，所述批处理方法还包括：
7.根据权利要求4所述的消息任务的批处理方法，其特征在于，所述批处理方法还包括：
8.一种消息任务的批处理系统，其特征在于，用于分片生成器，所述分片生成器用于和至少一个分片执行器通信连接，所述系统包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序
...【技术特征摘要】
1.一种消息任务的批处理方法，其特征在于，用于分片生成器，所述批处理方法包括：
2.根据权利要求1所述的消息任务的批处理方法，其特征在于，所述对所述批处理任务进行分片处理，得到若干个分片任务，包括：
3.根据权利要求1所述的消息任务的批处理方法，其特征在于，所述批处理方法还包括：
4.一种消息任务的批处理方法，其特征在于，用于分片执行器，所述批处理方法包括：
5.根据权利要求4所述的消息任务的批处理方法，其特征在于，所述执行消息中间件并行分发的分片任务，包括：
6....
【专利技术属性】
技术研发人员：汪宗叶，
申请(专利权)人：广州今之港教育咨询有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。