System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 同步任务拆分方法、装置、电子设备和计算机可读介质制造方法及图纸_技高网

同步任务拆分方法、装置、电子设备和计算机可读介质制造方法及图纸

技术编号:40117260 阅读:8 留言:0更新日期:2024-01-23 20:06
本公开的实施例公开了同步任务拆分方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:确定针对数据同步场景的待同步任务信息;对待同步任务信息进行拆分,得到拆分后待同步任务信息集;对于拆分后待同步任务信息集中的每个拆分后待同步任务信息,执行以下处理步骤:对所得到的修改后待执行任务信息组集进行任务状态检测;将任务状态监测的任务状态为执行异常状态对应的至少一个待执行任务信息进行回滚操作,以及将至少一个待执行任务信息中的每个待执行任务信息的任务状态标记为回滚状态;执行对应任务状态为回滚状态的至少一个待执行任务信息。该实施方式减少了执行任务时长,减少了计算机的执行资源浪费。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及同步任务拆分方法、装置、电子设备和计算机可读介质


技术介绍

1、同步任务拆分是将同步任务进行拆分的一种技术。目前,同步任务拆分通常采用的方式为:将数据量庞大的同步任务进行拆解,拆分为多个微小同步任务并行处理。

2、然而,当采用上述方式时,经常会存在如下技术问题:

3、第一,由于同步任务的数据量较大,拆分时容易出错,又因无法定位出错的数据段,往往需要重跑所有任务,使得执行任务时长变长,导致计算机的执行资源浪费。

4、第二,无法根据同步任务的参数信息进行动态调整,造成同步任务进行拆分时可能会出现拆分异常,导致同步任务拆分的周期较长。

5、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了同步任务拆分方法、装置、电子设备和计算机可读介质,来解决以上
技术介绍
部分提到的技术问题中的一项或多项。

3、第一方面,本公开的一些实施例提供了一种同步任务拆分方法,该方法包括:确定针对数据同步场景的待同步任务信息;对上述待同步任务信息进行拆分,得到拆分后待同步任务信息集;对于上述拆分后待同步任务信息集中的每个拆分后待同步任务信息,执行以下处理步骤:对上述拆分后待同步任务信息进行语句解析,得到同步子任务信息组;根据上述同步子任务信息组,生成对应的待执行任务信息组;将上述待执行任务信息组发送至任务池,以供任务调度器进行调取;对于上述待执行任务信息组中的每个待执行任务信息,响应于确定上述任务调度器扫描到待执行任务信息,调用任务执行器以及执行上述待执行任务信息;响应于确定上述待执行任务信息的任务状态为执行结束状态,对上述待执行任务信息的参数信息进行修改,得到修改后待执行任务信息;对所得到的修改后待执行任务信息组集进行任务状态检测;将任务状态监测的任务状态为执行异常状态对应的至少一个待执行任务信息进行回滚操作,以及将上述至少一个待执行任务信息中的每个待执行任务信息的任务状态标记为回滚状态;执行对应任务状态为回滚状态的至少一个待执行任务信息。

4、第二方面,本公开的一些实施例提供了一种同步任务拆分装置,装置包括:确定单元,被配置成确定针对数据同步场景的待同步任务信息;拆分单元,被配置成对上述待同步任务信息进行拆分,得到拆分后待同步任务信息集;第一执行单元,被配置成对于上述拆分后待同步任务信息集中的每个拆分后待同步任务信息,执行以下处理步骤:对上述拆分后待同步任务信息进行语句解析,得到同步子任务信息组;根据上述同步子任务信息组,生成对应的待执行任务信息组;将上述待执行任务信息组发送至任务池,以供任务调度器进行调取;对于上述待执行任务信息组中的每个待执行任务信息,响应于确定上述任务调度器扫描到待执行任务信息,调用任务执行器以及执行上述待执行任务信息;响应于确定上述待执行任务信息的任务状态为执行结束状态,对上述待执行任务信息的参数信息进行修改,得到修改后待执行任务信息;检测单元,被配置成对所得到的修改后待执行任务信息组集进行任务状态检测;回滚单元,被配置成将任务状态监测的任务状态为执行异常状态对应的至少一个待执行任务信息进行回滚操作,以及将上述至少一个待执行任务信息中的每个待执行任务信息的任务状态标记为回滚状态;第二执行单元,被配置成执行对应任务状态为回滚状态的至少一个待执行任务信息。

5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的同步任务拆分方法,减少了执行任务时长,减少了计算机的执行资源浪费。具体来说,造成执行任务时长变长,导致计算机的执行资源浪费的原因在于:由于同步任务的数据量较大,拆分时容易出错,又因无法定位出错的数据段,往往需要重跑所有任务,使得执行任务时长变长,导致计算机的执行资源浪费。基于此,本公开的一些实施例的同步任务拆分方法,首先,确定针对数据同步场景的待同步任务信息。由此,可以得到待同步任务信息以便后续的拆分操作。对上述待同步任务信息进行拆分,得到拆分后待同步任务信息集。由此,可以将待同步任务信息拆分成至少一个拆分后待同步任务信息。之后,对于上述拆分后待同步任务信息集中的每个拆分后待同步任务信息,执行以下处理步骤:对上述拆分后待同步任务信息进行语句解析,得到同步子任务信息组。由此,对上述拆分后待同步任务信息进行语句解析可以使得将上述拆分后待同步任务信息拆分成多个同步子任务信息,避免上述拆分后待同步任务信息因数据量较大造成后续的执行出错。根据上述同步子任务信息组,生成对应的待执行任务信息组。由此,可以将同步子任务信息组中的每个同步子任务信息进行填充,得到待执行任务信息,从而,得到待执行任务信息组。然后,将上述待执行任务信息组发送至任务池,以供任务调度器进行调取。由此,可以利用任务调度器通过任务池调取每个待执行任务信息。对于上述待执行任务信息组中的每个待执行任务信息,响应于确定上述任务调度器扫描到待执行任务信息,调用任务执行器以及执行上述待执行任务信息。由此,可以逐个执行待执行任务信息。响应于确定上述待执行任务信息的任务状态为执行结束状态,对上述待执行任务信息的参数信息进行修改,得到修改后待执行任务信息。由此,可以使得待执行任务信息的参数信息根据待执行任务信息的任务状态进行同步修改。对所得到的修改后待执行任务信息组集进行任务状态检测。由此,可以确定修改后待执行任务信息组集中每个修改后待执行任务信息的任务状态,从而避免后续操作出现错误。将任务状态监测的任务状态为执行异常状态对应的至少一个待执行任务信息进行回滚操作,以及将上述至少一个待执行任务信息中的每个待执行任务信息的任务状态标记为回滚状态。由此,可以将任务状态为执行异常状态对应的至少一个待执行任务信息的操作进行撤回,提高了任务执行成功的概率,减少了执行任务时长。又由于将上述至少一个待执行任务信息中的每个待执行任务信息的任务状态标记为回滚状态,从而可以根据标记的状态定位出错的数据段。最后,执行对应任务状态为回滚状态的至少一个待执行任务信息。由此,可以重新执行出错的数据段。也因为采用了对任务状态为异常状态对应的至少一个待执行任务信息进行回滚操作,从而在待执行任务信息出错时不需要重跑所有任务,只需将待执行任务信息进行回滚本文档来自技高网...

【技术保护点】

1.一种同步任务拆分方法,包括:

2.根据权利要求1所述的方法,其中,所述对所述待同步任务信息进行拆分,得到拆分后待同步任务信息集,包括:

3.根据权利要求1所述的方法,其中,所述对所述拆分后待同步任务信息进行语句解析,得到同步子任务信息组,包括:

4.根据权利要求1所述的方法,其中,所述根据所述同步子任务信息组,生成对应的待执行任务信息组,包括:

5.根据权利要求1所述的方法,其中,所述对所述待执行任务信息的参数信息进行修改,得到修改后待执行任务信息,包括:

6.根据权利要求1所述的方法,其中,在所述对所得到的修改后待执行任务信息组集进行任务状态检测之后,所述方法还包括:

7.一种同步任务拆分装置,包括:

8.一种电子设备,包括:

9.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。

【技术特征摘要】

1.一种同步任务拆分方法,包括:

2.根据权利要求1所述的方法,其中,所述对所述待同步任务信息进行拆分,得到拆分后待同步任务信息集,包括:

3.根据权利要求1所述的方法,其中,所述对所述拆分后待同步任务信息进行语句解析,得到同步子任务信息组,包括:

4.根据权利要求1所述的方法,其中,所述根据所述同步子任务信息组,生成对应的待执行任务信息组,包括:

5.根据权利要求1所述的方...

【专利技术属性】
技术研发人员:仇石廉潘裕权张磊徐长明黄刚杨帆
申请(专利权)人:多点生活成都科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1