任务调度方法、装置、系统、服务器及存储介质制造方法及图纸

技术编号:41485605 阅读:12 留言:0更新日期:2024-05-30 14:33
本发明专利技术实施例提供了一种任务调度方法、装置、系统、服务器及存储介质,该方法包括:首先根据分布式数据协同处理工作流任务所包含的子任务,构建分布式数据协同处理工作流任务对应的有向无环图模型;然后根据有向无环图模型,对子任务进行并行化划分,确定分布式数据协同处理工作流任务的执行调度序列并放入待调度的工作流队列中;最后结合预设的深度强化学习算法,将子任务进行分配。利用该方法,将分布式数据协同处理工作流任务进行并行化划分,提高了任务调度的效率;在进行调度时利用深度强化学习算法,强化学习算法带有时间优化和负载均衡约束,实现了负载均衡,保证了整个系统的稳定性和高效性。

【技术实现步骤摘要】

本专利技术涉及分布式图数据库,尤其涉及一种任务调度方法、装置、系统、服务器及存储介质


技术介绍

1、尽管传统数据库技术长久以来为各种应用提供了稳固的支持,但在处理超大规模的数据时,其局限性逐渐显现。这些局限主要体现在数据存储的瓶颈、查询效率的降低,以及在需要高实时性、低延时和高计算效率的场景中的性能瓶颈。尤其是在处理复杂的拓扑结构和关系查询时,传统数据库技术的性能限制更为突出。

2、相较于此,图数据库技术的兴起为处理大规模数据带来了新的可能性。图数据库的优点在于其直观且高效的结构化数据表达方式,使得它能轻松处理和查询复杂的关系数据。更进一步,得益于其卓越的关联数据处理能力,图数据库在处理复杂的拓扑结构和关系查询时,展示出了无可比拟的优势。分布式图数据库不仅继承了图数据库在处理复杂关系查询方面的优点,而且提供了处理大规模数据时所需的可扩展性、性能优化、高可用性和容错能力。它因此成为了处理大规模数据的理想选择。

3、然而,即便是分布式图数据库,在处理超大规模的数据存储或者修改时,也会遇到一些挑战,如现有任务分配方式存在分布式图数据库的本文档来自技高网...

【技术保护点】

1.一种任务调度方法,其特征在于,应用于分布式图数据库的中心节点,所述中心节点与至少一个分布式图数据库的分布式节点通信连接,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述分布式数据协同处理工作流任务所包含的子任务,构建所述分布式数据协同处理工作流任务对应的有向无环图模型,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述有向无环图模型,对所述子任务进行并行化划分,获得所述分布式数据协同处理工作流任务的执行调度序列,包括:

4.根据权利要求1所述的方法,其特征在于,所述依次获取所述工作流队列中分布式数据协同处理工作流任...

【技术特征摘要】

1.一种任务调度方法,其特征在于,应用于分布式图数据库的中心节点,所述中心节点与至少一个分布式图数据库的分布式节点通信连接,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述分布式数据协同处理工作流任务所包含的子任务,构建所述分布式数据协同处理工作流任务对应的有向无环图模型,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述有向无环图模型,对所述子任务进行并行化划分,获得所述分布式数据协同处理工作流任务的执行调度序列,包括:

4.根据权利要求1所述的方法,其特征在于,所述依次获取所述工作流队列中分布式数据协同处理工作流任务作为待调度分布式数据协同处理工作流任务,并根据所述待调度分布式数据协同处理工作流任务的执行调度序列,结合预设的深度强化学习算法,将所述子任务分配到对应的目标分布式节点上以使所述目标分布式节点执行所述子任务,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述当前调度分布式数据协同处理工作流任务的执行调度序列,结合预设的深度强化学习算法,从所述分布式节点中确定出所述子任务对应的目标分布式节点,并将所述子任务分配到所述目标分布式节点上以使所述目标分布式节点执行所述子任务,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述深度强化学习算法,从所述分布式节点中确定出所述子任务对应的目标分布式节点,包括:

7.根据权利要求6所述的方法,其特征在于,所述构建所述当前任务阶段的当前调度任务的状态空间和动作空间,并初始化深度神经网络以及奖励函数,包括:

8.根据权利要求7所述的方法,其特征在于,所述奖励函数表示为:

9.根据权利要求8所述的方法,其特征在于,所述所有分布式数据协同处理工作流任务的最大完工时间的确定步骤,包括:

10.根据权利要求8所述的方法,其特征在于,所述各分布式数据协同处理工作流任务的平均响应时间的确定步骤,包括:

11.根据权利要求1所述的方法,其特征在于,所述分布式数据协同处理工作流任务包括分布式数据存储任务或者分布式数据修改任务...

【专利技术属性】
技术研发人员:朱红王文帝张伟胡子健蒋承伶孙凯刘少君
申请(专利权)人:国网江苏省电力有限公司南京供电分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1