System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 算力网络的任务处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

算力网络的任务处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40594107 阅读:4 留言:0更新日期:2024-03-12 21:56
本发明专利技术提供一种算力网络的任务处理方法、装置、电子设备及存储介质,涉及计算机技术领域,方法包括:获取算力网络中各算力节点的算力信息,以及各算力节点接收到的各任务的任务信息,算力信息包括各算力节点的计算时率和服务副本数量,任务信息包括各任务需要处理的数据量;将算力信息和任务信息输入预先构建的算力节点调度模型,获得算力节点调度模型输出的算力节点调度策略,算力节点调度策略用于表征实际执行各任务的算力节点;基于算力节点调度策略,将各任务发送至对应的算力节点,以供各算力节点对接收到的任务进行处理。本发明专利技术可以提高算力网络对任务进行处理的效率,以及算力网络的资源利用率。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种算力网络的任务处理方法、装置、电子设备及存储介质


技术介绍

1、算力网络的核心目标是为上层应用任务提供优质高效的按需精准服务。相关技术中,主要通过制定算法与模型,实现物理资源层面上的按需服务。主流的方式包括规则匹配方式,即预先设定系统的资源配置模板和资源匹配规则,接收到任务后,基于模板识别任务所需要的物理资源,查看各个算力节点的剩余算力资源信息,进一步地,根据预设的匹配规则判定是否存在算力节点可以提供任务所需的物理资源,若存在则进行资源调度,若不存在,则任务实现失败。这种方式通过预设的规则实现的按需服务,难以进化,灵活性差,对不同应用的适应力也差,算力节点的总体资源利用率较低,其中算力节点是指算力网络中具备计算、存储、传输能力的物理服务器。

2、另一种实现网络资源层面的按需服务方式是负载均衡算法,目前,根据应用场景不同以及设备异构性,衍生了多种负载均衡算法,包括轮询机制(round robin)、加权轮询机制(weighted round robin)、最少连接数机制(least connections)和源地址哈希(source ip hash)等方式。负载均衡的按需服务方法可以实现物理资源的均衡利用,但是对于所有应用均采取相同的作业模式,难以兼顾到应用任务的个性化需求。并且,相关技术多将任务的产生模式假设为某一概率分布,例如泊松分布和指数分布等。但实际应用中,任务的产生模式非常随机,难以建模。

3、因此,在按需服务的匹配规则和任务的产生模式未知的情况下,如何提升算力网络对任务进行处理的效率,并提升算力网络的资源利用率,成为业界亟待解决的技术问题。


技术实现思路

1、针对现有技术存在的问题,本专利技术提供一种算力网络的任务处理方法、装置、电子设备及存储介质。

2、第一方面,本专利技术提供一种算力网络的任务处理方法,包括:

3、获取算力网络中各算力节点的算力信息,以及各所述算力节点接收到的各任务的任务信息,所述算力信息包括各所述算力节点的计算时率和服务副本数量,所述任务信息包括各所述任务需要处理的数据量;

4、将所述算力信息和所述任务信息输入预先构建的算力节点调度模型,获得所述算力节点调度模型输出的算力节点调度策略,所述算力节点调度策略用于表征实际执行各所述任务的算力节点;

5、基于所述算力节点调度策略,将各所述任务发送至对应的算力节点,以供各所述算力节点对接收到的任务进行处理。

6、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述算力节点调度模型包括第一神经网络、第二神经网络和第三神经网络;

7、所述第一神经网络用于:基于算力网络中各所述算力节点的算力信息,获得各所述算力节点的第一算力特征向量;

8、所述第二神经网络用于:基于算力网络中各所述算力节点接收到的各任务的任务信息,获得各所述任务的第一任务特征向量;

9、所述第三神经网络用于:基于各所述算力节点的第一算力特征向量,以及各所述任务的第一任务特征向量,获得所述算力节点调度策略。

10、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述第一神经网络还用于:基于算力网络中各所述算力节点的第一算力特征向量,获得所述算力网络的全局算力特征向量;

11、所述第二神经网络还用于:基于算力网络中各算力节点接收到的各所述任务的第一任务特征向量,获得所述算力网络的全局任务特征向量;

12、所述第三神经网络具体用于:基于各所述算力节点的第一算力特征向量、各所述算力节点接收到的各所述任务的第一任务特征向量、所述全局算力特征向量和所述全局任务特征向量,获得所述算力节点调度策略。

13、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述基于算力网络中各所述算力节点的算力信息,获得各所述算力节点的第一算力特征向量,包括:

14、对算力网络中各所述算力节点的算力信息进行特征提取,得到各所述算力节点的第二算力特征向量;

15、基于待分析算力节点的所述第二算力特征向量,以及算力网络中各所述算力节点的所述第二算力特征向量,确定所述待分析算力节点和各所述算力节点之间的第一关联系数;所述待分析算力节点是所述算力网络中所有算力节点中任意一个;

16、基于所述待分析算力节点和各所述算力节点之间的所述第一关联系数,确定各所述算力节点对于所述待分析算力节点的第一重要性系数;

17、基于所述待分析算力节点的所述第二算力特征向量、各所述算力节点的所述第二算力特征向量、以及各所述算力节点对于所述待分析算力节点的第一重要性系数,确定所述待分析算力节点的所述第一算力特征向量。

18、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述基于算力网络中各所述算力节点接收到的各任务的任务信息,获得各所述任务的第一任务特征向量,包括:

19、对各所述任务的任务信息进行特征提取,得到各所述任务的第二任务特征向量;

20、基于待分析任务的所述第二任务特征向量,以及各所述任务的所述第二任务特征向量,确定所述待分析任务和各所述任务之间的第二关联系数;所述待分析任务是所述算力网络中所有算力节点接收到的所有任务中任意一个;

21、基于所述待分析任务和各所述任务之间的第二关联系数,确定各所述任务对于所述待分析任务的第二重要性系数;

22、基于所述待分析任务的所述第二任务特征向量、各所述任务的所述第二任务特征向量、以及各所述任务对于所述待分析任务的第二重要性系数,确定所述待分析任务的所述第一任务特征向量。

23、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述基于各所述算力节点的第一算力特征向量、各所述算力节点接收到的各所述任务的第一任务特征向量、所述全局算力特征向量和所述全局任务特征向量,获得所述算力节点调度策略,包括:

24、分别基于各所述任务的第一任务特征向量、所述全局算力特征向量和所述全局任务特征向量,确定各所述任务的第三任务特征向量;

25、基于各所述任务的所述第三任务特征向量,确定所述算力网络的全局显著任务特征向量;

26、分别基于各所述算力节点的第一算力特征向量、所述全局显著任务特征向量和所述全局算力特征向量,确定各所述算力节点的第三算力特征向量;

27、基于各所述算力节点的所述第三算力特征向量,以及各所述任务的所述第三任务特征向量,确定所述算力节点调度策略。

28、可选地,根据本专利技术提供的一种算力网络的任务处理方法,所述基于各所述算力节点的所述第三算力特征向量,以及各所述任务的所述第三任务特征向量,确定所述算力节点调度策略,包括:

29、基于各所述算力节点的所述第三算力特征向量,以及各所述任务的所述第三任务特征向量,确定各所述算力节点对各所述任务的关注度;

30、基于各所述算力节点对各所述任务的关本文档来自技高网...

【技术保护点】

1.一种算力网络的任务处理方法,其特征在于,包括:

2.根据权利要求1所述的算力网络的任务处理方法,其特征在于,所述算力节点调度模型包括第一神经网络、第二神经网络和第三神经网络;

3.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述第一神经网络还用于:基于算力网络中各所述算力节点的第一算力特征向量,获得所述算力网络的全局算力特征向量;

4.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述基于算力网络中各所述算力节点的算力信息,获得各所述算力节点的第一算力特征向量,包括:

5.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述基于算力网络中各所述算力节点接收到的各任务的任务信息,获得各所述任务的第一任务特征向量,包括:

6.根据权利要求3所述的算力网络的任务处理方法,其特征在于,所述基于各所述算力节点的第一算力特征向量、各所述算力节点接收到的各所述任务的第一任务特征向量、所述全局算力特征向量和所述全局任务特征向量,获得所述算力节点调度策略,包括:

7.根据权利要求6所述的算力网络的任务处理方法,其特征在于,所述基于各所述算力节点的所述第三算力特征向量,以及各所述任务的所述第三任务特征向量,确定所述算力节点调度策略,包括:

8.根据权利要求1所述的算力网络的任务处理方法,其特征在于,所述算力节点调度模型是基于目标损失函数训练得到的,所述目标损失函数的表达式为:

9.根据权利要求1所述的算力网络的任务处理方法,其特征在于,所述算力信息还包括各所述算力节点的地理位置信息,所述任务信息还包括各所述任务的源算力节点的地理位置信息。

10.一种算力网络的任务处理装置,其特征在于,包括:

11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任一项所述算力网络的任务处理方法。

12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述算力网络的任务处理方法。

...

【技术特征摘要】

1.一种算力网络的任务处理方法,其特征在于,包括:

2.根据权利要求1所述的算力网络的任务处理方法,其特征在于,所述算力节点调度模型包括第一神经网络、第二神经网络和第三神经网络;

3.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述第一神经网络还用于:基于算力网络中各所述算力节点的第一算力特征向量,获得所述算力网络的全局算力特征向量;

4.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述基于算力网络中各所述算力节点的算力信息,获得各所述算力节点的第一算力特征向量,包括:

5.根据权利要求2所述的算力网络的任务处理方法,其特征在于,所述基于算力网络中各所述算力节点接收到的各任务的任务信息,获得各所述任务的第一任务特征向量,包括:

6.根据权利要求3所述的算力网络的任务处理方法,其特征在于,所述基于各所述算力节点的第一算力特征向量、各所述算力节点接收到的各所述任务的第一任务特征向量、所述全局算力特征向量和所述全局任务特征向量,获得所述算力节点调度策略,包括:...

【专利技术属性】
技术研发人员:胡玉姣贾庆民周晓茂马千飘谢人超
申请(专利权)人:网络通信与安全紫金山实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1