System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 容器智能调度方法、智能计算云操作系统以及计算平台技术方案_技高网

容器智能调度方法、智能计算云操作系统以及计算平台技术方案

技术编号:41289762 阅读:10 留言:0更新日期:2024-05-11 09:39
本申请提供了一种容器智能调度方法、智能计算云操作系统及计算平台,应用于计算平台的服务器,包括:在计算平台存在待运行的任务信息时,获取多个预设容器的第一运行信息;根据任务目标构建目标函数,将目标函数和运行数据输入至预设的优化模型,优化模型分别用于计算运行数据在多个预设容器中运行的目标函数的值;根据多个目标函数的值在多个预设容器中确定目标容器;将目标容器对应的第一运行信息和运行数据输入至预设的调度模型,调度模型输出目标容器对应的调度信息;根据调度信息控制目标容器运行待运行的任务信息对应的运行数据。满足了复杂任务下的容器调度需求,提升了容器集群的性能和资源利用率。

【技术实现步骤摘要】

本申请属于数据处理领域,尤其涉及一种容器智能调度方法、智能计算云操作系统及计算平台。


技术介绍

1、当下随着人工智能的飞速发展,功能各异的智能计算平台不断涌现。其中智能计算云操作系统能够实现对超算平台硬件与软件资源的控制与管理。平台系统需要支持丰富的系统软件,以解决运行应用类型单一、资源利用率低的问题。

2、由于智能计算云操作系统主要用于运行各类存储在容器中的深度学习模型,通过容器封装应用资源实现资源隔离和环境隔离,支持应用跨节点迁移和高性能计算,提供容器镜像仓库和资源调度系统,实现快速部署和弹性扩展。容器化部署能够自适应应用需求,实现秒级部署和启动,节省时间和人力成本。

3、目前,容器调度主要依赖于容器编排工具,如kubernetes、docker swarm等。这些工具通过集成的资源调度系统来管理和调度容器在集群中的运行位置。它们根据容器的资源需求、负载情况等动态调整容器的位置,以实现最优的资源利用和负载均衡。这些现有的容器调度方式基本上是静态规则和基于策略的调度方法,无法满足复杂任务下的容器调度需求,导致容器集群的性能和资源利用率较低。


技术实现思路

1、本申请实施例提供了一种容器智能调度方法、智能计算云操作系统及计算平台,可以解决现有的容器调度方式基本上是静态规则和基于策略的调度方法,无法满足复杂任务下的容器调度需求,导致容器集群的性能和资源利用率较低。

2、第一方面,本申请实施例提供了一种容器智能调度方法,应用于计算平台的服务器,所述计算平台还包括计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;所述方法包括:

3、在所述计算平台存在待运行的任务信息时,获取多个所述预设容器的第一运行信息;其中,待运行的所述任务信息包括任务目标和运行数据;

4、根据所述任务目标构建目标函数,将所述目标函数和所述运行数据输入至预设的优化模型,所述优化模型分别用于计算所述运行数据在多个所述预设容器中运行的所述目标函数的值;

5、根据多个所述目标函数的值在多个所述预设容器中确定目标容器;

6、将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型,所述调度模型输出所述目标容器对应的调度信息;

7、根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据。

8、在一些实施例中,所述根据所述任务目标构建目标函数,包括:对所述任务目标进行特征提取,获取所述任务目标对应的目标特征信息;对所述目标特征信息进行编码,获取所述目标特征信息对应的目标编码信息;根据所述目标编码信息构建所述目标函数。

9、在一些实施例中,所述优化模型包括多个强化学习模型,每个强化学习模型对应一个所述预设容器;所述将所述目标函数和所述运行数据输入至预设的优化模型,包括:将所述目标函数和所述运行数据输入至多个所述强化学习模型,所述强化学习模型用于在对应的所述预设容器中运行所述运行数据,生成运行结果信息,并根据所述运行结果信息计算所述目标函数的值。

10、示例性的,所述第一运行信息包括所述预设容器对应的第一存储空间信息;在所述将所述目标函数和所述运行数据输入至预设的优化模型之前,还包括:根据所述容器类型构建运行环境;根据所述运行环境构建待优化的所述强化学习模型;将所述目标函数和所述运行数据输入至待训练的所述强化学习模型,所述强化学习模型用于在多个所述运行环境中分别运行所述运行数据,生成预测结果信息;所述预测结果信息包括所述预设容器对应的第二存储空间信息;根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息;根据根据所述奖励信息完成对所述强化学习模型的优化。

11、示例性的,所述根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息,包括:根据所述第一存储空间信息和所述第二存储空间信息计算存储空间变化信息;基于预设奖励公式,根据所述存储空间变化信息确定出所述奖励信息;所述预设奖励公式的表达式为:

12、;

13、;

14、式中为所述奖励信息的值,为所述存储空间变化信息,为所述第一存储空间信息,为所述第二存储空间信息,为完成任务的时间,为预设的最长允许时间,为任务完成度的量化评分,和分别表示人工智能处理器卡 mlu和内存的额外消耗量,和分别表示不同的权重系数。

15、示例性的,所述根据根据所述奖励信息完成对所述强化学习模型的优化,包括:采用预设优化算法根据所述奖励信息完成对所述强化信息模型的优化,其中,所述预设优化算法包括角色评分算法、深度确定性策略梯度算法、信赖域策略优化算法和近似策略优化算法的任一项。

16、在一些实施例中,所述第一运行信息包括所述目标容器当前执行的任务的第一任务等级,待运行的所述任务信息还包括所述任务信息对应的第二任务等级;所述将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型,所述调度模型输出所述目标容器对应的调度信息,包括:当所述第一任务等级小于或等于所述第二任务等级时,将多个所述第一运行信息和所述运行数据输入至所述调度模型,以使得所述调度模型根据所述第一运行信息在多个所述预设容器中确定空闲容器,并输出第一调度指令和第二调度指令,所述第一调度指令用于将所述目标容器当前执行的任务转移至所述空闲容器中执行,所述第二调度指令用于控制所述目标容器运行所述运行数据;当所述第一任务等级大于所述第二任务等级时,将所述目标容器的第一运行信息和所述运行数据输入至所述调度模型,以使得所述调度模型输出第三调度指令,所述第三调度指令用于控制所述目标容器在执行完成当前的任务后运行所述运行数据。

17、在一些实施例中,在所述根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据之后,还包括:获取多个所述预设容器的第二运行信息;将多个所述第二运行信息输入至所述调度模型,所述调度模型输出多个所述预设容器对应的调度信息。

18、第二方面,本申请实施例提供了一种智能计算云操作系统,应用于计算平台的服务器,所述计算平台还包括计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;所述系统包括:

19、获取模块,用于在所述计算平台存在待运行的任务信息时,获取多个所述预设容器的第一运行信息;其中,待运行的所述任务信息包括任务目标和运行数据;

20、计算模块,用于根据所述任务目标构建目标函数,将所述目标函数和所述运行数据输入至预设的优化模型,所述优化模型分别用于计算所述运行数据在多个所述预设容器中运行的所述目标函数的值;

21、确定模块,用于根据多个所述目标函数的值在多个所述预设容器中确定目标容器;

22、调度模块,用于将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型,所述调度模型输出所述目标容器对应的调度信息;

<本文档来自技高网...

【技术保护点】

1.一种容器智能调度方法,其特征在于,应用于计算平台的服务器,所述计算平台还包括计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述任务目标构建目标函数,包括:

3.根据权利要求1所述的方法,其特征在于,所述优化模型包括多个强化学习模型,每个强化学习模型对应一个所述预设容器;所述将所述目标函数和所述运行数据输入至预设的优化模型,包括:

4.根据权利要求3所述的方法,其特征在于,所述第一运行信息包括所述预设容器对应的第一存储空间信息;在所述将所述目标函数和所述运行数据输入至预设的优化模型之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据根据所述奖励信息完成对所述强化学习模型的优化,包括:采用预设优化算法根据所述奖励信息完成对所述强化信息模型的优化,其中,所述预设优化算法包括角色评分算法、深度确定性策略梯度算法、信赖域策略优化算法和近似策略优化算法的任一项。

7.根据权利要求1所述的方法,其特征在于,所述第一运行信息包括所述目标容器当前执行的任务的第一任务等级,待运行的所述任务信息还包括所述任务信息对应的第二任务等级;所述将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型,所述调度模型输出所述目标容器对应的调度信息,包括:

8.根据权利要求1所述的方法,其特征在于,在所述根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据之后,还包括:

9.一种智能计算云操作系统,其特征在于,应用于计算平台的服务器,所述计算平台还包括计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;所述系统包括:

10.一种计算平台,其特征在于,包括服务器和计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;

...

【技术特征摘要】

1.一种容器智能调度方法,其特征在于,应用于计算平台的服务器,所述计算平台还包括计算机设备,所述服务器与所述计算机设备通信连接,所述计算机设备搭载的操作系统内设置有多个预设容器;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述任务目标构建目标函数,包括:

3.根据权利要求1所述的方法,其特征在于,所述优化模型包括多个强化学习模型,每个强化学习模型对应一个所述预设容器;所述将所述目标函数和所述运行数据输入至预设的优化模型,包括:

4.根据权利要求3所述的方法,其特征在于,所述第一运行信息包括所述预设容器对应的第一存储空间信息;在所述将所述目标函数和所述运行数据输入至预设的优化模型之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据根据所述奖励信息完成对所述强化学习模型的优化,包括:采用预设优化算法根据所述奖励信息完成对所述强化...

【专利技术属性】
技术研发人员:邓练兵
申请(专利权)人:广东琴智科技研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1