高可用集群架构人工智能实验云平台数据处理方法及系统技术方案

技术编号:37708924 阅读:37 留言:0更新日期:2023-06-01 23:59
本申请涉及云平台技术,提供了高可用集群架构人工智能实验云平台数据处理方法及系统,人工智能云平台包括多个主节点和多个从节点,目标从节点若接收到目标主节点发送的实验工作任务部署指令,则根据所实验工作任务部署指令对应创建目标容器;目标从节点若接收到用户终端的访问请求并通过验证,将目标容器对应的目标容器实例与用户终端连接;目标从节点接收用户终端的目标操作数据,将目标操作数据存储至目标容器对应的键值数据库;目标从节点若接收到容器操作指令,则根据容器操作指令对应创建或删除容器。实现了在云平台中能基于云端进行人工智能相关实验任务的处理,而且能随时对集群增加或删减节点,提高集群的高可用性和负载能力。载能力。载能力。

【技术实现步骤摘要】
高可用集群架构人工智能实验云平台数据处理方法及系统


[0001]本申请涉及云平台
,尤其涉及一种高可用集群架构人工智能实验云平台数据处理方法及系统。

技术介绍

[0002]目前,企业或高校在进行人工智能相关实验时,出现了部分采用实验平台集群的解决方式,即将人工智能相关实验数据放在云平台的集群上进行云端实验任务。但是目前的云平台集群中往往不能随时对集群增加或删减节点,这就导致人工智能相关实验面对的操作人员数量受限,不能处理多规模人员参与的云端实验任务处理。而且现有云平台的集群中在遇到断电等异常故障,也无法自动保存实验数据,数据存在较大的安全风险。

技术实现思路

[0003]本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理方法及系统,旨在解决现有技术中进行人工智能相关实验使用的云平台集群中往往不能随时对集群增加或删减节点,这就导致人工智能相关实验面对的操作人员数量受限,只能开展少量人员参与的人工智能相关实验的问题。
[0004]第一方面,本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理方法,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高可用集群架构人工智能实验云平台数据处理方法,应用于人工智能实验云平台,其特征在于,所述人工智能云平台包括多个主节点和多个从节点,所述多个主节点和所述多个从节点均通讯连接;所述方法包括:目标从节点若接收到目标主节点发送的实验工作任务部署指令,则根据所实验工作任务部署指令对应创建目标容器;其中,所述目标从节点为所述多个从节点中任意一个从节点,所述目标主节点为所述多个主节点中当前为活跃状态的主节点;目标从节点若接收到用户终端的访问请求并通过验证,将所述目标容器对应的目标容器实例与所述用户终端连接;目标从节点接收所述用户终端的目标操作数据,将所述目标操作数据存储至所述目标容器对应的键值数据库;目标主节点发送容器操作指令至目标从节点;目标从节点若接收到所述容器操作指令,则根据所述容器操作指令对应创建或删除容器。2.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法,其特征在于,所述根据所实验工作任务部署指令对应创建目标容器,包括:若所述实验工作任务部署指令为统一实验任务部署指令,则所述目标从节点获取与所述统一实验任务部署指令对应的第一目标镜像资源、GPU资源和数据存储卷路径,所述目标从节点根据所述统一实验任务部署指令对应的第一目标镜像资源、GPU资源和数据存储卷路径对应创建目标容器;若所述实验工作任务部署指令为个性化容器部署指令,则所述目标从节点获取与所述个性化容器部署指令对应的第二目标镜像资源,所述目标从节点根据所述个性化容器部署指令对应的第二目标镜像资源以及预先存储的数据存储卷路径对应创建目标容器。3.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法,其特征在于,所述目标从节点若接收到目标主节点发送的实验工作任务部署指令,则根据所实验工作任务部署指令对应创建目标容器之前,还包括:目标主节点中的接口模块与目标从节点的Kubelet代理组件建立通讯连接。4.根据权利要求3所述的高可用集群架构人工智能实验云平台数据处理方法,其特征在于,所述目标主节点中的接口模块与目标从节点的Kubelet代理组件建立通讯连接,包括:目标主节点的Keepalived组件通过虚拟路由冗余协议自动配置人工智能实验云平台的虚拟IP地址;目标主节点的接口模块基于所述虚拟IP地址与目标从节点的Kubelet代理组件块建立通讯连接。5.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法,其特征在于,所述目标从节点接收所述用户终端的目标操作数据,将所述目标操作数据存储至所述目标容器对应的键值数据库之后,还包括...

【专利技术属性】
技术研发人员:贾子琪杨浩朱世冲古超周楚亚张强张腾飞陈连山
申请(专利权)人:南阳理工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1