高可用集群架构人工智能实验云平台数据处理方法及系统技术方案

本申请涉及云平台技术，提供了高可用集群架构人工智能实验云平台数据处理方法及系统，人工智能云平台包括多个主节点和多个从节点，目标从节点若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器；目标从节点若接收到用户终端的访问请求并通过验证，将目标容器对应的目标容器实例与用户终端连接；目标从节点接收用户终端的目标操作数据，将目标操作数据存储至目标容器对应的键值数据库；目标从节点若接收到容器操作指令，则根据容器操作指令对应创建或删除容器。实现了在云平台中能基于云端进行人工智能相关实验任务的处理，而且能随时对集群增加或删减节点，提高集群的高可用性和负载能力。载能力。载能力。

【技术实现步骤摘要】
高可用集群架构人工智能实验云平台数据处理方法及系统


[0001]本申请涉及云平台
，尤其涉及一种高可用集群架构人工智能实验云平台数据处理方法及系统。

技术介绍

[0002]目前，企业或高校在进行人工智能相关实验时，出现了部分采用实验平台集群的解决方式，即将人工智能相关实验数据放在云平台的集群上进行云端实验任务。但是目前的云平台集群中往往不能随时对集群增加或删减节点，这就导致人工智能相关实验面对的操作人员数量受限，不能处理多规模人员参与的云端实验任务处理。而且现有云平台的集群中在遇到断电等异常故障，也无法自动保存实验数据，数据存在较大的安全风险。

技术实现思路

[0003]本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理方法及系统，旨在解决现有技术中进行人工智能相关实验使用的云平台集群中往往不能随时对集群增加或删减节点，这就导致人工智能相关实验面对的操作人员数量受限，只能开展少量人员参与的人工智能相关实验的问题。
[0004]第一方面，本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理方法，应用于人工智能实验云平台，所述人工智能云平台包括多个主节点和多个从节点，所述多个主节点和所述多个从节点均通讯连接；所述方法包括：
[0005]目标从节点若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器；其中，所述目标从节点为所述多个从节点中任意一个从节点，所述目标主节点为所述多个主节点中当前为活跃状态的主节点；
[0006]目标从节点若接收到用户终端的访问请求并通过验证，将所述目标容器对应的目标容器实例与所述用户终端连接；
[0007]目标从节点接收所述用户终端的目标操作数据，将所述目标操作数据存储至所述目标容器对应的键值数据库；
[0008]目标主节点发送容器操作指令至目标从节点；
[0009]目标从节点若接收到所述容器操作指令，则根据所述容器操作指令对应创建或删除容器。
[0010]第二方面，本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理系统，运行于人工智能实验云平台，其包括多个主节点和多个从节点，所述多个主节点和所述多个从节点均通讯连接；其中，所述目标从节点为所述多个从节点中任意一个从节点，所述目标主节点为所述多个主节点中当前为活跃状态的主节点；
[0011]目标从节点，用于若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器；其中，所述目标从节点为所述多个从节点中任意一个从节点，所述目标主节点为所述多个主节点中当前为活跃状态的主节点；
[0012]目标从节点，还用于若接收到用户终端的访问请求并通过验证，将所述目标容器对应的目标容器实例与所述用户终端连接；
[0013]目标从节点，还用于接收所述用户终端的目标操作数据，将所述目标操作数据存储至所述目标容器对应的键值数据库；
[0014]目标主节点，用于发送容器操作指令至目标从节点；
[0015]目标从节点，还用于若接收到目标主节点发送的容器操作指令，则根据所述容器操作指令对应创建或删除容器。
[0016]第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面的高可用集群架构人工智能实验云平台数据处理方法。
[0017]第四方面，本申请实施例还提供了一种计算机可读存储介质，其中计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时使处理器执行上述第一方面的高可用集群架构人工智能实验云平台数据处理方法。
[0018]本申请实施例提供了一种高可用集群架构人工智能实验云平台数据处理方法及系统，人工智能云平台包括多个主节点和多个从节点，多个主节点和多个从节点均通讯连接；方法包括：目标从节点若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器；目标从节点若接收到用户终端的访问请求并通过验证，将目标容器对应的目标容器实例与用户终端连接；目标从节点接收用户终端的目标操作数据，将目标操作数据存储至目标容器对应的键值数据库；目标主节点发送容器操作指令至目标从节点；目标从节点若接收到容器操作指令，则根据容器操作指令对应创建或删除容器。实现了在人工智能实验云平台中能基于云端进行人工智能相关实验任务的处理，而且能随时对集群增加或删减节点，提高集群的高可用性和负载能力。
附图说明
[0019]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本申请实施例提供的高可用集群架构人工智能实验云平台数据处理方法的应用场景示意图；
[0021]图2为本申请实施例提供的高可用集群架构人工智能实验云平台数据处理方法的流程示意图；
[0022]图3为本申请实施例提供的高可用集群架构人工智能实验云平台数据处理系统的示意性框图；
[0023]图4为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本申请保护的范围。
[0025]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0026]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0027]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0028]请参阅图1和图2，图1为本申请实施例提供的高可用集群架构人工智能实验云平台数据处理方法的应用场景示意图；图2为本申请实施例提供的高可用集群架构人工智能实验云平台数据处理方法的流程示意图。本申请实施例提供的高可用集群架构人工智能实验云平台数据处理方法应用于人工智能实验云平台，如图1所示，人工智能实验云平台包括多个主节点和多个从节点，所述多个主节点和所述多个从节点均通讯连接。人工智能实验云平台可视为包括多个主节点和多个从节点的Kubernetes集群，是一个可管理单个容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高可用集群架构人工智能实验云平台数据处理方法，应用于人工智能实验云平台，其特征在于，所述人工智能云平台包括多个主节点和多个从节点，所述多个主节点和所述多个从节点均通讯连接；所述方法包括：目标从节点若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器；其中，所述目标从节点为所述多个从节点中任意一个从节点，所述目标主节点为所述多个主节点中当前为活跃状态的主节点；目标从节点若接收到用户终端的访问请求并通过验证，将所述目标容器对应的目标容器实例与所述用户终端连接；目标从节点接收所述用户终端的目标操作数据，将所述目标操作数据存储至所述目标容器对应的键值数据库；目标主节点发送容器操作指令至目标从节点；目标从节点若接收到所述容器操作指令，则根据所述容器操作指令对应创建或删除容器。2.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法，其特征在于，所述根据所实验工作任务部署指令对应创建目标容器，包括：若所述实验工作任务部署指令为统一实验任务部署指令，则所述目标从节点获取与所述统一实验任务部署指令对应的第一目标镜像资源、GPU资源和数据存储卷路径，所述目标从节点根据所述统一实验任务部署指令对应的第一目标镜像资源、GPU资源和数据存储卷路径对应创建目标容器；若所述实验工作任务部署指令为个性化容器部署指令，则所述目标从节点获取与所述个性化容器部署指令对应的第二目标镜像资源，所述目标从节点根据所述个性化容器部署指令对应的第二目标镜像资源以及预先存储的数据存储卷路径对应创建目标容器。3.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法，其特征在于，所述目标从节点若接收到目标主节点发送的实验工作任务部署指令，则根据所实验工作任务部署指令对应创建目标容器之前，还包括：目标主节点中的接口模块与目标从节点的Kubelet代理组件建立通讯连接。4.根据权利要求3所述的高可用集群架构人工智能实验云平台数据处理方法，其特征在于，所述目标主节点中的接口模块与目标从节点的Kubelet代理组件建立通讯连接，包括：目标主节点的Keepalived组件通过虚拟路由冗余协议自动配置人工智能实验云平台的虚拟IP地址；目标主节点的接口模块基于所述虚拟IP地址与目标从节点的Kubelet代理组件块建立通讯连接。5.根据权利要求1所述的高可用集群架构人工智能实验云平台数据处理方法，其特征在于，所述目标从节点接收所述用户终端的目标操作数据，将所述目标操作数据存储至所述目标容器对应的键值数据库之后，还包括...

【专利技术属性】
技术研发人员：贾子琪，杨浩，朱世冲，古超，周楚亚，张强，张腾飞，陈连山，
申请(专利权)人：南阳理工学院，
类型：发明
国别省市：