一种调度多种AI框架的方法、系统、设备以及存储介质技术方案

本发明专利技术公开了一种调度多种AI框架的方法，包括以下步骤：利用国产软硬件构建云端AI服务器、边缘侧设备；在云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；响应于用户访问云端AI服务器中的容器，利用被访问的容器中的AI框架以及所述云端AI服务器中的数据对待训练的模型进行第一次训练；将经过第一次训练的模型发送到边缘侧设备；利用边缘侧设备以及经过第一次训练的模型执行作业任务。本发明专利技术还公开了一种系统、计算机设备以及存储介质。本发明专利技术提出的方案主要面向采用国产关键硬件构建的云端AI服务器、AI计算机、AI终端设备等云、边缘端设备，构建一套多种AI框架可自由协同调度的方法，进而满足用户的不同业务需求，同时提升自主安全性。同时提升自主安全性。同时提升自主安全性。

【技术实现步骤摘要】
一种调度多种AI框架的方法、系统、设备以及存储介质


[0001]本专利技术涉及人工智能领域，具体涉及一种调度多种AI框架的方法、系统、设备以及存储介质。

技术介绍

[0002]目前，人工智能处于蓬勃发展期，已广泛应用于安防监测、交通监测、图像识别、自动驾驶等领域。
[0003]当前市场上主流的云端AI服务器采用的是CPU+GPU的异构计算框架。通常的开发部署流程为：在AI云端服务器依托大量的数据集在某种单一的AI框架下进行训练、优化，最终将优化好的模型部署到终端硬件产品配合相应的AI框架去实现相应的目标识别、语音识别或语义识别等任务。这种方法应用灵活度并不高，当面向不同应用领域时，最终用户根据其以往经验往往很可能会采用不同的AI框架，无疑无法快速的满足多种AI框架同时被调用的需求。而且当前的云侧训练、端侧部署往往采用的还是人工方式，协同智能化程度不够。
[0004]此外，现阶段大部分厂商采用的云端AI服务器均是基于X86架构CPU+NVIDIA GPU设计实现，而终端产品则采用嵌入式的国外处理器+NVIDIA GPU实现，自主安全可控性较差。

技术实现思路

[0005]有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种调度多种AI框架的方法，包括以下步骤：
[0006]利用国产软硬件构建云端AI服务器、边缘侧设备；
[0007]在所述云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；
[0008]响应于用户访问所述云端AI服务器中容器，利用被访问的容器中的AI框架以及所述云端AI服务器中的数据对待训练的模型进行第一次训练；
[0009]将经过第一次训练的模型发送到所述边缘侧设备；
[0010]利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
[0011]在一些实施例中，利用国产软硬件构建边缘侧设备，进一步包括：
[0012]利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种AI框架。
[0013]在一些实施例中，利用所述边缘侧设备以及经过第一次训练的模型执行作业任务，进一步包括：
[0014]针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
[0015]将经过学习、修正和优化的模型发送到所述端侧设备；
[0016]利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。在一些实施例中，还包括：
[0017]利用管理平台对所述AI服务器和所述边缘侧设备进行管理。
[0018]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种调度多种AI框架的系统，包括：
[0019]构建模块，配置为利用国产软硬件构建云端AI服务器、边缘侧设备；
[0020]部署模块，配置为在所述云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；
[0021]第一训练模块，配置为响应于用户访问所述云端AI服务器中容器，利用被访问的容器中的AI框架以及所述云端AI服务器中的数据对待训练的模型进行第一次训练；
[0022]发送模块，配置为将经过第一次训练的模型发送到所述边缘侧设备；
[0023]执行模块，配置为利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
[0024]在一些实施例中，构建模块还配置为：
[0025]利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种AI框架。
[0026]在一些实施例中，执行模块还配置为：
[0027]针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
[0028]将经过学习、修正和优化的模型发送到所述端侧设备；
[0029]利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。
[0030]在一些实施例中，还包括管理模块，配置为：
[0031]利用管理平台对所述AI服务器和所述边缘侧设备进行管理。
[0032]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
[0033]至少一个处理器；以及
[0034]存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种调度多种AI框架的方法的步骤。
[0035]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种调度多种AI框架的方法的步骤。
[0036]本专利技术具有以下有益技术效果之一：本专利技术提出的方案主要面向采用国产关键硬件构建的异构计算(如国产CPU+国产GPU或国产CPU+国产NPU等等)体系的云端AI服务器、AI计算机、AI终端设备等云、边缘端设备，构建一套多种AI框架可自由协同调度的方法，进而满足用户的不同业务需求，同时提升用户的自主安全性。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0038]图1为本专利技术的实施例提供的调度多种AI框架的方法的流程示意图；
[0039]图2为本专利技术的实施例提供的调度多种AI框架的方法的框图；
[0040]图3为本专利技术的实施例提供的调度多种AI框架的系统的结构示意图；
[0041]图4为本专利技术的实施例提供的计算机设备的结构示意图；
[0042]图5为本专利技术的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
[0043]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0044]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0045]根据本专利技术的一个方面，本专利技术的实施例提出一种调度多种AI框架的方法，如图1所示，其可以包括步骤：
[0046]S1，利用国产软硬件构建云端AI服务器、边缘侧设备；
[0047]S2，在所述云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；
[0048]S3，响应于用户访问所述云端AI服务器中容器，利用被访问的容器中的AI框架以及所述云端AI服务器中的数据对待训练的模型进行第一次训练；
[0049]S4，将经过第一次训练的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度多种AI框架的方法，其特征在于，包括以下步骤：利用国产软硬件构建云端AI服务器、边缘侧设备；在所述云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；响应于用户访问所述云端AI服务器中的容器，利用被访问的容器中的AI框架以及所述云端AI服务器中的数据对待训练的模型进行第一次训练；将经过第一次训练的模型发送到所述边缘侧设备；利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。2.如权利要求1所述的方法，其特征在于，利用国产软硬件构建边缘侧设备，进一步包括：利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种AI框架。3.如权利要求2所述的方法，其特征在于，利用所述边缘侧设备以及经过第一次训练的模型执行作业任务，进一步包括：针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；将经过学习、修正和优化模型发送到所述端侧设备；利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。4.如权利要求1所述的方法，其特征在于，还包括：利用管理平台对所述AI服务器和所述边缘侧设备进行管理。5.一种调度多种AI框架的系统，其特征在于，包括：构建模块，配置为利用国产软硬件构建云端AI服务器、边缘侧设备；部署模块，配置为在所述云端AI服务器内部署多个容器，其中每一个容器配置一种AI框架；第一训练模块，配置为响应于...

【专利技术属性】
技术研发人员：陈亮甫，牛玉峰，张晶博，
申请(专利权)人：超越科技股份有限公司，
类型：发明
国别省市：