AI应用部署方法及相关平台、集群、介质、程序产品技术

本申请提供了一种人工智能(AI)应用部署方法，包括：开发系统将训练后的AI模型转换成至少一个适配模型，每个适配模型适配一个推理框架，开发系统还生成模型配置文件，模型配置文件包括推理框架基于对应的适配模型进行推理时需要的配置信息，然后开发系统根据AI功能单元组和模型配置文件生成AI应用，AI功能单元用于基于其中一个适配模型获得推理结果，部署管理系统可以基于由适配模型生成的AI功能单元和模型配置文件将AI应用统一部署至不同设备，无需手动修改推理代码，降低了AI应用的部署难度，提高了AI应用的部署效率。提高了AI应用的部署效率。提高了AI应用的部署效率。

【技术实现步骤摘要】
AI应用部署方法及相关平台、集群、介质、程序产品


[0001]本申请涉及人工智能(artificial intelligence，AI)
，尤其涉及一种AI应用部署方法、AI应用管理平台、计算机集群以及计算机可读存储介质、计算机程序产品。

技术介绍

[0002]目前，为了方便AI应用的开发，涌现了许多AI应用开发与管理系统(也可以称为AI应用开发与管理平台)。开发者可以通过该AI应用开发与管理平台进行应用开发和部署管理。
[0003]AI应用表示针对特定应用场景开发的、包括至少一个算子的应用程序，其中，AI应用中的算子是用于实现部分功能的操作集合，AI应用中的一些算子的功能可以由训练后的AI模型来实现，也即，AI应用在启动的过程中，可以调用训练后的AI模型进行推理，获得训练后的AI模型的输出结果。AI模型进行推理需要依赖推理框架。推理框架是一种可被AI应用所调用，以驱动AI应用中的AI模型进行推理，得到AI模型的输出结果的软件。
[0004]为了满足多场景的需求，通常一项AI应用需要部署到多个不同的环境(例如终端环境、边缘环境、云环境)中的不同设备。这些设备可以具有不同的推理硬件。该推理硬件是指具有计算能力，能够用于实现推理功能的硬件。该推理硬件可以包括中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)或者是神经网络处理器(neural
‑
network processing unit，NPU)等芯片。硬件厂商针对自身开发的推理硬件通常会提供特定的推理框架，以使得基于特定的推理框架调用对应的推理硬件执行AI应用中的推理操作时能够实现较高的推理性能。基于上述背景，当一个AI应用部署到不同类型的设备时，为了保证AI应用中AI模型的推理性能，需要使用不同的推理框架。这导致需要对AI应用的推理代码分别进行修改，以适配不同的推理框架。如此，提高了AI应用的部署难度，也降低了AI应用的部署效率。

技术实现思路

[0005]本申请提供了一种AI应用部署方法。该方法通过将训练后的AI模型转换成至少一个适配模型，并生成模型配置文件，该模型配置文件中包括推理框架基于对应的适配模型进行推理需要的配置信息，基于适配模型和模型配置文件可以将AI应用统一部署至不同设备，无需手动修改推理代码，降低了AI应用的部署难度，提高了AI应用的部署效率。本申请还提供了上述方法对应的AI应用管理平台、计算机集群、计算机可读存储介质以及计算机程序产品。
[0006]第一方面，本申请提供了一种AI应用部署方法。该方法可以由AI应用管理平台执行。AI应用管理平台具体是用于实现AI应用开发、部署等功能的系统，该系统可以是软件系统，也可以是硬件系统。
[0007]具体地，AI应用管理平台包括开发系统和部署管理系统。其中，开发系统将训练后的AI模型转换成至少一个适配模型，每个适配模型适配一个推理框架。推理框架具体是一
种可被AI应用所调用，以驱动AI应用中的AI模型进行推理，从而得到AI模型的输出结果的软件。开发系统还生成模型配置文件。模型配置文件包括推理框架基于对应的适配模型进行推理时需要的配置信息。接着开发系统生成AI应用。该AI应用包括AI功能单元和模型配置文件，其中，该AI功能单元用于基于所述至少一个适配模型中的一个适配模型获得推理结果。然后部署管理系统将所述AI应用部署至目标设备。
[0008]该方法通过将训练后的AI模型转换成至少一个适配模型，每个适配模型适配一个推理框架，并生成携带有推理框架基于对应的适配模型进行推理时需要的配置信息的模型配置文件，由此实现屏蔽模型差异。基于由上述适配模型生成的AI功能单元和模型配置文件生成AI应用，即使将AI应用部署到具有不同推理硬件的设备，也无需修改推理驱动(具体是推理驱动的代码，也可以称作推理代码)以适配不同推理硬件的推理框架，降低了AI应用的部署难度，提高了AI应用的部署效率。
[0009]在一些可能的实现方式中，目标设备包括至少一个，每个目标设备对应不同的推理框架。如此可以实现将AI应用统一部署到不同设备(例如是具有不同推理硬件、采用不同推理框架的设备)，提高了AI应用的部署效率，降低了AI应用的部署成本，满足了业务需求。
[0010]在一些可能的实现方式中，在所述部署管理系统将所述AI应用部署至目标设备之前，部署管理系统可以与多个部署设备建立连接，然后部署管理系统根据所述AI应用的需求参数，从所述多个部署设备中选择符合所述需求参数的所述目标设备。
[0011]进一步地，部署管理系统根据需求参数确定出多个符合需求参数的设备时，部署管理系统还可以分别计算部署到不同设备的成本，该成本可以包括设备自身的能耗比，部署AI应用到该设备消耗的网络带宽等，部署管理系统可以根据上述成本确定符合需求参数的目标设备。在一些实施例中，部署管理系统可以从多个符合需求参数的设备中确定成本最小的设备为目标设备。在另一些实施例中，部署管理系统可以从多个符合需求参数的设备中确定成本小于预设值的设备为目标设备。
[0012]部署管理系统也可以在确定出多个符合需求参数的设备时，确定多个符合需求参数的设备的优先级，例如部署管理系统可以根据部署AI应用到该设备的成本确定该设备的优先级。对应地，部署管理系统也可以根据优先级从资源池中确定目标设备。
[0013]需要说明，不同应用场景中，需求参数可以是不同的。例如，多路视频传输应用中，需求参数可以包括多路视频的路数和帧率；又例如，数据库查询应用中，需求参数可以包括每秒查询率。
[0014]该方法通过选择符合需求参数的目标设备，可以实现在保证AI应用正常运行的情况下，充分利用资源，实现资源的灵活调度，避免资源浪费。
[0015]在一些可能的实现方式中，部署管理系统可以采用镜像部署方式部署AI应用。其中，镜像部署方式包括全量镜像部署方式和增量镜像部署方式。考虑到部署效率，部署管理系统可以构建AI应用的增量镜像，例如部署管理系统可以通过镜像构建工具，将AI应用的模型配置文件和功能单元组打包成镜像格式，从而构建AI应用的增量镜像。然后部署管理系统根据所述AI应用的增量镜像部署所述AI应用至目标设备，例如部署管理系统将增量镜像发送至目标设备，目标设备基于该增量镜像启动容器，从而实现启动AI应用。
[0016]一方面，该方法可以通过AI应用的镜像减少环境差异(如操作系统差异)的影响，另一方面，该方法通过发送增量镜像进行AI应用部署，如此可以减少部署AI应用时的传输
开销，提高AI应用的部署效率。
[0017]在一些可能的实现方式中，所述开发系统将训练后的AI模型转换成至少一个适配模型可以有多种实现方式。第一种实现方式为：训练后的AI模型是通过开发系统预置的模型模板训练得到时，开发系统基于该预置的模型模板将训练后的AI模型转换成至少一个适配模型。模型模板是指对具有相同功能的模型的配置信息进行整合，形成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能AI应用部署方法，其特征在于，AI应用管理平台包括开发系统和部署管理系统，所述方法包括：所述开发系统将训练后的AI模型转换成至少一个适配模型，并生成模型配置文件，其中，每个适配模型适配一个推理框架，所述模型配置文件包括所述推理框架基于对应的适配模型进行推理时需要的配置信息；所述开发系统生成AI应用，其中，所述AI应用包括AI功能单元和所述模型配置文件，所述AI功能单元用于基于所述至少一个适配模型中的一个适配模型获得推理结果；所述部署管理系统将所述AI应用部署至目标设备。2.根据权利要求1所述的方法，其特征在于，所述目标设备包括至少一个，每个目标设备对应不同的推理框架。3.根据权利要求1或2所述的方法，其特征在于，在所述部署管理系统将所述AI应用部署至目标设备之前，所述方法还包括：所述部署管理系统与多个部署设备建立连接；所述部署管理系统根据所述AI应用的需求参数，从所述多个部署设备中选择符合所述需求参数的所述目标设备。4.根据权利要求1至3任一项所述的方法，其特征在于，所述部署管理系统将所述AI应用部署至目标设备，具体包括：所述部署管理系统构建所述AI应用的增量镜像，根据所述AI应用的增量镜像部署所述AI应用至目标设备。5.根据权利要求1至4任一项所述的方法，其特征在于，所述开发系统将训练后的AI模型转换成至少一个适配模型，包括：所述开发系统基于模型模板将所述训练后的AI模型转换成至少一个适配模型；或者，所述开发系统基于AI模型开发者定义的至少一个转换脚本将所述训练后的AI模型转换成至少一个适配模型。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：所述开发系统响应于AI应用开发者的编排操作，对包括所述AI功能单元在内的多个功能单元进行编排，生成功能单元组；或者，所述开发系统响应于所述AI应用开发者的代码编写操作，根据编写的代码生成功能单元组。7.根据权利要求1至6任一项所述的方法，其特征在于，所述开发系统生成AI应用，包括：所述开发系统通过用户界面接收AI应用开发者配置的所述AI应用的输入格式或输出格式；所述开发系统根据所述AI应用的输入格式或输出格式生成所述AI应用。8.根据权利要求1至7任一项所述的方法，其特征在于，所述模型配置文件还包括所述至少一个适配模型的存储路径；在生成模型配置文件之前，所述方法还包括：存储所述至少一个适配模型至存储系统。9.根据权利要求1至8任一项所述的方法，其特征在于，所述AI功能单元包括推理驱动，所述推理驱动用于驱动所述至少一个适配模型中的一个适配模型的推理。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：所述部署管理系统发送基础库至所述目标设备，其中，所述基础库包括以下信息中的一种或多种：推理框架安装包、操作系统文件、驱动文件和并行计算库。11.根据权利要求1至10任一项所述的方法，其特征在于，所述目标设备为终端设备、边缘设备或云设备中的任意一个或多个。12.一种AI应用管理平台，其特征在于，包括：开发系统，用于将训练后的AI模型转换成至少一个适配模型，并生成模型配置文件，其中，每个适配模型适配一个推理框架，所述模型配置文件包括所述推理框架基于对应的适配模型进行推理时需要的配置信息；所述开发系...

【专利技术属性】
技术研发人员：李雨洺，谢周意，许天锡，潘世刚，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：