模型部署方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了模型部署方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取目标模型文件；根据目标模型文件，生成初始计算图；根据待部署节点的节点配置信息集合，确定模型部署类型；根据模型部署类型和算子节点对应的算子描述信息，对初始计算图进行图优化，以生成优化后计算图；对优化后计算图进行计算图混淆，以生成混淆后计算图；根据混淆后计算图，生成待部署模型文件；根据节点配置信息集合和模型部署类型，生成部署策略信息；根据部署策略信息，将待部署模型文件部署在待部署节点。该实施方式完善了模型在不同节点的模型部署方式，高效利用了不同节点的计算资源。

【技术实现步骤摘要】

本公开的实施例涉及计算机，具体涉及模型部署方法、装置、电子设备和计算机可读介质。

技术介绍

1、模型部署是将训练完毕的机器学习模型部署至执行节点上的一种技术。目前，在进行模型部署时，通常采用的方式为：将机器学习模型进行封装，并部署在服务器端以达到模型部署的目的。

2、然而，当采用上述方式时，经常会存在如下技术问题：

3、第一，随着模型复杂度增加以及模型参数量增加，仅采用服务器作为模型部署的载体的方式，随着访问量的增加，会增加服务器端的运行压力，同时无法有效利用边缘端的计算资源；

4、第二，由于边缘端的计算资源有限，若将全量模型部署在边缘端，会超出边缘的数据处理能力，从而影响模型的正常运行。

5、第三，直接封装的方式缺乏有效的模型数据保护，导致模型数据的泄露风险较高。

6、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要本文档来自技高网...

【技术保护点】

1.一种模型部署方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述节点配置信息集合和所述模型部署类型，生成部署策略信息，包括：

3.根据权利要求2所述的方法，其中，所述根据所述部署策略信息，将所述待部署模型文件部署在所述待部署节点，包括：

4.根据权利要求3所述的方法，其中，所述目标模型文件包括：模型定义文件；以及

5.根据权利要求4所述的方法，其中，所述节点配置信息集合中的节点配置信息包括：节点资源需求信息和节点类型，节点类型包括：边缘端虚拟节点类型和非边缘端虚拟节点类型；以及

6.一种模型部署装置，包括：

...

【技术特征摘要】

1.一种模型部署方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述节点配置信息集合和所述模型部署类型，生成部署策略信息，包括：

3.根据权利要求2所述的方法，其中，所述根据所述部署策略信息，将所述待部署模型文件部署在所述待部署节点，包括：

4.根据权利要求3所述的方法，其中，所述目标模型文件包括：模型定义文件；以及

...

【专利技术属性】
技术研发人员：路圣汉，王云峰，张芯铭，
申请(专利权)人：北京汉勃科技有限公司，
类型：发明
国别省市：