一种云端深度学习模型转换方法、系统、设备及介质技术方案

本发明专利技术公开了一种云端深度学习模型转换方法、系统、设备及介质，所述方法包括以下步骤：获取待转换模型及模型转换请求信息；查询获得匹配训练机器实例；采用查询获得的匹配训练机器实例加载所述待转换模型，解析和遍历待转换模型的网络结构，获得中间模型；查询获得匹配推理机器实例；采用匹配推理机器实例加载所述中间模型，解析和遍历所述中间模型的网络结构，将其每一层转换到匹配推理机器实例的推理框架使用的模型格式，获得转换后的模型。本发明专利技术提供的方法，对用户屏蔽了不同训练框架转换到众多推理框架的细节，可节约学习成本、开发成本、环境安装部署成本、硬件准备/调试的成本等，能够提高生产效率。能够提高生产效率。能够提高生产效率。

【技术实现步骤摘要】
一种云端深度学习模型转换方法、系统、设备及介质


[0001]本专利技术属于深度学习模型
，特别涉及一种云端深度学习模型转换方法、系统、设备及介质。

技术介绍

[0002]深度学习领域的人工智能(Artificial Intelligence，AI)模型开发一般分为两个独立的阶段，包括：
[0003](1)使用主流的深度学习训练框架如PyTorch、TensorFlow、MXNet来训练出符合业务需求的模型，称为训练模型；
[0004](2)深度学习训练框架一般不适合直接部署到产品/生产环境，需要把训练模型转换为在推理框架上可用的模型，称为推理模型。
[0005]基于以上的现有主流开发流程，业界尚存在一些痛点，具体包括：
[0006]应用程序一般分为前端、后端/服务器云端，它们各自的硬件资源不同，所用的推理框架往往也是不同的；为了合理分配计算，部分AI模型会放在前端/边缘设备端部署执行，部分AI模型会放在后端/服务器云端部署执行。目前现有的传统做法中，算法工程师需要针对不同的推理框架和硬件设备执行模型转换，导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云端深度学习模型转换方法，其特征在于，包括以下步骤：获取待转换模型及模型转换请求信息；基于所述模型转换请求信息获取训练查询ID；基于所述训练查询ID从预设的训练机器实例库中，查询获得匹配训练机器实例；采用查询获得的匹配训练机器实例加载所述待转换模型，解析和遍历待转换模型的网络结构，获得中间模型；基于所述模型转换请求信息获取推理查询ID；基于所述推理查询ID从预设的推理机器实例库中，查询获得匹配推理机器实例；采用匹配推理机器实例加载所述中间模型，解析和遍历所述中间模型的网络结构，将其每一层转换到匹配推理机器实例的推理框架使用的模型格式，获得转换后的模型。2.根据权利要求1所述的一种云端深度学习模型转换方法，其特征在于，所述模型转换请求信息包括：模型运行的硬件设备、操作系统、训练框架和推理框架。3.根据权利要求1所述的一种云端深度学习模型转换方法，其特征在于，所述预设的训练机器实例库包括预设的多个训练机器实例和多个推理机器实例；其中，所述训练机器实例为安装操作系统和训练框架的服务器端或PC端；所述推理机器实例为安装操作系统和推理框架的服务器端或PC端；每个训练机器实例记录有训练查询ID，每个推理机器实例记录有推理查询ID。4.根据权利要求1或3所述的一种云端深度学习模型转换方法，其特征在于，所述训练查询ID的命名为操作系统名、CPU名、GPU名和训练框架名的组合；所述推理查询ID的命名为操作系统名、CPU名、GPU名和推理框架名的组合。5.根据权利要求3所述的一种云端深度学习模型转换方法，其特征在于，所述预设的训练机器实例库设置有用于调用模型转换功能的API；其中，所述API以Python函数接口定义为要传入的模型转换请求信息的路径。6.根据权利要求1所述的一种云端深度学习模型转换方法，其特征在于，所述采用查询获得的匹配训练机器实例加载所述待转换模型，解析和遍历待转换模型的网络结构，获得中间模型包括：采用查询获得的匹配训练机器实例加载所述待转换模型，解析和遍历待转换...

【专利技术属性】
技术研发人员：罗天文，戴磊，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：