应用于模型转换的管理方法、系统、装置及电子设备制造方法及图纸

本申请实施例提供了应用于模型转换的管理方法、系统、装置及电子设备。本实施例通过在目标深度学习模型中既体现与目标AI设备匹配的第二深度学习模型，又体现用于描述第二深度学习模型的模型描述信息，这能够直观标记利用该目标深度学习模型进行深度学习推理时所需要的关键信息，无需再额外记录目标深度学习模型对应的AI设备信息、深度学习推理框架、模型训练框架等碎片信息，实现了统一对多AI设备平台(混合了不同应用场景的AI设备的平台)的模型转换过程进行管理；进一步地，当在目标深度学习模型中体现出用于描述第二深度学习模型的模型描述信息，后续可以基于该模型描述信息对目标深度学习模型进行升级等。对目标深度学习模型进行升级等。对目标深度学习模型进行升级等。

【技术实现步骤摘要】
应用于模型转换的管理方法、系统、装置及电子设备


[0001]本申请涉及计算机技术，特别涉及一种应用于模型转换的管理方法、系统、装置及电子设备。

技术介绍

[0002]AI设备可用于深度学习训练和深度学习推理。所谓深度学习训练是指：将一组训练数据集(带有标签的数据)送入神经网络，根据神经网络的输出信息与预设的期望输出信息之间的差别来调整神经网络中各网络层的连接权值，最终训练出一个理想的神经网络。所谓深度学习推理是指：利用训练好的神经网络进行数据推理，比如：识别图像、识别记录口述的语言、检测血液中的疾病，或者推荐符合某人风格的衣物等。作为一个实施例，AI设备可为部署了AI芯片的设备，AI芯片可用于实现上述的深度学习训练和深度学习推理。
[0003]相比深度学习训练，深度学习推理对高性能有很高要求。为了充分发挥AI设备的高性能，各AIAI设备厂商会为出厂的AI设备配置对应的深度学习推理框架。
[0004]目前，在AI设备上部署深度学习模型时，经常会出现以下问题：深度学习模型与AI设备不匹配(比如深度学习模型与AI设备对应的深度学习推理框架不匹配，不能基于AI设备对应的深度学习推理框架进行学习推理等)。而一旦深度学习模型与AI设备不匹配，则会导致深度学习模型不能依赖AI设备对应的深度学习推理框架进行学习推理等。

技术实现思路

[0005]本申请提供了应用于模型转换的管理方法、系统、装置及电子设备，以在深度学习模型与AI设备不匹配时对深度学习模型进行转换管理，以使转换后的深度学习模型与AI设备匹配。
[0006]本申请提供的方法包括：
[0007]一种应用于模型转换的管理方法，该方法包括：
[0008]获取待转换的第一深度学习模型的模型转换信息，所述模型转换信息至少包括：第一深度学习模型、以及目标AI设备的AI设备信息；所述目标AI设备为待部署所述第一深度学习模型的AI设备，所述第一深度学习模型与所述目标AI设备不匹配；
[0009]对所述第一深度学习模型进行转换，得到与所述目标AI设备的AI设备信息匹配的第二深度学习模型；
[0010]依据所述第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型。
[0011]作为一个实施例，所述对第一深度学习模型进行转换包括：
[0012]将所述模型转换信息转发至所述AI设备信息对应的所述目标AI设备，以由目标AI设备通过已被配置的模型转换工具对所述第一深度学习模型进行转换。
[0013]作为一个实施例，所述依据第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型包括：
[0014]按照指定的模型管理协议将所述模型描述信息进行封装得到模型封装信息；
[0015]将所述模型封装信息加载在所述第二深度学习模型的指定位置；
[0016]将指定位置加载了所述模型封装信息的第二深度学习模型进行打包得到所述目标深度学习模型。
[0017]作为一个实施例，所述按照指定的模型管理协议对所述模型描述信息进行封装得到模型封装信息，包括：
[0018]按照指定的模型管理协议对所述模型描述信息和所述模型转换信息进行封装，得到所述模型封装信息；或者，
[0019]按照指定的模型管理协议对所述模型描述信息、以及所述模型转换信息中除所述第一深度模型之外的信息进行封装，得到所述模型封装信息。
[0020]作为一个实施例，所述软件版本信息至少包括以下信息的至少一个：
[0021]用于利用所述第二深度学习模型进行深度学习推理的推理软件栈最低版本信息、用于利用所述第二深度学习模型进行深度学习推理的推理软件栈种类。
[0022]作为一个实施例，所述模型参数至少包括以下参数中的至少一个：
[0023]所述第二深度学习模型对应的模型权值数据格式；
[0024]所述第二深度学习模型的模型类型；所述模型类型至少包括：用于指示所述第二深度学习模型为量化模型的量化类型；
[0025]当所述第二深度学习模型的模型类型为量化类型时，所述第二深度学习模型对应的量化参数。
[0026]作为一个实施例，该方法进一步包括：
[0027]按照设定加密算法对所述目标深度学习模型进行加密并存储加密后的目标深度学习模型。
[0028]一种应用于模型转换的管理系统，该系统包括：
[0029]客户端、网络模型管理服务器、N个AI设备；其中，N个AI设备包括至少一个云端AI设备，和/或，至少一个终端侧AI设备，和/或，至少一个网络边缘侧AI设备；N大于等于1；客户端、N个AI设备分别通过网络与所述网络模型管理服务器连接；
[0030]所述网络模型管理服务器，从客户端获取待转换的第一深度学习模型的模型转换信息，所述模型转换信息至少包括：第一深度学习模型、以及目标AI设备的AI设备信息；所述目标AI设备为所述N个AI设备中待部署所述第一深度学习模型的AI设备，所述第一深度学习模型与所述目标AI设备不匹配；以及
[0031]对所述第一深度学习模型进行转换，得到与所述目标AI设备的AI设备信息匹配的第二深度学习模型，依据所述第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型。
[0032]一种应用于模型转换的管理装置，该装置应用于网络模型管理服务器，该装置包括：
[0033]获取单元，用于获取待转换的第一深度学习模型的模型转换信息，所述模型转换信息至少包括：第一深度学习模型、以及目标AI设备的AI设备信息；所述目标AI设备为待部署所述第一深度学习模型的AI设备，所述第一深度学习模型与所述目标AI设备不匹配；
[0034]第一处理单元，用于对所述第一深度学习模型进行转换，得到与所述目标AI设备
匹配的第二深度学习模型；
[0035]第二处理单元，用于依据所述第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型。
[0036]一种电子设备，该电子设备包括：处理器和机器可读存储介质；
[0037]所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
[0038]所述处理器用于执行机器可执行指令，以实现上述公开的方法步骤。
[0039]由以上技术方案可以看出，本申请中，本实施例通过在目标深度学习模型中体现与目标AI设备匹配的第二深度学习模型，这实现了第一深度学习模型与目标AI设备不匹配时对第一深度学习模型进行转换管理，以使目标深度学习模型与目标AI设备匹配；
[0040]进一步地，本实施例通过在目标深度学习模型中既体现与目标AI设备匹配的第二深度学习模型，又体现用于描述第二深度学习模型的模型描述信息，这能够直观标记利用该目标深度学习模型进行深度学习推理时所需要的关键信息(具体如上文描述的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于模型转换的管理方法，其特征在于，该方法包括：获取待转换的第一深度学习模型的模型转换信息，所述模型转换信息至少包括：第一深度学习模型、以及目标AI设备的AI设备信息；所述目标AI设备为待部署所述第一深度学习模型的AI设备，所述第一深度学习模型与所述目标AI设备不匹配；对所述第一深度学习模型进行转换，得到与所述目标AI设备的AI设备信息匹配的第二深度学习模型；依据所述第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述对第一深度学习模型进行转换包括：将所述模型转换信息转发至所述AI设备信息对应的所述目标AI设备，以由目标AI设备通过已被配置的模型转换工具对所述第一深度学习模型进行转换。3.根据权利要求1所述的方法，其特征在于，所述依据第二深度学习模型和用于描述所述第二深度学习模型的模型描述信息生成所述第一深度学习模型的目标深度学习模型包括：按照指定的模型管理协议将所述模型描述信息进行封装得到模型封装信息；将所述模型封装信息加载在所述第二深度学习模型的指定位置；将指定位置加载了所述模型封装信息的第二深度学习模型进行打包得到所述目标深度学习模型。4.根据权利要求3所述的方法，其特征在于，所述按照指定的模型管理协议对所述模型描述信息进行封装得到模型封装信息，包括：按照指定的模型管理协议对所述模型描述信息和所述模型转换信息进行封装，得到所述模型封装信息；或者，按照指定的模型管理协议对所述模型描述信息、以及所述模型转换信息中除所述第一深度模型之外的信息进行封装，得到所述模型封装信息。5.根据权利要求1所述的方法，其特征在于，所述软件版本信息至少包括以下信息的至少一个：用于利用所述第二深度学习模型进行深度学习推理的推理软件栈最低版本信息、用于利用所述第二深度学习模型进行深度学习推理的推理软件栈种类。6.根据权利要求1所述的方法，其特征在于，所述模型参数至少包括以下参数中的至少一个：所述第二深度学习模型对应的模型权值数据格式；所述第二深度学习模型的模型类型；所述模型类型至少包括：用于指示所述第二...

【专利技术属性】
技术研发人员：周智强，叶挺群，王鹏，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：