用于生成模型的方法和装置、用于识别信息的方法和装置制造方法及图纸

本申请实施例公开了用于生成模型的方法和装置、用于识别信息的方法和装置。用于生成模型的方法的一具体实施方式包括：获取待转换模型、待转换模型的拓扑结构描述信息和目标设备的设备信息；基于拓扑结构描述信息和设备信息，对待转换模型的参数和算子进行转换，得到适用于目标设备的经转换后的模型；基于经转换后的模型生成用于进行深度学习预测的模型。该实施方式实现了将现有的模型转换为能够适用于目标设备的用于进行深度学习预测的模型。

Method and device for generating models, method and device for identifying information

The embodiment of this application discloses methods and devices for generating models, methods and devices for identifying information. One specific embodiment of the method used to generate the model includes: acquiring the topological structure description information of the model to be converted and the device information of the target device; based on the topological structure description information and device information, transforming the parameters and operators of the transformation model to obtain the transformed data suitable for the target device. After that, a model for deep learning prediction is generated based on the transformed model. The embodiment realizes the transformation of the existing model into a model that can be applied to the target device for in-depth learning prediction.

【技术实现步骤摘要】
用于生成模型的方法和装置、用于识别信息的方法和装置
本申请实施例涉及计算机
，具体涉及用于生成模型的方法和装置、用于识别信息的方法和装置。
技术介绍
随着深度学习逐渐被各行各业采用，通用的深度学习模型往往无法满足用户的定制化的AI(ArtificialIntelligence，人工智能)需求。越来越多的用户会使用特定的数据，定制化训练自己的模型以适应特定的场景，如图像分类、物体检测、视频分析、声音识别、声纹识别等等。由于现有的模型生成工具通常支持有限的硬件设备，因此，用户利用现有的模型生成工具生成的模型往往适用于特定的硬件设备，而无法适用于除该特定的硬件设备以外的设备。
技术实现思路
本申请实施例提出了用于生成模型的方法和装置、用于识别信息的方法和装置。第一方面，本申请实施例提供了一种用于生成模型的方法，该方法包括：获取待转换模型、待转换模型的拓扑结构描述信息和目标设备的设备信息；基于拓扑结构描述信息和设备信息，对待转换模型的参数和算子进行转换，得到适用于目标设备的经转换后的模型；基于经转换后的模型生成用于进行深度学习预测的模型。在一些实施例中，设备信息包括异构计算芯片类型标识和指令集版本；以及基于拓扑结构描述信息和设备信息，对待转换模型的参数和算子进行转换，包括：获取预置的与异构计算芯片类型标识和指令集版本相关联的参数转换模板和算子转换模板；对于待转换模型所包括的层，基于拓扑结构描述信息解析该层中的参数和算子，基于参数转换模板对该层中的参数进行转换，以及基于算子转换模板对该层中的算子进行转换。在一些实施例中，基于经转换后的模型生成用于进行深度学习预测的模型，包括：响应于检测到模型压缩指令，对经转换后的模型进行模型压缩指令所指示的压缩操作，得到经压缩后的模型，将经压缩后的模型作为用于进行深度学习预测的模型；其中，模型压缩指令响应于预设的模型压缩选项被选中而生成，模型压缩选项包括以下至少一项：用于指示降低参数的精度的第一模型压缩选项、用于指示对模型中的层进行合并或裁剪的第二模型压缩选项、用于指示对模型的参数进行裁剪的第三模型压缩选项。在一些实施例中，上述方法还包括：向用户提供与目标设备相应的软件开发工具包，其中，软件开发工具包用于提供与用于进行深度学习预测的模型相关联的模型预测接口。在一些实施例中，上述方法还包括：生成与目标设备相应的、集成有用于进行深度学习预测的模型的应用。第二方面，本申请实施例提供了一种用于识别信息的方法，该方法包括：响应于接收到与采用如第一方面中任一实现方式描述的方法生成的用于进行深度学习预测的模型相关联的待识别信息，确定当前所处的预测模式，其中，预测模式包括用于指示在目标设备本地进行预测的离线预测模式，目标设备是用于进行深度学习预测的模型所在的设备；响应于确定当前处于离线预测模式，利用用于进行深度学习预测的模型对待识别信息进行识别。在一些实施例中，预测模式还包括混合模式，混合模式用于指示基于网络状况选取进行在线预测或离线预测；以及上述方法还包括：响应于确定当前处于混合模式，确定目标设备当前是否与云服务器通信连接；响应于确定目标设备当前未与云服务器通信连接，利用用于进行深度学习预测的模型对待识别信息进行识别。在一些实施例中，在利用用于进行深度学习预测的模型对待识别信息进行识别之前，上述方法还包括：响应于检测到计算加速指令，基于预设的目标设备的设备信息，确定目标设备是否包括与计算加速指令相关联的异构计算芯片，其中计算加速指令响应于预设的计算加速选项被选中而生成，计算加速选项包括以下至少一项：用于指示调用网络处理器进行计算加速的第一计算加速选项、用于指示调用图形处理器进行计算加速的第二计算加速选项、用于指示调用现场可编程门阵列进行计算加速的第三计算加速选项；响应于确定目标设备包括异构计算芯片，将用于进行深度学习预测的模型中的与异构计算芯片相关联的层的运算调度至异构计算芯片上执行。第三方面，本申请实施例提供了一种用于生成模型的装置，该装置包括：获取单元，被配置成获取待转换模型、待转换模型的拓扑结构描述信息和目标设备的设备信息；转换单元，被配置成基于拓扑结构描述信息和设备信息，对待转换模型的参数和算子进行转换，得到适用于目标设备的经转换后的模型；生成单元，被配置成基于经转换后的模型生成用于进行深度学习预测的模型。在一些实施例中，设备信息包括异构计算芯片类型标识和指令集版本；以及转换单元进一步被配置成：获取预置的与异构计算芯片类型标识和指令集版本相关联的参数转换模板和算子转换模板；对于待转换模型所包括的层，基于拓扑结构描述信息解析该层中的参数和算子，基于参数转换模板对该层中的参数进行转换，以及基于算子转换模板对该层中的算子进行转换。在一些实施例中，生成单元进一步被配置成：响应于检测到模型压缩指令，对经转换后的模型进行模型压缩指令所指示的压缩操作，得到经压缩后的模型，将经压缩后的模型作为用于进行深度学习预测的模型；其中，模型压缩指令响应于预设的模型压缩选项被选中而生成，模型压缩选项包括以下至少一项：用于指示降低参数的精度的第一模型压缩选项、用于指示对模型中的层进行合并或裁剪的第二模型压缩选项、用于指示对模型的参数进行裁剪的第三模型压缩选项。在一些实施例中，上述装置还包括：软件开发工具包提供单元，被配置成向用户提供与目标设备相应的软件开发工具包，其中，软件开发工具包用于提供与用于进行深度学习预测的模型相关联的模型预测接口。在一些实施例中，上述装置还包括：第一生成单元，被配置成生成与目标设备相应的、集成有用于进行深度学习预测的模型的应用。第四方面，本申请实施例提供了一种用于识别信息的装置，该装置包括：确定单元，被配置成响应于接收到与采用如第一方面中任一实现方式描述的方法生成的用于进行深度学习预测的模型相关联的待识别信息，确定当前所处的预测模式，其中，预测模式包括用于指示在目标设备本地进行预测的离线预测模式，目标设备是用于进行深度学习预测的模型所在的设备；识别单元，被配置成响应于确定当前处于离线预测模式，利用用于进行深度学习预测的模型对待识别信息进行识别。在一些实施例中，预测模式还包括混合模式，混合模式用于指示基于网络状况选取进行在线预测或离线预测；以及上述装置还包括：第一确定单元，被配置成响应于确定当前处于混合模式，确定目标设备当前是否与云服务器通信连接；第一识别单元，被配置成响应于确定目标设备当前未与云服务器通信连接，利用用于进行深度学习预测的模型对待识别信息进行识别。在一些实施例中，上述装置还包括：第二确定单元，被配置成响应于检测到计算加速指令，基于预设的目标设备的设备信息，确定目标设备是否包括与计算加速指令相关联的异构计算芯片，其中，计算加速指令响应于预设的计算加速选项被选中而生成，计算加速选项包括以下至少一项：用于指示调用网络处理器进行计算加速的第一计算加速选项、用于指示调用图形处理器进行计算加速的第二计算加速选项、用于指示调用现场可编程门阵列进行计算加速的第三计算加速选项；调度单元，被配置成响应于确定目标设备包括异构计算芯片，将用于进行深度学习预测的模型中的与异构计算芯片相关联的层的运算调度至异构计算芯片上执行。第五方面，本申请实施例提供了一种电子设备，该电子设备包括：一本文档来自技高网...

【技术保护点】
1.一种用于生成模型的方法，包括：获取待转换模型、所述待转换模型的拓扑结构描述信息和目标设备的设备信息；基于所述拓扑结构描述信息和所述设备信息，对所述待转换模型的参数和算子进行转换，得到适用于所述目标设备的经转换后的模型；基于所述经转换后的模型生成用于进行深度学习预测的模型。

【技术特征摘要】
1.一种用于生成模型的方法，包括：获取待转换模型、所述待转换模型的拓扑结构描述信息和目标设备的设备信息；基于所述拓扑结构描述信息和所述设备信息，对所述待转换模型的参数和算子进行转换，得到适用于所述目标设备的经转换后的模型；基于所述经转换后的模型生成用于进行深度学习预测的模型。2.根据权利要求1所述的方法，其中，所述基于所述经转换后的模型生成用于进行深度学习预测的模型，包括：响应于检测到模型压缩指令，对所述经转换后的模型进行所述模型压缩指令所指示的压缩操作，得到经压缩后的模型，将所述经压缩后的模型作为所述用于进行深度学习预测的模型；其中，所述模型压缩指令响应于预设的模型压缩选项被选中而生成，所述模型压缩选项包括以下至少一项：用于指示降低参数的精度的第一模型压缩选项、用于指示对模型中的层进行合并或裁剪的第二模型压缩选项、用于指示对模型的参数进行裁剪的第三模型压缩选项。3.根据权利要求1或2所述的方法，其中，所述方法还包括：向用户提供与所述目标设备相应的软件开发工具包，其中，所述软件开发工具包用于提供与所述用于进行深度学习预测的模型相关联的模型预测接口。4.根据权利要求1或2所述的方法，其中，所述方法还包括：生成与所述目标设备相应的、集成有所述用于进行深度学习预测的模型的应用。5.一种用于识别信息的方法，包括：响应于接收到与采用如权利要求1-4之一所述的方法生成的用于进行深度学习预测的模型相关联的待识别信息，确定当前所处的预测模式，其中，预测模式包括用于指示在目标设备本地进行预测的离线预测模式，所述目标设备是所述用于进行深度学习预测的模型所在的设备；响应于确定当前处于离线预测模式，利用所述用于进行深度学习预测的模型对所述待识别信息进行识别。6.根据权利要求5所述的方法，其中，预测模式还包括混合模式，混合模式用于指示基于网络状况选取进行在线预测或离线预测；以及所述方法还包括：响应于确定当前处于混合模式，确定所述目标设备当前是否与云服务器通信连接；响应于确定所述目标设备当前未与所述云服务器通信连接，利用所述用于进行深度学习预测的模型对所述待识别信息进行识别。7.根据权利要求5或6所述的方法，其中，在利用所述用于进行深度学习预测的模型对所述待识别信息进行识别之前，所述方法还包括：响应于检测到计算加速指令，基于预设的所述目标设备的设备信息，确定所述目标设备是否包括与所述计算加速指令相关联的异构计算芯片，其中，所述计算加速指令响应于预设的计算加速选项被选中而生成，所述计算加速选项包括以下至少一项：用于指示调用网络处理器进行计算加速的第一计算加速选项、用于指示调用图形处理器进行计算加速的第二计算加速选项、用于指示调用现场可编程门阵列进行计算加速的第三计算加速选项；响应于确定所述目标设备包括所述异构计算芯片，将所述用于进行深度学习预测的模型中的与所述异构计算芯片相关联的层的运算调度至所述异构计算芯片上执行。8.一种用于生成模型的装置，包括：获取单元，被配置成获取待转换模型、所述待转换模型的拓扑结构描述信息和目标设备的设备信息；转换单元，被配置成基于所述拓扑结构描述信息和所述设备信息，对所述待转换模型的参数和算子进行转换，得到适用于所...

【专利技术属性】
技术研发人员：谢永康，施恩，陈晓宇，李曙鹏，阮世珉，吴拓邦，赵颖，张亮伙，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11