模型推理加速方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种模型推理加速方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取基于动态语言训练得到的原始深度学习模型，获取基于动态语言对原始深度学习模型中的目标对象进行的第一描述，与基于预定静态语言对原始深度学习模型中的目标对象进行的第二描述间的对应关系，基于对应关系将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。本公开解决了相关技术中，难以将用动态语言训练的深度学习模型转化为适用于深度学习推理优化器的静态语言模型的问题。型的问题。型的问题。

【技术实现步骤摘要】
模型推理加速方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及模型推理加速方法、装置、电子设备及存储介质。

技术介绍

[0002]深度学习模型推理加速技术用于降低深度学习模型的推理时延。
[0003]相关技术中，通常采用深度学习推理优化器对深度学习模型进行推理加速。但深度学习模型通常是基于动态语言训练得到的，而深度学习推理优化器的语言属性为静态语言，因此，在采用深度学习推理优化器对深度学习模型进行推理加速时，需要将用动态语言训练的深度学习模型转化为适用于深度学习推理优化器的静态语言模型。而相关技术中，存在难以将用动态语言训练的深度学习模型转化为适用于深度学习推理优化器的静态语言模型的问题。

技术实现思路

[0004]本公开提供了一种用于模型推理加速方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种模型推理加速方法，包括：获取基于动态语言训练得到的原始深度学习模型；获取第一描述与第二描述之间的对应关系，其中，第一描述为基于动态语言对原始深度学习模型中的目标对象所进行的描述，第二描述为基于预定静态语言对原始深度学习模型中的目标对象所进行的描述；基于对应关系，将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型；将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0006]可选地，基于对应关系，将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型，包括以下至少之一：在目标对象为原始深度学习模型中的变量的情况下，对原始深度学习模型中的变量进行类型注释，其中，类型注释用于标识变量的类型为变量在预定静态语言识别出的目标类型；在目标对象为原始深度学习模型中预定静态语言不支持的原始算子的情况下，将原始算子替换为预定静态语言支持的目标算子；在目标对象为原始深度学习模型中预定静态语言不支持的原始语法的情况下，将原始语法替换为预定静态语言支持的目标语法。
[0007]可选地，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：检测目标深度学习模型中的第一算子在预定的深度学习推理优化器中是否存在有映射关系的第二算子，其中，第一算子为目标深度学习模型中的任意一个算子；通过将目标深度学习模型中的第一算子映射为对应的第二算子，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0008]可选地，通过将目标深度学习模型中的第一算子映射为对应的第二算子，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：在目标深度学习模型中的多个第一算子分别存在有映射关系的第二算子的情况下，并且，
多个第一算子分别存在有映射关系的第二算子中存在连续算子的情况下，对连续算子进行融合，得到融合算子；采用融合算子替换连续算子，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0009]可选地，对连续算子进行融合，得到融合算子，包括：确定连续算子中待融合算子；对待融合算子进行融合，得到融合算子。
[0010]可选地，确定连续算子中待融合算子，包括：基于连续算子，确定多种融合方式；分别获取多种融合方式的权重值；基于多种融合方式的权重值，从多种融合方式中确定出目标融合方式；确定目标融合方式所包括的算子为连续算子中的待融合算子。
[0011]可选地，在将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型之后，还包括：对优化的目标深度学习模型进行编译，得到编译后的模型；接收待预测数据；将待预测数据输入编译后的模型，得到预测结果数据。
[0012]根据本公开的另一方面，提供了一种模型推理加速装置，包括：第一获取模块，用于获取基于动态语言训练得到的原始深度学习模型；第二获取模块，用于获取第一描述与第二描述之间的对应关系，其中，第一描述为基于动态语言对原始深度学习模型中的目标对象所进行的描述，第二描述为基于预定静态语言对原始深度学习模型中的目标对象所进行的描述；转换模块，用于基于对应关系，将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型；映射模块，用于将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0013]可选地，转换模块包括以下至少之一：注释单元，用于在目标对象为原始深度学习模型中的变量的情况下，对原始深度学习模型中的变量进行类型注释，其中，类型注释用于标识变量的类型为变量在预定静态语言识别出的目标类型；第一替换单元，用于在目标对象为原始深度学习模型中预定静态语言不支持的原始算子的情况下，将原始算子替换为预定静态语言支持的目标算子；第二替换单元，用于在目标对象为原始深度学习模型中预定静态语言不支持的原始语法的情况下，将原始语法替换为预定静态语言支持的目标语法。
[0014]可选地，加载模块包括：检测单元，用于检测目标深度学习模型中的第一算子在预定的深度学习推理优化器中是否存在有映射关系的第二算子，其中，第一算子为目标深度学习模型中的任意一个算子；映射单元，用于通过将目标深度学习模型中的第一算子映射为对应的第二算子，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0015]可选地，映射单元包括：融合子单元，用于在目标深度学习模型中的多个第一算子分别存在有映射关系的第二算子的情况下，并且，多个第一算子分别存在有映射关系的第二算子中存在连续算子的情况下，对连续算子进行融合，得到融合算子；映射子单元，用于采用融合算子替换连续算子，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。
[0016]可选地，融合子单元包括：确定次子单元，用于确定连续算子中待融合算子；融合次子单元，用于对待融合算子进行融合，得到融合算子。
[0017]可选地，确定次子单元还用于：基于连续算子，确定多种融合方式；分别获取多种融合方式的权重值；基于多种融合方式的权重值，从多种融合方式中确定出目标融合方式；确定目标融合方式所包括的算子为连续算子中的待融合算子。
[0018]可选地，装置还包括：编译模块，用于对优化的目标深度学习模型进行编译，得到编译后的模型；接收模块，用于接收待预测数据；预测模块，用于将待预测数据输入编译后的模型，得到预测结果数据。
[0019]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
[0020]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一项的方法。
[0021]根据本公开的另一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型推理加速方法，包括：获取基于动态语言训练得到的原始深度学习模型；获取第一描述与第二描述之间的对应关系，其中，所述第一描述为基于所述动态语言对所述原始深度学习模型中的目标对象所进行的描述，所述第二描述为基于预定静态语言对所述原始深度学习模型中的所述目标对象所进行的描述；基于所述对应关系，将所述原始深度学习模型中的所述目标对象转换为基于所述预定静态语言描述的对象，得到目标深度学习模型；将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。2.根据权利要求1所述的方法，其中，所述基于所述对应关系，将所述原始深度学习模型中的所述目标对象转换为基于所述预定静态语言描述的对象，得到目标深度学习模型，包括以下至少之一：在所述目标对象为所述原始深度学习模型中的变量的情况下，对所述原始深度学习模型中的所述变量进行类型注释，其中，所述类型注释用于标识所述变量的类型为所述变量在所述预定静态语言识别出的目标类型；在所述目标对象为所述原始深度学习模型中所述预定静态语言不支持的原始算子的情况下，将所述原始算子替换为所述预定静态语言支持的目标算子；在所述目标对象为所述原始深度学习模型中所述预定静态语言不支持的原始语法的情况下，将所述原始语法替换为所述预定静态语言支持的目标语法。3.根据权利要求1所述的方法，其中，所述将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：检测所述目标深度学习模型中的第一算子在所述预定的深度学习推理优化器中是否存在有映射关系的第二算子，其中，所述第一算子为所述目标深度学习模型中的任意一个算子；通过将所述目标深度学习模型中的第一算子映射为对应的所述第二算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。4.根据权利要求3所述的方法，其中，所述通过将所述目标深度学习模型中的第一算子映射为对应的所述第二算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：在所述目标深度学习模型中的多个第一算子分别存在有映射关系的第二算子的情况下，并且，所述多个第一算子分别存在有映射关系的第二算子中存在连续算子的情况下，对所述连续算子进行融合，得到融合算子；采用所述融合算子替换所述连续算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。5.根据权利要求4所述的方法，其中，所述对所述连续算子进行融合，得到融合算子，包括：确定所述连续算子中待融合算子；对所述待融合算子进行融合，得到融合算子。6.根据权利要求5所述的方法，其中，所述确定所述连续算子中待融合算子，包括：
基于所述连续算子，确定多种融合方式；分别获取所述多种融合方式的权重值；基于所述多种融合方式的权重值，从所述多种融合方式中确定出目标融合方式；确定所述目标融合方式所包括的算子为所述连续算子中的待融合算子。7.根据权利要求1至6中任一项所述的方法，其中，在所述将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型之后，还包括：对优化的目标深度学习模型进行编译，得到编译后的模型；接收待预测数据；将所述待预测数据输入所述编译后的模型，得到预测结果数据。8.一种模型推理加速装置，包括：第一获取模块，用于获取基于动态语言训练得到的原始深度学习模型；第二获取模块，用于获取第一描述与第二描述之间的对应关系，其中，...

【专利技术属性】
技术研发人员：黄贲，田津津，王锐，田少卿，林晓春，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：