模型运行方法、装置、计算机设备、存储介质和程序产品制造方法及图纸

本申请涉及一种模型运行方法、装置、计算机设备、存储介质和程序产品。方法包括：获取融合算子对应的融合算子计算图，融合算子计算图是用于描述融合算子的计算图，融合算子计算图为神经网络模型的模型计算图中子图；基于融合算子计算图生成融合算子对应的融合算子执行器，融合算子执行器中包含描述对象、策略确定函数及执行函数，描述对象用于描述融合算子；通过策略确定函数从描述对象中确定融合算子的算子信息，基于算子信息从融合算子的多个实现策略中确定目标实现策略；在执行模型计算图以运行神经网络模型的过程中，当执行到融合算子计算图时，调用执行函数执行目标实现策略以实现执行融合算子计算图。采用本方法能够提升模型运行效率。

【技术实现步骤摘要】

本申请涉及互联网和计算机，特别是涉及一种模型运行方法、装置、计算机设备、存储介质和程序产品。

技术介绍

1、随着深度学习的发展，算子融合变得越来越重要，算子融合可以将多个小算子融合成一个大算子，可以有效减少访存和启动开销，提高模型的运行性能。目前miopen提供了一套fusion api（application programming interface，应用程序编程接口）方案支持算子融合。miopen是开源高性能深度学习库，用于加速机器学习计算。

2、然而，用户基于fusion api添加新的融合算子模式需要进行大量的开发工作，生成融合算子的效率较低，且由于基于现有方式生成的融合算子，使得模型运行期存在重复执行算子选优的过程，导致模型运行过程中消耗较多的资源，从而影响了模型运行效率。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升模型运行效率的模型运行方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一方面，本申请提供了一种模型运行方法，包括：获取本文档来自技高网...

【技术保护点】

1.一种模型运行方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述融合算子执行器中还包含选优函数，所述描述对象中包含所述融合算子中元素及元素对应的参数获取函数，所述元素为张量或算子，所述通过所述策略确定函数从所述描述对象中确定所述融合算子的算子信息，从基于所述算子信息生成的多个实现策略中确定目标实现策略，包括：

3.根据权利要求2所述的方法，其特征在于，所述融合算子执行器中还包含工作空间尺寸参数及尺寸获取函数，所述通过所述策略确定函数调用所述选优函数，以使得所述选优函数基于所述算子信息生成所述融合算子的多个实现策略，包括：

...

【技术特征摘要】

1.一种模型运行方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述融合算子执行器中还包含选优函数，所述描述对象中包含所述融合算子中元素及元素对应的参数获取函数，所述元素为张量或算子，所述通过所述策略确定函数从所述描述对象中确定所述融合算子的算子信息，从基于所述算子信息生成的多个实现策略中确定目标实现策略，包括：

3.根据权利要求2所述的方法，其特征在于，所述融合算子执行器中还包含工作空间尺寸参数及尺寸获取函数，所述通过所述策略确定函数调用所述选优函数，以使得所述选优函数基于所述算子信息生成所述融合算子的多个实现策略，包括：

4.根据权利要求1至3中任一所述的方法，其特征在于，所述基于所述融合算子计算图生成所述融合算子对应的融合算子执行器，包括：

5.根据权利要求4所述的方法，其特征在于，所述在所述描述对象模版中添加所述多个元素，以将所述描述对象模版转为所述融合算子对应的描述对象，...

【专利技术属性】
技术研发人员：钱青，文进辉，张锋印，
申请(专利权)人：曙光信息产业股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人