匹配算子的方法、计算设备和计算机可读存储介质技术

本公开涉及匹配算子的方法、计算设备和计算机可读存储介质。方法包括：获取待匹配的目标算子的参数；将目标算子的参数与提前编译类型静态形状参考算子的参考参数进行比较；以及如果目标算子的参数中的至少一个第一类型参数小于参考参数中的相应的第一类型参数，且目标算子的参数中的其他参数与参考参数中的相应的其他参考参数相同，则将提前编译类型静态形状参考算子作为候选的、与目标算子相匹配的算子，其中第一类型参数是与算子输入输出数据形状有关的参数。本公开所提供的技术方案泛化性好，对用户透明。对用户透明。对用户透明。

【技术实现步骤摘要】
匹配算子的方法、计算设备和计算机可读存储介质


[0001]本公开总体上涉及信息处理领域，并且具体地，涉及匹配算子的方法、计算设备和计算机可读存储介质。

技术介绍

[0002]在信息处理领域中，用于进行特定的信息处理功能的计算单元被称为算子（Operator，OP）。例如，在图形处理器（Graphics Processing Unit，GPU）进行深度学习时，通常利用卷积算子进行卷积运算，利用矩阵乘法算子进行矩阵乘法运算。在信息处理时，处理器（例如GPU）通常需根据期望调用的算子（以下称为目标算子）的参数，对可调用的算子（以下称为参考算子）的集合中的参考算子进行匹配，以获取与目标算子匹配的参考算子。例如，参考算子是提前编译（Ahead
‑
Of
‑
Time Compilation，AOT）类型静态形状（Static Shape）的算子。
[0003]传统的匹配算子的技术方案采用完全匹配（又称为精确匹配），仅在与目标算子的所有参数都一致的情况下，才能命中提前编译类型静态形状参考算子，从而提前编译类型静态形状参考算子仅能匹配特定的一种目标算子，泛化性差。另外，在传统的匹配算子的技术方案中，用户通常需要对待处理的数据进行预处理（例如，对待处理的数据填充0以将待处理的数据填充至特定的形状），使得预处理后的数据所对应的目标算子的参数能够与参考算子的集合中的特定参考算子的参考参数相同，以确保在匹配算子时能够满足完全匹配的要求，从而需用户参与，对用户不透明。
[0004]综上，传统的匹配算子的技术方案的不足之处在于：泛化性差，对用户不透明。

技术实现思路

[0005]针对上述问题，本公开提供了用于匹配算子的方法、计算设备和计算机可读存储介质，在所提供的技术方案中，泛化性好，对用户透明。
[0006]根据本公开的第一方面，提供了一种用于匹配算子的方法，方法包括：获取待匹配的目标算子的参数；将目标算子的参数与提前编译类型静态形状参考算子的参考参数进行比较；以及如果目标算子的参数中的至少一个第一类型参数小于参考参数中的相应的第一类型参数，且目标算子的参数中的其他参数与参考参数中的相应的其他参考参数相同，则将提前编译类型静态形状参考算子作为候选的、与目标算子相匹配的算子，其中第一类型参数是与算子输入输出数据形状有关的参数。
[0007]在一些实施例中，目标算子包括逐点运算类型算子、卷积算子、矩阵乘法算子和平均池化算子；目标算子不包括求平均类型算子、填充非零数值类型算子。
[0008]在一些实施例中，目标算子的参数中的第一类型参数经由以下各项确定：响应于目标算子是卷积算子，使得目标算子的参数中的第一类型参数包括输出通道、输入通道、输出高度、输出宽度、过滤器高度、过滤器宽度、批尺寸；或者响应于目标算子是矩阵乘法算子，使得目标算子的参数中的第一类型参数包括左矩阵高度、左矩阵宽度、右矩阵宽度、右
矩阵高度。
[0009]在一些实施例中，将目标算子的参数与提前编译类型静态形状参考算子的参考参数进行比较包括：获取存储有提前编译类型静态形状参考算子的参考参数的表格；以及将目标算子的参数与表格中所存储的提前编译类型静态形状参考算子的参考参数进行比较。
[0010]在一些实施例中，方法还包括：如果目标算子的参数中的每个参数均与参考参数中的相应的参考参数相同，则获取提前编译类型静态形状参考算子作为与目标算子相匹配的算子。
[0011]在一些实施例中，方法还包括：响应于将提前编译类型静态形状参考算子作为候选的、与目标算子相匹配的算子，进行以下各项：基于目标算子的参数，计算目标算子的计算量；基于提前编译类型静态形状参考算子的参考参数，计算提前编译类型静态形状参考算子的计算量；基于目标算子的计算量和提前编译类型静态形状参考算子的计算量，计算目标算子相对于提前编译类型静态形状参考算子的有效计算占比；判断有效计算占比是否满足约束条件；以及如果有效计算占比满足约束条件，则获取提前编译类型静态形状参考算子作为与目标算子相匹配的算子。
[0012]在一些实施例中，方法还包括：响应于所有的提前编译类型静态形状参考算子均不与目标算子相匹配，判断是否存在提前编译类型动态形状（Dynamic Shape）参考算子；以及如果存在提前编译类型动态形状参考算子，则获取提前编译类型动态形状参考算子作为与目标算子相匹配的算子。
[0013]在一些实施例中，方法还包括：如果不存在提前编译类型动态形状参考算子，则通过即时编译（Just
‑
In
‑
Time Compilation，JIT）来获取与目标算子相匹配的算子。
[0014]在一些实施例中，方法还包括：基于边界检查，对待处理的数据进行读取；调用与目标算子相匹配的提前编译类型静态形状参考算子以对所读取的数据进行处理；以及基于边界检查，存储处理后的数据根据本公开的第二方面，还提供了一种计算设备，计算设备包括：至少一个处理器；以及至少一个存储器，至少一个存储器被耦合到至少一个处理器并且存储用于由至少一个处理器执行的指令，指令当由至少一个处理器执行时，使得计算设备执行根据本公开的第一方面所述的方法。
[0015]根据本公开的第三方面，还提供了一种计算机可读存储介质，其上存储有计算机程序代码，计算机程序代码在被运行时执行根据本公开的第一方面所述的方法。
[0016]提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
[0017]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0018]图1图示了根据本公开实施例的用于匹配算子的计算设备的示意图。
[0019]图2图示了根据本公开实施例的用于匹配算子的方法的流程图。
[0020]图3图示了根据本公开实施例的用于匹配算子的方法的流程图。
[0021]图4图示了根据本公开实施例的用于匹配算子的方法的流程图。
[0022]图5图示了用于实现本公开实施例的示例性电子设备的框图。
具体实施方式
[0023]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例，不能将它们理解为对本申请保护范围的限定。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0024]在本公开中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于匹配算子的方法，其特征在于，所述方法包括：获取待匹配的目标算子的参数；将所述目标算子的参数与提前编译类型静态形状参考算子的参考参数进行比较；以及如果所述目标算子的参数中的至少一个第一类型参数小于所述参考参数中的相应的第一类型参数，且所述目标算子的参数中的其他参数与所述参考参数中的相应的其他参考参数相同，则将所述提前编译类型静态形状参考算子作为候选的、与所述目标算子相匹配的算子，其中所述第一类型参数是与算子输入输出数据形状有关的参数。2.根据权利要求1所述的方法，其特征在于，所述目标算子包括逐点运算类型算子、卷积算子、矩阵乘法算子和平均池化算子；所述目标算子不包括求平均类型算子、填充非零数值类型算子。3. 根据权利要求1所述的方法，其特征在于，所述目标算子的参数中的第一类型参数经由以下各项确定：响应于所述目标算子是卷积算子，使得所述目标算子的参数中的第一类型参数包括输出通道、输入通道、输出高度、输出宽度、过滤器高度、过滤器宽度、批尺寸；或者响应于所述目标算子是矩阵乘法算子，使得所述目标算子的参数中的第一类型参数包括左矩阵高度、左矩阵宽度、右矩阵宽度、右矩阵高度。4. 根据权利要求1所述方法，其特征在于，将所述目标算子的参数与提前编译类型静态形状参考算子的参考参数进行比较包括：获取存储有提前编译类型静态形状参考算子的参考参数的表格；以及将所述目标算子的参数与所述表格中所存储的提前编译类型静态形状参考算子的参考参数进行比较。5.根据权利要求1所述方法，其特征在于，所述方法还包括：如果所述目标算子的参数中的每个参数均与所述参考参数中的相应的参考参数相同，则获取所述提前编译类型静态形状参考算子作为与所述目标算子相匹配的算子。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于将所述提前编译类型静态形状...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：