【技术实现步骤摘要】
本申请涉及编译器领域，尤其涉及一种算子运行方式的配置方法、装置及相关系统。
技术介绍
1、对于人工智能(artificial intelligence，ai)专用芯片上运行ai模型，最关注的两点就是芯片的精度与性能，即计算结果是否精准，计算速度是否迅速。而一个ai芯片的算力是固定的，例如：昇腾710ai处理器在vector类计算上对于float16的计算速度要比float32的计算速度快一倍，甚至在某些计算上算力差距更是超过2倍。对于这种普遍的算力差距，业界均使用混合精度的办法，例如：将ai模型的某些层的运算类型转换为fp16的计算，某些层的计算仍然保持fp32的计算，这种整个ai模型中既包含fp16也包含fp32的混合精度计算的办法，来提升整个ai模型的执行效率，同时精度也不会有很大的损失。
2、但是同一个芯片在不同类型的运算上的计算效率也存在很大的差异，例如：exp，log这些运算芯片对于除法的计算效率远低于加法、减法、乘法、求倒数的运算。现有的ai框架没有提供一个很好的扩展能力，只能按照固定的处理方式进行运算，给ai模型的性能与精度调优带来了不便。
技术实现思路
1、本申请实施例提供一种算子运行方式的配置方法、装置及相关系统，以保证算子模型中算子的运算精度同时提高算子的运算性能。
2、第一方面，本申请实施例提供了一种算子运行方式的配置方法，包括：基于算法模型确定m个算子节点对应的m个算子，其中，一个算子节点对应一个算子，每个所述算子属于n类算子中的一类
3、在第一方面提供的实施例中，在确定算子模型m个算子节点的每个算子节点对应的算子，以及，m个算子对应的n类算子后，可以根据每类所述算子对应的配置参数或每个所述算子节点对应的配置选项，配置所述算法模型中所述m个算子的运行方式。其中，n类算子每类所述算子均可以有多种不同运算精度和/或运算速度的运行方式，进而导致算法模型也可以有多种运行方式，也为了保证算子模型中算子的运算精度同时提高算子的运算性能，本申请实施例可以根据算子模型的运算特点，基于算法模型中每类所述算子对应的配置参数或者基于算法模型中每个所述算子节点对应的配置选项，配置所述算法模型中m个算子的运行方式。上述通过配置参数或者配置选项，配置所述算法模型的运行方式的方法可以避免现有技术中算法模型只能按照固定的处理方式进行运算，使得算法模型的性能与精度的优化更加灵活。
4、在一种可能实现的方式中，所述方法还包括：在所述n类算子中每类算子对应的算子接口中设置每类算子对应的所述配置参数；所述基于每类所述算子对应的配置参数，分别配置所述算法模型中所述m个算子的运行方式，包括：通过所述n类算子中每类算子对应的算子接口，分别调用所述n类算子并获取对应的所述配置参数；基于所述n类算子中每类所述算子对应的配置参数，配置所述算法模型中所述n类算子中每类所述算子分别对应的运行方式。
5、在本申请实施例中，在算子实现接口中设置每类算子对应的配置参数，可以实现算子级别的精度模式设置。在通过每类算子对应的算子接口调用该类算子时，可以根据算子实现接口中配置参数不同编译不同运行方式的算子，最终实现算子模型的精度和/或性能的调整，使得算法模型的性能与精度的优化更加灵活。
6、在一种可能实现的方式中，所述配置参数为目标配置参数、默认配置参数、调优配置参数中的一种；其中，所述目标配置参数用于指示对应算子以目标运行方式运行，所述目标运行方式为所述多种运行方式中的一种；所述默认配置参数用于指示对应算子以最高运算精度的运行方式或最快运算速度的运行方式运行；所述调优配置参数用于指示对应算子以最优运行方式运行，所述最优运行方式为基于所述算子模型确定的与所述最高运算精度的运行方式的运算结果误差在预设阈值范围内且运算速度最快的一种运行方式。
7、在本申请实施例中，配置参数可以分成三类，例如：配置参数可以为目标配置参数、默认配置参数、调优配置参数中的任意一种。其中，目标配置参数可以用于指示用户设置的一种运行方式；默认配置参数可以用于指示该类算子以最高运算精度的运行方式或最快运算速度的运行方式运行；调优配置参数可以用于指示以在当前算子模型的运算特征下的最优运行方式运行。
8、在一种可能实现的方式中，所述配置参数包括对应运行方式的配置路径；所述基于所述n类算子中每类所述算子对应的配置参数，配置所述算法模型中所述n类算子中每类所述算子分别对应的运行方式，包括：基于所述n类算子中每类所述算子对应的配置参数，获取所述n类算子中每类所述算子对应运行方式的配置路径；基于所述配置路径读取对应的配置文件，以配置所述对应类型算子在所述算法模型运算过程中的运行方式。
9、在本申请实施例中，配置参数可以包括对应运行方式配置路径。该配置路径用于指示对应运行方式的配置文件，该配置文件包括相关的配置信息，以便在读取该配置文件后配置对应类型算子在所述算法模型运算过程中的运行方式。例如：第一类算子的配置参数为目标配置参数时，可以包括目标运行方式的配置路径，基于该目标运行方式的配置路径读取目标运行方式的配置文件；再根据该配置文件配置第一类算子以目标运行方式运行。
10、在一种可能实现的方式中，所述基于算法模型确定m个算子节点对应的m个算子，包括：接收输入信息并基于所述输入信息确定所述m个算子节点以及每个所述算子节点对应的所述配置选项；其中，所述配置选项包括目标配置参数、默认配置参数、调优配置参数中的一种；所述基于每个所述算子节点对应的配置选项，配置所述算法模型中所述m个算子的运行方式，包括：通过所述n类算子中每类算子对应的算子接口，分别调用所述n类算子；基于每个所述算子节点对应的配置选项，配置所述算法模型中所述m个算子节点中每个所述算子节点对应的算子的运行方式。
11、在本申请实施例中，除了在算子实现接口中设置每类算子对应的配置参数之外，还可以基于用户的输入信息设置每个算子节点对应的配置选项，实现算子节点级别的精度模式设置，即处于不同算子节点的同类型算子可以被配置不同的运行方式。该配置选项同配置参数也可以在三种配置参数中选择一种进行设置，在进行模型编译时，每个算子节点通过对应类型的算子接口调用该类算子时，可以根据该算子节点对应的配置选项配置该算子节点的算子的运行方式，最终实现算子模型的精度和/或性能的调整，使得算法模型的性能与精度的优化更加灵活。
12、在一种可能实现的方式中，所述方法还包括：基于所述m个算子的运行方式，编译并运行所述算法模型。
13、在本申请实施例中，在确定m个算子的运行方式后，可以根据该m个算子的运行方式编译算子模型，最终实本文档来自技高网...
【技术保护点】
1.一种算子运行方式的配置方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述方法，其特征在于，所述配置参数为目标配置参数、默认配置参数、调优配置参数中的一种；
4.根据权利要求1-3任意一项所述方法，其特征在于，所述配置参数包括对应运行方式的配置路径；
5.根据权利要求1所述方法，其特征在于，所述基于算法模型确定M个算子节点对应的M个算子，包括：
6.根据权利要求1-5任意一项所述方法，其特征在于，所述方法还包括：
7.一种算子运行方式的配置装置，其特征在于，包括：
8.根据权利要求7所述装置，其特征在于，所述装置还包括：
9.根据权利要求7或8所述装置，其特征在于，所述配置参数为目标配置参数、默认配置参数、调优配置参数中的一种；
10.根据权利要求7-9任意一项所述装置，其特征在于，所述配置参数包括对应运行方式的配置路径；
11.根据权利要求7所述装置，其特征在于，所述确定单元，还用于：
13.一种算子运行方式的配置系统，其特征在于，包括：
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，当所述计算机程序被计算机或处理器执行时，使得所述计算机或所述处理器执行如权利要求1-6中任意一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机或处理器执行时实现上述权利要求1-6任意一项所述的方法。
...【技术特征摘要】
1.一种算子运行方式的配置方法，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述方法，其特征在于，所述配置参数为目标配置参数、默认配置参数、调优配置参数中的一种；
4.根据权利要求1-3任意一项所述方法，其特征在于，所述配置参数包括对应运行方式的配置路径；
5.根据权利要求1所述方法，其特征在于，所述基于算法模型确定m个算子节点对应的m个算子，包括：
6.根据权利要求1-5任意一项所述方法，其特征在于，所述方法还包括：
7.一种算子运行方式的配置装置，其特征在于，包括：
8.根据权利要求7所述装置，其特征在于，所述装置还包括：
9.根据权利要求7或8所述装置，其特征在于，所述配置参数为目标配...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。