【技术实现步骤摘要】
本公开涉及深度学习，尤其涉及一种模型算子的处理方法、装置、电子设备及存储介质。
技术介绍
1、在深度学习领域，重计算是实现大模型训练的技术路径之一。在现有的重计算过程中，统一对算子进行重计算，导致重计算的执行效率低。
技术实现思路
1、本公开提供了一种用于模型算子的处理方法、装置、电子设备及存储介质。
2、根据本公开的一方面，提供了一种模型算子的处理方法，包括：确定模型组网的算子集合，所述算子集合中包括多个算子；针对所述算子集合中的每个算子，确定所述算子的输出张量占用的存储量和所述算子前向计算时所耗费的计算时间；根据所述算子的所述存储量和所述计算时间，从所述算子集合中，确定所述模型中参与重计算的第一算子。
3、根据本公开的另一方面，提供了一种模型算子的处理装置，包括：第一确定模块，用于确定模型组网的算子集合，所述算子集合中包括多个算子；第二确定模块，用于针对所述算子集合中的每个算子，确定所述算子的输出张量占用的存储量和所述算子前向计算时所耗费的计算时间；第三确定模块，用于根据所述算子的所述存储量和所述计算时间，从所述算子集合中，确定所述模型中参与重计算的第一算子。
4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的模型算子的处理方法。
6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述一方面实施例所述的模型算子的处理方法。
7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种模型算子的处理方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述根据所述算子的所述存储量和所述计算时间，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
3.根据权利要求2所述的方法，其中，所述根据所述存储量和所述计算时间，确定所述算子的重计算评估参数，包括：
4.根据权利要求2所述的方法，其中，所述算子的重计算评估参数越大，所述算子参与重计算的可能性越大。
5.根据权利要求2-4中任一项所述的方法，其中，所述根据所述算子的重计算评估参数，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
6.根据权利要求2-4中任一项所述的方法，其中，所述根据所述算子的重计算评估参数，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
7.根据权利要求1-4中任一项所述的方法，其中，所述确定模型组网的算子集合，包括：
8.根据权利要求7所述的方法，其中，所述对所述目标类算子进行归并处理，得到所述算子集合，包括：
9.根据权利要求7所述的方法，
10.根据权利要求8所述的方法，其中，所述方法还包括：
11.根据权利要求1-4中任一项所述的方法，其中，所述从所述算子集合中，确定所述模型中参与重计算的第一算子之后，还包括：
12.根据权利要求11所述的方法，其中，所述基于所述第二算子的中间结果跳过对所述第二算子进行的后续重计算，包括：
13.根据权利要求12所述的方法，其中，所述基于所述第一算子的中间结果和所述第二算子的中间结果，执行所述模型的反向计算，包括：
14.根据权利要求12所述的方法，其中，所述方法还包括：
15.根据权利要求5所述的方法，其中，所述根据所述重计算评估参数，对所述算子集合中的算子进行排序，并基于排序结果从所述算子集合中，选取所述第一算子，包括：
16.一种模型算子的处理装置，其中，所述装置包括：
17.根据权利要求16所述的装置，其中，所述第三确定模块，还用于：
18.根据权利要求17所述的装置，其中，所述第三确定模块，还用于：
19.根据权利要求17所述的装置，其中，所述算子的重计算评估参数越大，所述算子参与重计算的可能性越大。
20.根据权利要求17-19中任一项所述的装置，其中，所述第三确定模块，还用于：
21.根据权利要求17-19中任一项所述的装置，其中，所述第三确定模块，还用于：
22.根据权利要求16-19中任一项所述的装置，其中，所述第一确定模块，还用于：
23.根据权利要求22所述的装置，其中，所述第一确定模块，还用于：
24.根据权利要求22所述的装置，其中，所述第一确定模块，还用于：
25.根据权利要求23所述的装置，其中，所述第三确定模块，还用于：
26.根据权利要求16-19中任一项所述的装置，其中，所述第三确定模块，还用于：
27.根据权利要求26所述的装置，其中，所述第三确定模块，还用于：
28.根据权利要求27所述的装置，其中，所述第三确定模块，还用于：
29.根据权利要求27所述的装置，其中，所述装置还包括：
30.根据权利要求20所述的装置，其中，所述第三确定模块，还用于：
31.一种电子设备，包括：
32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。
33.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-15中任一项所述的方法。
...【技术特征摘要】
1.一种模型算子的处理方法，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述根据所述算子的所述存储量和所述计算时间，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
3.根据权利要求2所述的方法，其中，所述根据所述存储量和所述计算时间，确定所述算子的重计算评估参数，包括：
4.根据权利要求2所述的方法，其中，所述算子的重计算评估参数越大，所述算子参与重计算的可能性越大。
5.根据权利要求2-4中任一项所述的方法，其中，所述根据所述算子的重计算评估参数，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
6.根据权利要求2-4中任一项所述的方法，其中，所述根据所述算子的重计算评估参数，从所述算子集合中，确定所述模型中参与重计算的第一算子，包括：
7.根据权利要求1-4中任一项所述的方法，其中，所述确定模型组网的算子集合，包括：
8.根据权利要求7所述的方法，其中，所述对所述目标类算子进行归并处理，得到所述算子集合，包括：
9.根据权利要求7所述的方法，其中，所述从所述候选算子中确定目标类算子，包括：
10.根据权利要求8所述的方法，其中，所述方法还包括：
11.根据权利要求1-4中任一项所述的方法，其中，所述从所述算子集合中，确定所述模型中参与重计算的第一算子之后，还包括：
12.根据权利要求11所述的方法，其中，所述基于所述第二算子的中间结果跳过对所述第二算子进行的后续重计算，包括：
13.根据权利要求12所述的方法，其中，所述基于所述第一算子的中间结果和所述第二算子的中间结果，执行所述模型的反向计算，包括：
14.根据权利要求12所述的方法，其中，所述方法还包括：
15.根据权利要求5所述的方法，其中，所述根据所述重计算评估参数，对所述算子集合...
【专利技术属性】
技术研发人员：沈亮，曾锦乐，郝宏翔，巩伟宝，于佃海，王海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。