一种训练图处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种训练图处理方法、装置、设备及存储介质。包括：获取训练图，根据预置的节点清单确定第一记录数据；根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。通过节点清单确定不需要插入转换算子的权重或权重梯度以生成第一记录数据，通过训练图建立优化器的权重联动关系，进而生成第二记录数据，当检测到发送数据时可以通过判断权重张量实现对第一记录数据和第二记录数据的修改，最终生成训练图处理结果，避免芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题，提升了训练性能。提升了训练性能。提升了训练性能。

【技术实现步骤摘要】
一种训练图处理方法、装置、设备及存储介质


[0001]本专利技术涉及图训练
，尤其涉及一种训练图处理方法、装置、设备及存储介质。

技术介绍

[0002]当前很多深度学习平台(如pytorch\mindspore\paddlepaddle等)其存储格式通常为channel
‑
first(比如NCHW NCDHW)，因为与ASIC存在格式上的不匹配，为了保证功能或提高性能，必须在对接时加入一系列额外的格式转换算子，但是转换算子的数量过多会导致性能下降。
[0003]现有技术在对接时采用的处理方式一般是两种，一种是直接开发第三方框架要求格式的算子，在此基础上尽量提升该算子的计算性能，这种情况下自然也就不存在格式转换的问题。
[0004]但此方法对于ASIC芯片的性能提升有限，会影响ASIC芯片的性能发挥，另一种方式是在图的基础上优化。即拿到一张计算训练图，通过一些处理技术来尽可能的消除图中的转换算子，但是该种方式由于将问题的解决边界锁定在了当前计算图上，其权重部分相关的前反向转换算子在图上是无法消除的。

技术实现思路

[0005]本专利技术提供了一种训练图处理方法、装置、设备及存储介质，以解决芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题。
[0006]根据本专利技术的一方面，提供了一种训练图处理方法，该方法包括：
[0007]获取训练图，根据预置的节点清单确定第一记录数据；
[0008]根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；
[0009]当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。
[0010]可选的，获取训练图，包括：获取用户输入的计算图；确定计算图对应的网络结构；当网络结构中包括优化器时，将计算图作为训练图。
[0011]可选的，根据预置的节点清单确定第一记录数据，包括：根据预置的节点清单确定目标节点，其中，目标节点为不需要插入转换算子的计算节点；确定目标节点对应的第一权重数据，其中，权重数据包括第一权重和第一权重梯度；按照指定格式对第一权重梯度和第一权重进行修改，以生成第一记录数据。
[0012]可选的，根据预置的节点清单确定目标节点，包括：获取训练图中各计算节点，并确定各计算节点对应的节点类型；确定节点清单包含中的目标节点类型；根据目标节点类型对各节点类型进行筛选，以获取与目标节点类型匹配的计算节点作为目标节点。
[0013]可选的，根据训练图建立优化器的权重联动关系，包括：识别训练图中的各优化器以及优化器联动关系；读取各优化器的输入参数以确定各优化器对应的第二权重数据；将
第二权重数据与优化器联动关系相结合以生成权重联动关系。
[0014]可选的，根据权重联动关系确定第二记录数据，包括：基于第一权重梯度对权重联动关系进行修改，以生成第二记录数据。
[0015]可选的，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果，包括：确定发送数据中指定节点的权重张量；当权重张量位于第一记录数据或第二记录数据时，将指定节点反变换回原始形状，以生成训练图处理结果。
[0016]根据本专利技术的另一方面，提供了一种训练图处理方法，该装置包括：
[0017]第一记录数据确定模块，用于获取训练图，根据预置的节点清单确定第一记录数据；
[0018]第二记录数据确定模块，用于根据训练图建立优化器的权重联动关系，根据权重联动关系确定第二记录数据；
[0019]训练图处理结果生成模块，用于当检测到发送数据时，根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。
[0020]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0021]至少一个处理器；以及
[0022]与所述至少一个处理器通信连接的存储器；其中，
[0023]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的一种训练图处理方法。
[0024]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的一种训练图处理方法。
[0025]本专利技术实施例的技术方案，通过节点清单确定不需要插入转换算子的权重或权重梯度以生成第一记录数据，通过训练图建立优化器的权重联动关系，进而生成第二记录数据，当检测到发送数据时可以通过判断权重张量实现对第一记录数据和第二记录数据的修改，最终生成训练图处理结果，避免芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多，模型训练效率低的问题，提升了训练性能。
[0026]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是根据本专利技术实施例一提供的一种训练图处理方法的流程图；
[0029]图2是根据本专利技术实施例一提供的另一种训练图处理方法的流程图；
[0030]图3是根据本专利技术实施例一提供的一种训练图的网络结构示意图；
[0031]图4是根据本专利技术实施例二提供的另一种训练图处理方法的流程图；
[0032]图5是根据本专利技术实施例二提供的一种训练图运行过程示意图；
[0033]图6是根据本专利技术实施例三提供的一种训练图处理装置的结构示意图；
[0034]图7是实现本专利技术实施例的一种训练图处理方法的电子设备的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0036]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练图处理方法，其特征在于，包括：获取训练图，根据预置的节点清单确定第一记录数据；根据所述训练图建立优化器的权重联动关系，根据所述权重联动关系确定第二记录数据；当检测到发送数据时，根据所述发送数据、所述第一记录数据和所述第二记录数据生成训练图处理结果。2.根据权利要求1所述的方法，其特征在于，所述获取训练图，包括：获取用户输入的计算图；确定所述计算图对应的网络结构；当所述网络结构中包括优化器时，将所述计算图作为所述训练图。3.根据权利要求1所述的方法，其特征在于，所述根据预置的节点清单确定第一记录数据，包括：根据预置的节点清单确定目标节点，其中，所述目标节点为不需要插入转换算子的计算节点；确定所述目标节点对应的第一权重数据，其中，所述权重数据包括第一权重和第一权重梯度；按照指定格式对所述第一权重梯度和所述第一权重进行修改，以生成所述第一记录数据。4.根据权利要求3所述的方法，其特征在于，所述根据预置的节点清单确定目标节点，包括：获取所述训练图中各计算节点，并确定各所述计算节点对应的节点类型；确定所述节点清单包含中的目标节点类型；根据所述目标节点类型对各所述节点类型进行筛选，以获取与所述目标节点类型匹配的计算节点作为所述目标节点。5.根据权利要求1所述的方法，其特征在于，所述根据所述训练图建立优化器的权重联动关系，包括：识别所述训练图中的各优化器以及优化器联动关系；读取各所述优化器的输入参数以确定各所述优化器对应的第二权重数据；将所述第二权重数据与所述优化器联动关系相结合以...

【专利技术属性】
技术研发人员：万学磊，王正俊，田野，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：