模型的处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种模型的处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，进一步涉及深度学习领域，以至少解决相关技术中对模型进行优化的优化效率较低的技术问题。具体实现方案为：获取初始模型中多个核函数的计算顺序和目标算法；对多个核函数进行分类，得到分类结果；基于分类结果和计算顺序，确定目标子图；利用目标算法和目标子图对初始模型进行优化，得到目标模型。得到目标模型。得到目标模型。

【技术实现步骤摘要】
模型的处理方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及一种模型的处理方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中的深度学习模型，都是对模型整体进行优化，但当模型中的部分核函数与优化算法不匹配时，优化算法依然会对不匹配的部分核函数进行优化，进而导致模型的优化算法的优化效率低。

技术实现思路

[0003]本公开提供了一种模型的处理方法、装置、电子设备及存储介质，以至少解决相关技术中对模型进行优化的优化效率较低的技术问题。
[0004]根据本公开的一方面，提供了一种模型的处理方法，包括：获取初始模型中多个核函数的计算顺序和目标算法，其中，多个核函数用于表示初始模型的多个计算操作；对多个核函数进行分类，得到分类结果，其中，分类结果用于表示多个核函数是否支持目标算法；基于分类结果和计算顺序，确定目标子图，其中，目标子图用于表示目标核函数的运算过程，目标核函数用于表示支持目标算法的核函数；利用目标算法和目标子图对初始模型进行优化，得到目标模型。
[0005]根据本公开的又一方面，提供了一种模型的处理装置，包括：获取模块，用于获取初始模型中多个核函数的计算顺序和目标算法，其中，多个核函数用于表示初始模型的多个计算操作；分类模块，用于对多个核函数进行分类，得到分类结果，其中，分类结果用于表示多个核函数是否支持目标算法；确定模块，用于基于分类结果和计算顺序，确定目标子图，其中，目标子图用于表示目标核函数的运算过程，目标核函数用于表示支持目标算法的核函数；优化模块，用于利用目标算法和目标子图对初始模型进行优化，得到目标模型。
[0006]根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的模型的处理方法。
[0007]根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的模型的处理方法。
[0008]根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的模型的处理方法。
[0009]在本公开中，首先确定初始模型中多个核函数的计算顺序和目标算法，其次对多个核函数进行分类，然后基于分类结果和计算顺序可以确定目标子图，最后利用目标算法和目标子图对初始模型进行优化，达到了能够对模型中的部分核函数使用优化算法的目的，解决了相关技术中部分核函数与优化算法不匹配时，优化算法依然会对不匹配的部分核函数进行优化的技术问题，实现了能够对模型中与优化算法匹配的核函数使用优化算
法，对与优化算法不匹配的核函数进行去除的效果，从而解决了对模型进行优化的优化效率较低的技术问题
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开实施例的一种用于实现模型的处理方法的计算机终端(或移动设备)的硬件结构框图；
[0013]图2是根据本公开实施例的一种模型的处理方法的流程图；
[0014]图3是根据本公开实施例的一种可选的子图优化的示意图；
[0015]图4是根据本公开实施例的一种模型的处理装置的结构框图。
具体实施方式
[0016]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0017]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0018]现有技术方案中，通常对模型整体进行优化或对单独部分核函数(kernel)优化。这种方案通常有部分缺陷，比如包含长序列长短期记忆(Long short
‑
term memory，Lstm)使用静态图优化算法(cuda_graph)会带来巨大的显存负担，连续多个注意力机制(attention)计算间密排算法的去除/增加填充(padding)操作会带来数据流入和流出(Input/output，io)负担，降低计算速度。
[0019]整体优化方案：因部分原因，某些优化方案可能不适用于某些运算符(operator，op)，导致无法对模型整体进行优化。比如在整句模式下，长语音识别的Lstm，因为存在循环展开，导致生成的cuda_graph过于庞大，抢占图形处理器(Graphic Process Unit，GPU)资源，影响最终模型上线。
[0020]kernel单独优化：对于部分优化方案，不适用于对某个op单独优化。比如密排算法，如果在需要被优化的kernel运算前后增加去除/恢复padding的操作，则会带来大量的读写操作，增加模型前向推理耗时。
[0021]根据本公开实施例，提供了一种模型的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图
中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0022]本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。图1示出了一种用于实现模型的处理方法的计算机终端(或移动设备)的硬件结构框图。
[0023]如图1所示，计算机终端100包括计算单元101，其可以根据存储在只读存储器(ROM)102中的计算机程序或者从存储单元108加载到随机访问存储器(RAM)103中的计算机程序，来执行各种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的处理方法，包括：获取初始模型中多个核函数的计算顺序和目标算法，其中，所述多个核函数用于表示所述初始模型的多个计算操作；对所述多个核函数进行分类，得到分类结果，其中，所述分类结果用于表示所述多个核函数是否支持所述目标算法；基于所述分类结果和所述计算顺序，确定目标子图，其中，所述目标子图用于表示目标核函数的运算过程，所述目标核函数用于表示支持所述目标算法的核函数；利用所述目标算法和所述目标子图对所述初始模型进行优化，得到目标模型。2.根据权利要求1所述的方法，利用所述目标算法和所述目标子图对所述初始模型进行优化，得到目标模型，包括：确定与所述目标算法对应的目标操作，其中，所述目标操作用于表示所述目标算法对所述目标子图进行优化时对应的操作；基于所述目标操作和所述目标子图对所述初始模型进行优化，得到所述目标模型。3.根据权利要求2所述的方法，在所述目标算法为静态图优化算法时，基于所述目标操作和所述目标子图对所述初始模型进行优化，得到所述目标模型，包括：将所述目标子图封装为目标静态图；利用目标接口调用所述目标静态图，得到调用结果；基于所述调用结果和所述目标子图对所述初始模型进行优化，得到所述目标模型。4.根据权利要求2所述的方法，在所述目标算法为密排优化算法时，基于所述目标操作和所述目标子图对所述初始模型进行优化，得到所述目标模型，包括：获取初始输入字符，其中，所述初始输入字符为待输入至所述目标子图的输入字符；删除所述初始输入字符中的目标符号，得到目标输入字符；将所述目标输入字符输入至所述目标子图，输出初始输出字符；在所述初始输出字符中增加所述目标符号，得到目标输出字符；基于所述目标输入字符、所述目标输出字符和所述目标子图对所述初始模型进行优化，得到所述目标模型。5.根据权利要求1所述的方法，基于所述分类结果和所述计算顺序，确定目标核函数的目标子图，包括：基于所述分类结果和所述计算顺序，确定目标有向图，其中，所述目标有向图包括多个节点和至少一个有向边，所述多个节点与所述多个核函数对应，所述至少一个有向边用于表示所述多个核函数的计算顺序；基于第一节点对所述目标有向图的初始连通域进行处理，得到目标连通域，其中，所述第一节点对应的核函数不支持所述目标算法，所述目标连通域包含的节点对应所述目标核函数；基于所述目标连通域确定所述目标子图。6.根据权利要求5所述的方法，基于所述第一节点对所述目标有向图的初始连通域进行处理，得到目标连通域，包括：响应于所述初始连通域中包含所述第一节点，且所述第一节点存在有向边，确定所述第一节点对应的第一有向边；
删除所述初始连通域中的所述第一有向边，得到第一连通域，其中，所述第一连通域中包含第二节点，所述第二节点对应的核函数支持所述目标算法；基于所述第一节点对所述第一连通域进行处理，得到所述目标连通域。7.根据权利要求6所述的方法，基于所述第一节点对所述目标有向图的初始连通域进行处理，得到目标连通域，包括：响应于所述初始连通域中不包含所述第一节点，直接将所述初始连通域确定为所述目标连通域。8.根据权利要求6所述的方法，基于所述第一节点对所述第一连通域进行处理，得到所述目标连通域，包括：响应于所述第一连通域中存在目标节点，将所述第一连通域中的目标节点更新为所述第一节点，得到第二连通域，其中，所述目标节点对应于所述初始连通域中所述第一有向边指向的节点；确定所述第一节点对应的所述第一有向边；删除所述第二连通域中的所述第一有向边，得到所述目标连通域。9.根据权利要求8所述的方法，基于所述第一节点对所述第一连通域进行处理，得到所述目标连通域，包括：响应于所述第一连通域中不包含所述目标节点，直接将所述第一连通域确定为所述目标连通域。10.根据权利要求1所述的方法，对所述多个核函数进行分类，得到分类结果，包括：获取每个核函数对应的目标标识，其中，所述目标标识用于表示所述每个核函数是否支持所述目标算法；基于所述目标标识对所述多个核函数进行分类，得到所述分类结果。11.根据权利要求1所述的方法，所述目标模型为语音处理模型，所述方法还包括：利用所述语音处理模型对目标语音进行处理，得到语音处理结果。12.根据权利要求1所述的方法，所述目标模型为图像处理模型，所述方法还包括：利用所述图像处理模型对目标图像进行处理，得到图像处理结果。13.一种模型的处理装置，包括：获取模块，用于获取初始模型中多个核函数的计算顺序和目标算法，其中，所述多个核函数用于表示所述初始模型的多个计算操作；分类模块，用于对所述多个核函数进行分类，得到分类结果，其中，所述分类结果用于表示所述多个核函数是否支持所述目标算法；确定模块，用于基于所述分类结果和所述计算顺序，确定目标子图，其中，所述目标子图用于...

【专利技术属性】
技术研发人员：潘能超，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：