文本处理模型的运行方法、装置、电子设备、及存储介质制造方法及图纸

本公开实施例公开了一种文本处理模型的运行方法、装置、电子设备、及存储介质，所述文本处理模型包括至少一个编码器层和至少一个解码器层，其特征在于，所述方法包括：获取输入文本向量；将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；其中，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。本实施例的技术方案能够降低GPU的显存的读写次数，能够提高运行效率。

Operation method, device, electronic equipment and storage medium of text processing model

【技术实现步骤摘要】
文本处理模型的运行方法、装置、电子设备、及存储介质
本公开实施例涉及自然语言处理
，具体涉及一种文本处理模型的运行方法、装置、电子设备、及存储介质。
技术介绍
在自然语言处理领域，通常采用序列到序列(seq2seq)模型进行处理，主要包括至少一个编码器和至少一个解码器。seq2seq模型的主要原理是：将源语句切分成词序列，输入编码器，输出隐含层的向量；隐含层向量作为解码器的输入，可在每个时间步生成一个目标词汇，后一个目标词汇是基于隐含层和前一个输出的目标词汇来生成的，最终目标词汇序列就构成了翻译的目标语句。通常，seq2seq模型进行自然语言处理时，模型运行的计算量非常大，以至于需要的处理时间较长，例如，基于Transformer模型在P4型号GPU上，翻译一句20个词的句子，大约需要1秒。这在动辄每秒几万翻译请求的业务场景中，无论从机器成本还是用户体验角度，都是难以接受的。
技术实现思路
有鉴于此，本公开实施例提供一种文本处理模型的运行方法、装置、电子设备、及存储介质，以降低GPU显存读写频率，能够提高运行效率。本公开实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开实施例的实践而习得。第一方面，本公开实施例提供了一种文本处理模型的运行方法，所述文本处理模型包括至少一个编码器层和至少一个解码器层，包括：获取输入文本向量；将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；其中，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。第二方面，本公开实施例还提供了一种文本处理模型的运行装置，所述文本处理模型包括至少一个编码器层和至少一个解码器层，其特征在于，所述装置包括：输入获取单元，用于获取输入文本向量；编码器层处理单元，用于将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；解码器层处理单元，用于将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；其中，所述编码器层处理单元在所述编码器层和/或所述解码器层处理单元在所述解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。第三方面，本公开实施例还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一项所述方法的指令。第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项所述方法的步骤。本公开实施例通过将输入的文本向量输入至少一个编码器层进行处理，以形成隐含层向量；将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量，其中，在编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。本公开实施例能够大幅度降低GPU的显存的读写频率，能够提高运行效率。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本公开实施例中的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本公开实施例的内容和这些附图获得其他的附图。图1是本公开实施例提供的一种文本处理模型的运行方法的流程示意图；图2是本公开实施例提供的一种调用组合核函数处理数据的示例的流程示意图；图3是本公开实施例提供的一种Transformer模型示例的结构示意图；图4是本公开实施例提供的一种Transformer模型的编码器层和解码器层的简要内部结构图；图5是本公开实施例提供的一种Transformer模型的自注意力机制层的三个向量的计算示意图；图6是本公开实施例提供的一种Transformer模型的自注意力机制层的计算过程示意图；图7是本公开实施例提供的一种Transformer模型的自注意力机制层的计算过程示意图；图8是本公开实施例提供的一种Transformer模型的自注意力机制层的计算过程示意图；图9是本公开实施例提供的一种Transformer模型的自注意力机制层的计算过程示意图；图10是本公开实施例提供的一种Transformer模型的自注意力机制层的计算过程示意图；图11是本公开实施例提供的另一种文本处理模型的运行方法的流程示意图；图12是本公开实施例提供的一种文本处理模型的运行装置的结构示意图；图13示出了适于用来实现本公开实施例的电子设备的结构示意图。具体实施方式为使本公开实施例解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本公开实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本公开实施例中的一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。需要说明的是，本公开实施例中术语“系统”和“网络”在本文中常被可互换使用。本公开实施例中提到的“和/或”是指包括一个或更多个相关所列项目的任何和所有组合。本公开的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。还需要说明是，本公开实施例中下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本公开实施例对此不作具体限制。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面结合附图并通过具体实施方式来进一步说明本公开实施例的技术方案。图1示出了本公开实施例提供的一种文本处理模型的运行方法的流程示意图，本实施例可适用于运行包含至少一个编码器层和至少一个解码器层的文本处理模型的情况，该方法可以由配置于电子设备中的文本处理模型的运行装置来执行，如图1所示，本实施例所述的文本处理模型的运行方法包括：在步骤S110中，获取输入文本向量。在步骤S120中，将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量，在各编码器层的数据计算过程中，调用组合核函数对数据进行处理。其中，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据本文档来自技高网...

【技术保护点】
1.一种文本处理模型的运行方法，所述文本处理模型包括至少一个编码器层和至少一个解码器层，其特征在于，包括：/n获取输入文本向量；/n将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；/n将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；/n其中，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。/n

【技术特征摘要】
1.一种文本处理模型的运行方法，所述文本处理模型包括至少一个编码器层和至少一个解码器层，其特征在于，包括：
获取输入文本向量；
将所述文本向量输入至少一个编码器层进行处理，以形成隐含层向量；
将所述隐含层向量输入至少一个解码器层进行处理，以生成输出文本向量；
其中，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理，所述组合核函数包括至少两个基础核函数，所述基础核函数用于完成数据的数学级别计算，所述组合核函数用于完成数据的功能级别计算。


2.根据权利要求1所述的方法，其特征在于：
所述基础核函数包括下述至少一个：矩阵行平均、矩阵行方差、以及矩阵点乘；
所述组合核函数包括标准化处理函数，包括矩阵行平均、矩阵行方差以及矩阵点乘。


3.根据权利要求1或2所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程中，调用组合核函数对数据进行处理包括：
在所述编码器层和/或解码器层的数据计算过程中，分配线程组给调用的组合核函数，并从显存空间中读入数据；
通过线程组运行所述组合核函数，并利用线程组通信方式，将组合核函数计算过程的中间数据在寄存器中进行读写；
将所述组合核函数的最终输出数据写入显存空间中。


4.根据权利要求1所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程之前，还包括：
为所述编码器层和/或解码器层的至少一个计算模块分配固定位置的显存空间；其中，所述显存空间的大小固定，且在无数据读写时保持为空置状态。


5.根据权利要求4所述的方法，其特征在于，至少两个存在分时计算关系的所述计算模块被分配的显存空间是复用的相同空间。


6.根据权利要求5所述的方法，其特征在于，复用相同显存空间的计算模块包括下述至少一组：
间隔的两个编码器层的自注意力机制模块。


7.根据权利要求4所述的方法，其特征在于，所述显存空间的大小由输入文本向量的最大值来确定。


8.根据权利要求1所述的方法，其特征在于，在所述编码器层和/或解码器层的数据计算过程中，还包括：
采用逻辑等价计算模块对数据进行处理。


9.根据权利要求8所述的方法，其特征在于，采...

【专利技术属性】
技术研发人员：王晓晖，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11