用于语言模型的处理方法、文本生成方法、装置及介质制造方法及图纸

本公开实施例涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。其中，语言模型被部署在电子设备中，并且语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，用于语言模型的处理方法包括：在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。由此，可以有效降低语言模型的处理过程中的CPU和GPU之间的调度开销以及GPU对显存的重复读写开销，从而可以有效提高GPU的计算效率，进而提高语言模型的计算效率，从而有效降低基于语言模型进行文本处理的延迟。降低基于语言模型进行文本处理的延迟。降低基于语言模型进行文本处理的延迟。

【技术实现步骤摘要】
用于语言模型的处理方法、文本生成方法、装置及介质


[0001]本公开实施例涉及计算机
，具体地，涉及一种用于语言模型的处理方法、文本生成方法、装置及介质。

技术介绍

[0002]在自然语言生成任务中，通常采用语言模型进行文本预测生成，语言模型的计算量通常比较庞大，给实际的部署执行带来了困难。
[0003]相关技术中，通常采用计算图的方式，然而上述过程中，需要使用大量的GPU(Graphics Processing Unit，图形处理器)算子，造成算子调度、显存传输等额外开销，使得语言模型的部署后，基于该语言模型进行文本处理时执行延时较高、可用性较低。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]本公开实施例提供一种用于语言模型的处理方法、文本生成方法、装置及介质。
[0006]第一方面，本公开实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于语言模型的处理方法，其特征在于，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述方法包括：在确定所述融合计算操作即将被执行时，所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令；响应于接收到所述操作指令，所述GPU对所述多个计算操作进行处理。2.根据权利要求1所述的方法，其特征在于，所述语言模型对应的显存空间通过以下方式预先确定：根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。3.根据权利要求2所述的方法，其特征在于，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算所得的计算结果对应于所述显存空间中的同一存储地址。4.根据权利要求2所述的方法，其特征在于，所述语言模型中包括编码器模块和解码器模块，所述编码器模块和所述解码器模块的计算结果对应于所述显存空间中的同一存储地址。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，基于所述GPU中并行的多个处理线程对所述语言模型的输出结果进行排序。6.一种文本生成方法，其特征在于，所述方法包括：接收待处理文本；将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息，其中，所述语言模型被部署在电子设备中，并且所述语言模型的同一特征层的计算中处于目标类型的计算之间的多个计算操作合并为一个融合计算操作，所述融合计算操作是通过所述电子设备的CPU向GPU发送包含所述多个计算操作的操作指令，以由该GPU对所述多个计算操作进行处理的方式执行的；对每一所述候选字符对应的概率信息进行排序，并基于排序的结果从所述候选字符中确定多个目标字符；分别将每一所述目标字符拼接在所述待处理文本的结尾，获得多个拼接文本，以获得所述待处理文本对应的目标文本，其中，所述目标文本为基于所述待处理文本最终生成的文本。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：针对每一所述拼接文本，确定所述拼接文本是否满足文本生成要求；在所述拼接文本满足文本生成要求的情况下，将所述拼接文本确定为所述目标文本；在所述拼接文本未满足所述文本生成要求的情况下，将所述拼接文本作为新的待处理文本，并重新执行所述将所述待处理文本输入语言模型，获得所述待处理文本对应的下一候选字符以及每一所述候选字符对应的概率信息的步骤至所述针对每一所述拼接文本，确
定所述拼接文本是否满足文本生成要求的步骤。8.根据权利要求6所述的方法，其特征在于，所述语言模型对应的显存空间通过以下方式预先确定：根据预设文本长度和所述语言模型中的参数信息确定所述语言模型进行文本处理对应的存储空间使用量，其中所述参数信息包括所述语言模型中用于进行计算的模型参数的数据长度，以及基于模型参数进行计算所对应的计算结果的数据长度；从所述电子设备的显存中申请大小为所述存储空间使用量的存储空间，作为所述显存空间。9.根据权利要求8所述的方法，其特征在于，所述语言模型中包含多个用于进行迭代计算的迭代特征层，每个所述迭代特征层进行迭代计算的计算结果对应于所述显存空间中的同一存储地址；所述方法还包括：在所述语言模型进行计算的过程中，针对每一所述迭代特征层，在该迭代特征层获得计算结果的情况下，将该计算结果存储在所述存储地址指示的空间，以对所述存...

【专利技术属性】
技术研发人员：熊鹰，王晓晖，陈家泽，李磊，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：