基于语义表示的文本生成方法和装置制造方法及图纸

本申请公开了基于语义表示的文本生成方法和装置，涉及NLP领域。文本生成方法为：获取输入文本；获取目标文本之中第i个待预测词的占位符；获取第i个待预测词的向量表示，其中，第i个待预测词的向量表示是对应的占位符与源文本和第1个至第i‑1个预测词，通过自注意力机制计算得到的；根据第i个待预测词的向量表示，生成第i个预测词，以获取目标文本。该方法通过引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词的向量表示，根据该向量表示预测当前待预测词，解码时即使预测出的前一个词错误，对当前待预测词的向量表示影响较小，在一定程度上缓解了曝光偏差，提高了解码准确率。上述方法可统一应用于预训练和微调。

Text generation method and device based on semantic representation

【技术实现步骤摘要】
基于语义表示的文本生成方法和装置
本申请涉及计算机
，具体涉及自然语言处理(NaturalLanguageProcessing，NLP)
，尤其涉及一种基于语义表示的文本生成方法和装置。
技术介绍
在自然语言处理领域，传统的生成任务，通常使用预测出的前一个词，预测下一个词，比如使用t1预测下一个词t2，利用预测出的t2预测下一个词t3。但是，当t1在解码发生错误，再依照错误解码的t1去预测t2，就会导致错误进一步传播，也即曝光偏差，解码准率低。
技术实现思路
本申请提出一种基于语义表示的文本生成方法和装置，用于解决相关技术中，现有的预测方法，存在曝光偏差、解码准率低的问题。本申请一方面实施例提出了一种基于语义表示的文本生成方法，包括：获取输入文本，其中，所述输入文本包括源文本；获取目标文本之中第i个待预测词的占位符，其中，i为正整数；获取所述第i个待预测词的向量表示，其中，所述第i个待预测词的向量表示是对应的占位符与所述源文本和第1个至第i-1个预测词，通过自注意力机制计算得到的；以及根据所述第i个待预测词的向量表示，生成所述第i个预测词，以获取所述目标文本。本申请实施例的基于语义表示的文本生成方法，通过获取输入文本，其中，输入文本包括源文本；获取目标文本之中第i个待预测词的占位符，其中，i为正整数；获取第i个待预测词的向量表示，其中，第i个待预测词的向量表示是对应的占位符与源文本和第1个至第i-1个预测词，通过自注意力机制计算得到的；以及根据第i个待预测词的向量表示，生成第i个预测词，以获取目标文本。由此，通过引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词的对应的向量表示，根据该向量表示预测当前待预测词，解码时即使预测出的前一个词错误，对当前待预测词对应的占位符对应的向量表示影响也比较小，从而在一定程度上缓解了曝光偏差，提高了解码准确率。本申请另一方面实施例提出了一种基于语义表示的文本生成装置，包括：第一获取模块，用于获取输入文本，其中，所述输入文本包括源文本；第二获取模块，用于获取目标文本之中第i个待预测词的占位符，其中，i为正整数；第三获取模块，用于获取所述第i个待预测词的向量表示，其中，所述第i个待预测词的向量表示是对应的占位符与源文本和所述第1个至第i-1个预测词，通过自注意力机制计算得到的；以及生成模块，用于根据所述第i个待预测词的向量表示，生成所述第i个预测词，以获取目标文本。本申请实施例的基于语义表示的文本生成装置，通过获取输入文本，其中，输入文本包括源文本；获取目标文本之中第i个待预测词的占位符，其中，i为正整数；获取第i个待预测词的向量表示，其中，第i个待预测词的向量表示是对应的占位符与源文本和第1个至第i-1个预测词，通过自注意力机制计算得到的；以及根据第i个待预测词的向量表示，生成第i个预测词，以获取目标文本。由此，通过引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词的对应的向量表示，根据该向量表示预测当前待预测词，解码时即使预测出的前一个词错误，对当前待预测词对应的占位符对应的向量表示影响也比较小，从而在一定程度上缓解了曝光偏差，提高了解码准确率。本申请另一方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的基于语义表示的文本生成方法。本申请另一方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的基于语义表示的文本生成方法。上述申请中的实施例具有如下有益效果：上述通过引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词的对应的向量表示，根据该向量表示预测当前待预测词，解码时即使预测出的前一个词错误，对当前待预测词对应的占位符对应的向量表示影响也比较小，克服了现有的预测方法，存在曝光偏差、解码准确率低的问题，达到了在一定程度上缓解了曝光偏差，提高了解码准确率的技术效果。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例提供的一种基于语义表示的文本生成方法的流程示意图；图2为本申请实施例提供的一种基于语义表示的文本生成过程示意图；图3为本申请实施例提供的一种基于语义表示的文本生成示例示意图；图4为本申请实施例提供的另一种基于语义表示的文本生成方法的流程示意图；图5为本申请实施例提供的一种基于语义表示的文本生成装置的结构示意图；图6为本申请实施例提供的另一种基于语义表示的文本生成装置的结构示意图；图7为根据本申请实施例的基于语义表示的文本生成方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。下面参考附图描述本申请实施例的基于语义表示的文本生成方法和装置。本申请实施例，针对现有的预测方法，存在曝光偏差、预测准确率低的问题，提出一种基于语义表示的文本生成方法。本申请实施例的基于语义表示的文本生成方法，通过引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词对应的向量表示，根据该向量表示预测当前的待预测词，解码时即使预测出的前一个词错误，对当前待预测词对应的向量表示影响也比较小，从而在一定程度上缓解了曝光偏差，提高了解码准确率。图1为本申请实施例提供的一种基于语义表示的文本生成方法的流程示意图。本申请实施例提出的基于语义表示的文本生成方法，可由本申请实施例提供的基于语义表示的文本生成装置执行，该装置可配置于电子设备中，以实现通过根据引入占位符，融合源文本和当前已预测出的词，得到与当前待预测词对应的向量表示，预测当前的待预测词。如图1所示，该基于语义表示的文本生成方法包括：步骤101，获取输入文本，其中，输入文本包括源文本。本实施例中，源文本是指用于预测的文本。在获取输入文本后，可以对其包含的源文本转换为向量，得到源文本对应的向量表示。步骤102，获取目标文本之中第i个待预测词的占位符。其中，目标文本是与源文本对应的，通过预测得到的文本。本实施例中，对每个待预测词引入占位符，其中，占位符可看作一个标识。步骤103，获取第i个待预测词的向量表示，其中，第i个待预测词的向量表示是对应的占位符与源文本和第1本文档来自技高网...

【技术保护点】
1.一种基于语义表示的文本生成方法，其特征在于，包括：/n获取输入文本，其中，所述输入文本包括源文本；/n获取目标文本之中第i个待预测词的占位符，其中，i为正整数；/n获取所述第i个待预测词的向量表示，其中，所述第i个待预测词的向量表示是对应的占位符与所述源文本和第1个至第i-1个预测词，通过自注意力机制计算得到的；以及/n根据第i个待预测词的向量表示，生成所述第i个预测词，以获取所述目标文本。/n

【技术特征摘要】
1.一种基于语义表示的文本生成方法，其特征在于，包括：
获取输入文本，其中，所述输入文本包括源文本；
获取目标文本之中第i个待预测词的占位符，其中，i为正整数；
获取所述第i个待预测词的向量表示，其中，所述第i个待预测词的向量表示是对应的占位符与所述源文本和第1个至第i-1个预测词，通过自注意力机制计算得到的；以及
根据第i个待预测词的向量表示，生成所述第i个预测词，以获取所述目标文本。


2.如权利要求1所述的基于语义表示的文本生成方法，其特征在于，还包括：
对所述第1个至第i-1个预测词进行替换。


3.如权利要求2所述的基于语义表示的文本生成方法，其特征在于，所述对所述第1个至第i-1个预测词进行替换，包括：
根据语义单词表对所述第1至第i-1个预测词进行替换。


4.如权利要求3所述的基于语义表示的文本生成方法，其特征在于，所述根据语义单词表对所述第1至第i-1个预测词进行替换，包括：
从所述第1个至第i-1个预测词中，确定待替换词；
用所述语义单词表中，与所述待替换词的前一个预测词共现概率高于预设概率的词，替换所述待替换词。


5.如权利要求1-4任一所述的基于语义表示的文本生成方法，其特征在于，上述方法应用于预训练和微调。


6.如权利要求1-4任一所述的基于语义表示的文本生成方法，其特征在于，所述目标文本具有对应的标签，所述方法还包括：
通过模型获取所述目标文本；以及
根据所述目标文本与所述目标文本对应的标签，对所述模型进行训练。


7.一种基于语义表示的文本生成装置，其特征在于，包括：
第一获取模块，用于获取输入文本，其中，所述输入文本包括源文本；
第二获取模块，用于获取目标文本之中第i个待预测词的占位符，其中，i为正整数；
第三获取模块，用于获取所述第i个待预测...

【专利技术属性】
技术研发人员：张涵，肖东凌，李宇琨，孙宇，田浩，吴华，王海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11