与句子生成相关的方法和设备技术

本发明专利技术提供一种与句子生成相关的方法和设备。在方法中，基于第一句子确定已知标记。通过语言模型基于已知标记和第一掩码标记确定第二句子。将第一掩码标记和已知标记输入到语言模型中，以确定对应于第一掩码标记的第一预测标记。基于双向变换器的编码器训练语言模型。当确定第一预测标记的所确定结果时插入第二掩码标记。将第二掩码标记输入到语言模型中，以确定对应于第二掩码标记的第二预测标记。第二句子包含第一预测标记、第二预测标记以及已知标记。第二句子为对第一句子作出回应的句子。的句子。的句子。

【技术实现步骤摘要】
与句子生成相关的方法和设备


[0001]本公开大体上涉及自然语言处理(natural language processing；NLP)，具体地说，涉及一种与句子生成相关的方法和设备。

技术介绍

[0002]在自然语言处理(NLP)中，其可试图找出计算机与人类语言之间的交互，且其可进一步处理和分析大量自然语言数据。应注意，自然语言生成(natural language generation；NLG)为NLP的子领域。NLG试图理解输入句子以产生机器表示语言并且进一步将表示转换为字。
[0003]然而，在人类对话中提供合适的回应仍是很大的挑战。举例来说，对于槽位填充(slot filling)，用于填充字的槽位的数目可为固定的，在槽位填充之后的句子可能并不合适。

技术实现思路

[0004]因此，本公开是针对一种与句子生成相关以提供具有灵活长度的合适回应的方法和设备。
[0005]在示例性实施例中的一个中，方法包含以下步骤但不限于此。基于第一句子确定已知标记。通过语言模型基于已知标记和第一掩码标记确定第二句子。将第一掩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种与句子生成相关的方法，包括：基于第一句子确定已知标记；以及通过第一语言模型基于所述已知标记和第一掩码标记来确定第二句子，其中确定所述第二句子包括：将所述第一掩码标记和所述已知标记输入到所述第一语言模型中，以确定对应于所述第一掩码标记的第一预测标记，其中所述第一语言模型基于双向变换器的编码器所训练；当确定所述第一预测标记的所确定结果时插入第二掩码标记；以及将所述第二掩码标记输入到所述第一语言模型中，以确定对应于所述第二掩码标记的第二预测标记，其中所述第二句子包括所述第一预测标记、所述第二预测标记以及所述已知标记，且所述第二句子为对所述第一句子作出回应的句子。2.根据权利要求1所述的与句子生成相关的方法，其中插入所述第二掩码标记包括：确定所述所确定结果是否为所述第一预测标记为空值，其中所述空值与标记预测的终止相关；当所述第一预测标记不是所述空值时插入所述第二掩码标记；以及当所述第一预测标记为所述空值时不插入所述第二掩码标记。3.根据权利要求1所述的与句子生成相关的方法，其中插入所述第二掩码标记包括：在所述第一预测标记之前或在所述第一预测标记之后插入所述第二掩码标记。4.根据权利要求1所述的与句子生成相关的方法，其中将所述第二掩码标记输入到所述第一语言模型中包括：确定所述第二预测标记是否为空值，其中所述空值与标记预测的终止相关；当所述第二预测标记不是所述空值时插入另一第二掩码标记；以及当所述第二预测标记为所述空值时不插入所述另一第二掩码标记。5.根据权利要求1所述的与句子生成相关的方法，其中将所述第一掩码标记和所述已知标记输入到所述第一语言模型中包括：将第三掩码标记输入到所述第一语言模型中，包括：禁止通过所述第一语言模型确定对应于所述第三掩码标记的第三预测标记。6.根据权利要求5所述的与句子生成相关的方法，在将所述第二掩码标记输入到所述第一语言模型中之后，所述方法还包括：将所述第一预测标记、所述已知标记以及所述第三掩码标记输入到第二语言模型中，以确定所述第三预测标记，其中所述第二语言模型基于单向变换器所训练，且第三句子包括所述已知标记、所述第一预测标记以及所述第三预测标记。7.根据权利要求1所述的与句子生成相关的方法，其中基于所述第一句子确定所述已知标记包括：从所述第一句子提取关键词；以及基于所述关键词搜索所述已知标记。8.根据权利要求7所述的与句子生成相关的方法，还包括：从先前对话提取额外关键词；以及基于所述额外关键词搜索所述已知标记。9.根据权利要求1所述的与句子生成相关的方法，其中所述第一语言模型为来自变换
器的双向编码器表示模型。10.根据权利要求6所述的与句子生成相关的方法，其中所述第二语言模型为生成式预训练变换器模型。11.一种与句子生成相关...

【专利技术属性】
技术研发人员：黄钧宥，
申请(专利权)人：未来市股份有限公司，
类型：发明
国别省市：