文本复述模型的训练方法、文本复述方法及装置制造方法及图纸

本公开提供了文本复述模型的训练方法、文本复述方法及装置，涉及计算机技术领域，尤其涉及人工智能、自然语言处理等技术领域。具体实现方案为：获取文本对，文本对中包括输入序列、输入序列对应的真实文本，真实文本与输入序列的意义相近、且真实文本中的至少部分句子间的表达方式与输入序列中至少部分句子间的表达方式不同；将输入序列输入待训练模型，得到待训练模型对输入序列进行改写后得到的输出序列；基于输出序列和真实文本之间的差异确定损失值；基于损失值调整待训练模型的模型参数，在满足训练收敛条件的情况下，结束训练得到文本复述模型。基于本公开实施例训练得到的文本复述模型，能够支持篇章级的文本改写。能够支持篇章级的文本改写。能够支持篇章级的文本改写。

【技术实现步骤摘要】
文本复述模型的训练方法、文本复述方法及装置


[0001]本公开涉及计算机
，尤其涉及人工智能、自然语言处理等


技术介绍

[0002]自然语言处理(Natural Language Processing，NLP)在人工智能和语言学领域中占有重要的地位。自然语言处理是一门融合语言学、计算机科学、数学于一体的科学。其主要应用于机器翻译、舆情监测、自动生成摘要、观点提取、文本分类、问题回答、文本复述、语音识别等方面。
[0003]文本复述在自然语言处理中有着广泛的应用，如机器翻译、自动问答、信息抽取、信息检索等。文本复述的结果可用于数据增强、文本泛化，从而可以增强特定场景的语料规模，提高模型的泛化能力。但相关技术中仅支持句子级的文本复述。

技术实现思路

[0004]本公开提供了一种文本复述模型的训练方法、文本复述方法及装置。
[0005]根据本公开的一方面，提供了一种文本复述模型的训练方法，包括：
[0006]获取文本对，文本对中包括输入序列、输入序列对应的真实文本；真实文本与输入序列的意义相近、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本复述模型的训练方法，包括：获取文本对，所述文本对中包括输入序列、所述输入序列对应的真实文本；所述真实文本与所述输入序列的意义相近、且所述真实文本中的至少部分句子间的表达方式与所述输入序列中所述至少部分句子间的表达方式不同；将所述输入序列输入待训练模型，得到所述待训练模型对所述输入序列进行改写后得到的输出序列；基于所述输出序列和所述真实文本之间的差异确定损失值；基于所述损失值调整所述待训练模型的模型参数，在满足训练收敛条件的情况下，结束训练得到文本复述模型。2.根据权利要求1所述的方法，其中，所述获取文本对，包括：获取原始文本，所述原始文本与所述输入序列的意义相近；通过调整句子顺序、合并句子和拆分句子中的至少一种方式，调整所述原始文本，得到所述真实文本。3.根据权利要求1或2所述的方法，还包括：将采用第一语言表述的原始文本翻译为采用第二语言表述的第一中间文本；将所述采用第二语言表述的第一中间文本翻译为采用第一语言表述的文本，得到所述输入序列。4.根据权利要求1或2所述的方法，还包括：将采用第一语言表述的原始文本翻译为采用第二语言表述的第一中间文本；采用至少一种翻译模型依序处理所述采用第二语言表述的第一中间文本，得到采用第三语言表述的第二中间文本；将所述采用第三语言表述的第二中间文本翻译为采用第一语言表述的文本，得到所述输入序列。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述将所述输入序列输入待训练模型，得到所述待训练模型对所述输入序列进行改写后得到的输出序列，包括：获取所述输入序列的任务描述信息；将所述任务描述信息和所述输入序列输入待训练模型，得到所述待训练模型基于所述任务描述信息对所述输入序列进行改写后得到的输出序列。6.根据权利要求5所述的方法，其中，所述任务描述信息包括以下中的至少一种：关键词序列、逆序程度、文本相似度、同义改写任务；所述关键词序列，要求所述待训练模型得到的输出序列中保留所述关键词序列中的关键词；所述逆序程度，要求所述待训练模型得到的输出序列和所述输入序列之间表达同一含义的多个句子间的差异程度满足所述逆序程度；所述文本相似度，要求所述待训练模型得到的输出序列与所述输入序列之间的相似度满足所述文本相似度；所述同义改写任务，要求所述待训练模型将输入序列中的词改写为同义词。7.根据权利要求6所述的方法，还包括基于以下方法得到所述关键词序列：从所述真实文本中抽取实体关键词，得到所述关键词序列。
8.根据权利要求6或7所述的方法，还包括：从所述输入序列中筛选出至少一个调序位置；对各调序位置上的连续多个句子进行调序；在确定调序后的句子保持连贯的情况下，确定调序后的输入序列和调序前的输入序列之间的句子排序差异为所述任务描述信息中的逆序程度；将调序后的输入序列确定为所述文本对中的输入序列。9.根据权利要求6
‑
8中任一项所述的方法，还包括：确定所述文本对中所述输入序列和所述真实文本之间的内容相似度；将所述内容相似度确定为所述任务描述信息中的文本相似度。10.根据权利要求6
‑
9中任一项所述的方法，还包括：响应于关键词输入操作，将输入的关键词确定为所述关键词序列中包括的关键词。11.根据权利要求5
‑
10中任一项所述的方法，其中，带有所述任务描述信息的文本对在训练样本集中的占比为预设比值。12.根据权利要求1
‑
11中任一项所述的方法，还包括：获取训练样本集，所述训练样本集中包括多个待处理文本对；确定各待处理文本对中输入序列和真实文本之间的文本相似度；基于文本相似度将各待处理文本对划分到对应的相似度区间；针对待处理文本对的数量低于数量阈值的目标相似度区间，基于上采样的方式扩充所述目标相似度区间内的待处理文本对的数量。13.一种文本复述方法，应用于如权利要求1
‑
12中任一项所述方法训练得到的文本复述模型，包括：获取待改写文本；将所述待改写文本输入所述文本复述模型，得到与所述待改写文本意义相近的输出文本。14.根据权利要求13所述的方法，其中，所述将所述待改写文本输入所述文本复述模型，得到与所述待改写文本意义相近的输出文本，包括：获取所述待改写文本的任务描述信息；将所述任务描述信息和所述待改写文本输入所述文本复述模型，得到与所述待改写文本意义相近的输出文本。15.根据权利要求14所述的方法，所述任务描述信息包括以下中的至少一种：关键词序列、逆序程度、文本相似度和同义改写任务；所述关键词序列，要求所述文本复述模型得到的输出文本中保留所述关键词序列中的关键词；所述逆序程度，要求所述文本复述模型得到的输出文本和所述待改写文本之间表达同一含义的多个句子间的差异程度满足所述逆序程度；所述文本相似度，要求所述文本复述模型得到的输出文本与所述待改写文本之间的相似度满足所述文本相似度；所述同义改写任务，要求所述文本复述模型将所述待改写文本中的词改写为同义词。16.根据权利要求15所述的方法，获取所述关键词序列包括：
从所述待改写文本中抽取实体关键词，得到所述关键词序列。17.根据权利要求15或16所述的方法，获取所述关键词序列包括：响应于关键词输入操作，将输入的关键词确定为所述关键词序列中包括的关键词。18.根据权利要求15
‑
17中任一项所述的方法，获取所述逆序程度包括：响应于逆序程度的输入操作，得到所述逆序程度。19.根据权利要求15
‑
18中任一项所述的方法，获取所述文本相似度包括：响应于相似度的输入操作，得到所述文本相似度。20.一种文本复述模型的训练装置，包括：第一获取模块，用于获取文本对，所述文本对中包括输入序列、所述输入序列对应的真实文本；所述真实文本与所述输入序列的意义相近、且所述真实文本中的至少部分句子间的表达方式与所述输入序列中所述至少部分句子间的表达方式不同；第一改写模块，用于将所述输入序列输入待训练模型，得到所述待训练模型对所述输入序列进行改写后得到的输出序列；损失确定...

【专利技术属性】
技术研发人员：韩雅倩，王硕寰，孙宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：