The invention discloses a summary generation method, a device and a computer device, belonging to the field of Natural Language Processing. The method includes: obtaining the document D, which includes at least one sentence; extracting the M candidate sentences from the document D by a decimation model; output the target words according to the M candidate sentences by the generated model, and generate the summary according to the target words. This invention first extracts the M candidate sentences suitable for the abstract by extracting the model, thus reducing the length of the text sequence needed to be processed by the generative model, and then generating or extracting the target words according to the M candidate sentences by the generative model, and syntheses the summary of the document according to the target words and improves the final summary. Readability and amount of information.
【技术实现步骤摘要】
摘要生成方法、装置及计算机设备
本申请实施例涉及自然语言处理领域,特别涉及一种摘要生成方法、装置及计算机设备。
技术介绍
自动文本摘要(AutomaticTextSummarization)用于将一篇文档进行提炼,生成简洁、流畅且包含文章主旨的摘要。自动文本摘要是自然语言处理领域的一大难题。相关技术中提供了一种基于生成式(Abstractive)模型的自动文本摘要技术,该生成式模型用于从一篇文档中的每个句子中提取出词语,然后将提取出的词语重新组合为一个个句子,从而形成摘要。但是在文档的文本序列长度较长时,生成式模型所提取出的词语难以控制,导致最终生成的摘要并不符合预期结果,也即最终生成的摘要的可读性和信息量均较差。
技术实现思路
为了解决在文档的文本序列长度较长时,生成式模型最终生成的摘要的可读性和信息量均较差的问题,本专利技术实施例提供了一种摘要生成方法、装置及计算机设备。所述技术方案如下:第一方面,提供了一种摘要生成方法,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。在一个可选的实施例中,所述通过抽取式模型从所述文档D中抽取出m个候选句子,包括:计算所述文档D中每个句子的句子级编码向量;根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量;根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P,将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。在一个可选的实施例中,所述抽取式模型包括 ...
【技术保护点】
1.一种摘要生成方法,其特征在于,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。
【技术特征摘要】
1.一种摘要生成方法,其特征在于,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。2.根据权利要求1所述的方法,其特征在于,所述通过抽取式模型从所述文档D中抽取出m个候选句子,包括:计算所述文档D中每个句子的句子级编码向量;根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量;根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P,将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。3.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括:第一双向循环神经网络;所述计算所述文档D中每个句子的句子级编码向量,包括:将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络,得到第一前向编码向量;将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络,得到第一后向编码向量;根据所述第一前向编码向量和所述第一后向编码向量,得到所述句子的句子级编码向量。4.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括:第二双向循环神经网络;所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量,包括:将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络,得到第二前向编码向量;将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络,得到第二后向编码向量;根据所述第二前向编码向量和所述第二后向编码向量,得到所述文档D的文档级编码向量。5.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括基于注意力机制的模型;所述基于注意力机制的模型为:p(Si=1|D)=σ(a(Si,hi));其中,Si为所述文档D中第i个句子的句子级编码向量,所述hi为所述文档D的文档级编码向量,a为预设的前馈神经网络,σ为预设的第一非线性函数,p(Si=1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1,并抽取所述第i个句子,i为正整数。6.根据权利要求2至5任一所述的方法,其特征在于,所述通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要,包括:将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型,计算第i个解码...
【专利技术属性】
技术研发人员:孔行,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。