摘要生成方法、装置及计算机设备制造方法及图纸

技术编号:18444942 阅读:23 留言:0更新日期:2018-07-14 10:23
本发明专利技术公开了一种摘要生成方法、装置及计算机设备,属于自然语言处理领域。所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。本发明专利技术先通过抽取式模型抽取适合作为摘要的m个候选句子,从而减少生成式模型所需要处理的文本序列长度,再通过生成式模型根据m个候选句子生成或提取出目标词语,根据目标词语合成文档的摘要,提高了最终生成的摘要的可读性和信息量。

Summary generation methods, devices and computer equipment

The invention discloses a summary generation method, a device and a computer device, belonging to the field of Natural Language Processing. The method includes: obtaining the document D, which includes at least one sentence; extracting the M candidate sentences from the document D by a decimation model; output the target words according to the M candidate sentences by the generated model, and generate the summary according to the target words. This invention first extracts the M candidate sentences suitable for the abstract by extracting the model, thus reducing the length of the text sequence needed to be processed by the generative model, and then generating or extracting the target words according to the M candidate sentences by the generative model, and syntheses the summary of the document according to the target words and improves the final summary. Readability and amount of information.

【技术实现步骤摘要】
摘要生成方法、装置及计算机设备
本申请实施例涉及自然语言处理领域,特别涉及一种摘要生成方法、装置及计算机设备。
技术介绍
自动文本摘要(AutomaticTextSummarization)用于将一篇文档进行提炼,生成简洁、流畅且包含文章主旨的摘要。自动文本摘要是自然语言处理领域的一大难题。相关技术中提供了一种基于生成式(Abstractive)模型的自动文本摘要技术,该生成式模型用于从一篇文档中的每个句子中提取出词语,然后将提取出的词语重新组合为一个个句子,从而形成摘要。但是在文档的文本序列长度较长时,生成式模型所提取出的词语难以控制,导致最终生成的摘要并不符合预期结果,也即最终生成的摘要的可读性和信息量均较差。
技术实现思路
为了解决在文档的文本序列长度较长时,生成式模型最终生成的摘要的可读性和信息量均较差的问题,本专利技术实施例提供了一种摘要生成方法、装置及计算机设备。所述技术方案如下:第一方面,提供了一种摘要生成方法,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。在一个可选的实施例中,所述通过抽取式模型从所述文档D中抽取出m个候选句子,包括:计算所述文档D中每个句子的句子级编码向量;根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量;根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P,将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。在一个可选的实施例中,所述抽取式模型包括:第一双向循环神经网络;所述计算所述文档D中每个句子的句子级编码向量,包括:将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络,得到第一前向编码向量;将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络,得到第一后向编码向量;根据所述第一前向编码向量和所述第一后向编码向量,得到所述句子的句子级编码向量。在一个可选的实施例中,所述抽取式模型包括:第二双向循环神经网络;所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量,包括:将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络,得到第二前向编码向量;将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络,得到第二后向编码向量;根据所述第二前向编码向量和所述第二后向编码向量,得到所述文档D的文档级编码向量。在一个可选的实施例中,所述抽取式模型包括基于注意力机制的模型;所述基于注意力机制的模型为:p(Si=1|D)=σ(a(Si,hi));其中,Si为所述文档D中第i个句子的句子级编码向量,所述hi为所述文档D的文档级编码向量,a为预设的前馈神经网络,σ为预设的第一非线性函数,p(Si=1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1,并抽取所述第i个句子,i为正整数。在一个可选的实施例中,所述通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要,包括:将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型,计算第i个解码时刻的输出概率,i为正整数;当所述输出概率大于所述预设阈值时,从所述文档D对应的词典中生成一个词语,作为所述摘要中的第i个词语;所述词典中包括所述文档D中出现频率高于预设条件的词语;当所述输出概率小于所述预设阈值时,从所述m个候选句子中的目标句子中抽取出目标词语,作为所述摘要中的第i个词语。在一个可选的实施例中,所述生成式模型包括编码器和解码器;所述将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型,计算第i个解码时刻的输出概率,包括:通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci;将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器,计算得到第i个解码时刻的隐含状态,所述第i个解码时刻的隐含状态用于表示所述解码器在所述第i个解码时刻下已经处理的部分输入序列;根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态,计算第i个解码时刻的输出概率。在一个可选的实施例中,所述生成式模型还包括:第一最大似然估计函数和第二最大似然估计函数;所述从所述m个候选句子中的目标句子中抽取出目标词语,作为所述摘要中的第i个词语,包括:通过所述第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子;通过所述第二最大似然估计函数从所述目标句子的词语中确定出目标词语。第二方面,提供了一种摘要生成装置,所述装置包括:获取模块,被用于获取文档D,所述文档D包括至少一个句子,每个句子包括至少一个词语;抽取模块,用于通过抽取式模型从所述文档D中抽取出m个候选句子;输出模块,用于通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。在一个可选的实施例中,所述抽取模块,包括:计算单元,用于计算所述文档D中每个句子的句子级编码向量;所述计算单元,还用于根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量;所述计算单元,还用于根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P,将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子,每个所述句子的概率P的取值为1或0。在一个可选的实施例中,所述计算单元,包括:第一输入子单元,用于将所述句子中的词语沿前向传播方向输入第一双向循环神经网络,得到第一前向编码向量;所述第一输入子单元,还用于将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络,得到第一后向编码向量;所述第一输入子单元,还用于根据所述第一前向编码向量和所述第一后向编码向量,得到所述句子的句子级编码向量。在一个可选的实施例中,所述输入子单元,还用于将所述n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络,得到第二前向编码向量;所述第一输入子单元,还用于将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络,得到第二后向编码向量;所述第一输入子单元,还用于根据所述第二前向编码向量和所述第二后向编码向量,得到所述文档D的文档级编码向量。在一个可选的实施例中,所述输出模块,包括:输入子模块,用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型,计算第i个解码时刻的输出概率,i为正整数;生成子模块,还用于当所述输出概率大于所述预设阈值时,从所述文档D对应的词典中生成一个词语,作为所述摘要中的第i个词语;所述词典中包括所述文档D中出现频率高于预设条件的词语;抽取子模块,还用于当所述输出概率小于所述预设阈值时,从所述m个候选句子中的目标句子中抽取出目标词语,作为所述摘要中的第i个词语。在一个可选的实施例中,所述输入子模块,包括:计算子单元,用于通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci;第二输入子单元,还用于将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器,计算得到第i本文档来自技高网...

【技术保护点】
1.一种摘要生成方法,其特征在于,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。

【技术特征摘要】
1.一种摘要生成方法,其特征在于,所述方法包括:获取文档D,所述文档D包括至少一个句子;通过抽取式模型从所述文档D中抽取出m个候选句子;通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要。2.根据权利要求1所述的方法,其特征在于,所述通过抽取式模型从所述文档D中抽取出m个候选句子,包括:计算所述文档D中每个句子的句子级编码向量;根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量;根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P,将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。3.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括:第一双向循环神经网络;所述计算所述文档D中每个句子的句子级编码向量,包括:将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络,得到第一前向编码向量;将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络,得到第一后向编码向量;根据所述第一前向编码向量和所述第一后向编码向量,得到所述句子的句子级编码向量。4.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括:第二双向循环神经网络;所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量,包括:将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络,得到第二前向编码向量;将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络,得到第二后向编码向量;根据所述第二前向编码向量和所述第二后向编码向量,得到所述文档D的文档级编码向量。5.根据权利要求2所述的方法,其特征在于,所述抽取式模型包括基于注意力机制的模型;所述基于注意力机制的模型为:p(Si=1|D)=σ(a(Si,hi));其中,Si为所述文档D中第i个句子的句子级编码向量,所述hi为所述文档D的文档级编码向量,a为预设的前馈神经网络,σ为预设的第一非线性函数,p(Si=1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1,并抽取所述第i个句子,i为正整数。6.根据权利要求2至5任一所述的方法,其特征在于,所述通过生成式模型根据所述m个候选句子输出目标词语,根据所述目标词语生成摘要,包括:将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型,计算第i个解码...

【专利技术属性】
技术研发人员:孔行
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1