基于注意力编码器的抽取式新闻摘要生成装置制造方法及图纸

一种基于注意力编码器的抽取式新闻摘要生成装置，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。能够更好的捕获句子间的联系和依赖关系，从而准确的进行摘要的提取，在生成摘要时可以展示更丰富的信息。

【技术实现步骤摘要】
基于注意力编码器的抽取式新闻摘要生成装置
本专利技术涉及文档摘要抽取
，特别涉及一种基于注意力编码器的抽取式新闻摘要生成装置。
技术介绍
随着当下新闻数据的急剧增长，发展自动文摘系统的需求愈发迫切。抽取式文本摘要的方法是通过从文档中抽取显著包含文档主要信息的句子来生成摘要，这样生成的摘要更加通顺。在解决序列化问题中展现强大功能的编码-解码结构，已经成功应用到生成抽取式摘要中，其中编码器读入源句子并用固定长度的向量进行表示，随后解码器输出预测的每个句子的标签，即决定是否抽取某个句子作为摘要的一部分。但是，现有的针对自动文摘问题的基于编码-解码结构的方法过多地关注解码器部分，即这些方法通常在解码部分使用注意力机制，而不是在编码器中收集文档的更多信息。他们的关注点在于获取与源文档更加相关的句子，但却忽略了不同句子之间的关系。句子之间的关联信息同样包含了文档的很多特征，而且这些特征对选取文档的多种信息是很有帮助的。因此，相关技术需要改进。
技术实现思路
本专利技术的目的是提供一种基于注意力编码器的抽取式新闻摘要生成装置，能够更好的捕获句子间的联系和依赖关系。为解决上述问题，本专利技术的第一方面提供了一种基于注意力编码器的抽取式新闻摘要生成装置，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。进一步地，所述文档编码器还包括：第一层，所述第一层用于获取多个句子之间的联系。第二层，所述第二层用于获取根据多个句子和多个句子之间的联系获取文档表示。进一步地，所述第一层根据注意力机制获取多个句子之间的联系。进一步地，所述第一层根据以下公式计算多个句子之间的联系：其中，是在时刻t对第j个隐状态的归一化权重，是第j个隐状态。进一步地，所述第一层和所述第二层分别通过双向循环神经网络获取隐状态。本专利技术的上述技术方案具有如下有益的技术效果：能够更好的捕获句子间的联系和依赖关系，从而准确的进行摘要的提取，在生成摘要时可以展示更丰富的信息。附图说明图1为根据本专利技术实施例的基于注意力编码器的抽取式新闻摘要生成装置的方框示意图；图2为根据本专利技术实施例的基于注意力编码器的抽取式新闻摘要生成装置的结构示意图；图3为根据本专利技术实施例的文档编码器的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。在附图中示出了根据本专利技术实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。以下将参照附图更详细地描述本专利技术。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。在下文中描述了本专利技术的许多特定的细节，例如器件的结构、材料、尺寸、处理工艺和技术，以便更清楚地理解本专利技术。但正如本领域的技术人员能够理解的那样，可以不按照这些特定的细节来实现本专利技术。除非在下文中特别指出，半导体器件中的各个部分可以由本领域的技术人员公知的材料构成。在本申请中，术语“半导体结构”指在制造半导体器件的各个步骤中形成的整个半导体结构的统称，包括半导体衬底和在半导体衬底上已经形成的所有层或区域。需要说明的是，本专利技术旨在对一篇由一个句子序列(s1,s2,…,sn)组成的文档d中选取一个由m(m＜n)个句子组成的子集来构成文档d的摘要。其中，n为文档d中句子的个数。同时，对每个句子Si进行打分并标注标签yi∈(0,1)，标签1表明句子Si应该作为摘要的候选句子，0表示否不予考虑。图1为根据本专利技术实施例的基于注意力编码器的抽取式新闻摘要生成装置。如图1所示，本专利技术实施例的基于注意力编码器的抽取式新闻摘要生成装置，包括：语句编码器10、文档编码器20和语句抽取器30。其中，语句编码器10用于获取文档，并将文档划分为多个语句。具体地，语句编码器10为卷积神经网络构成。语句编码器10能够利用词向量生成句子的向量，即(s1,s2,…,sn)。文档编码器20用于根据多个句子与多个句子之间的关系获取文档表示。其中，需要说明的是，当文档输入文档编码器20时，文档编码器20可对每个句子进行处理以获得其对应的隐状态，这些隐状态分别表示每个句子的信息，最终通过文档编码器20可获得通过隐状态表示的文档表示。具体地，隐状态是RNN(循环神经网络)的神经元内不计算过程中生成的量，是一个实值向量。还需要说明的是，本专利技术实施例中的文档编码器20可由一个两层的单向循环神经网络构成，其中，第一层用于通过注意力机制获取多个句子之间的联系，为了减少信息丢失，第二层可再次获取句子序列，并将句子的向量表示与多个句子之间的联系结合起来，获取最终的文档表示。具体地，对于文档d＝(s1,s2,…,sn)，文档编码器20的第一层对每个句子进行求取其对应的隐状态，其中，在t时刻向文档编码器20输入第t个句子，则第t个句子的隐状态根据如下公式进行表示：其中，初始时刻的隐状态可设置为零向量，初始时刻为没有任何内容输入时，神经网络的初始状态。应当理解的是，第t个句子的隐状态还包括其前面每个句子的信息。然后将n个隐状态合并记为H：在t时刻，隐状态仅仅含有句子st之前的历史信息，即第t个句子之前的内容所包含的信息，而且包含距离st较远的句子的信息。进一步地，根据注意力机制获取多个句子之间的联系具体包括：对第一层获取的各个隐状态赋予不同的权重，并求和：其中，是第j个隐状态，是在t时刻对第j个隐状态的归一化权重，即：其中，表示利用n个隐状态的合并计算得到的初始的权重值：其中，是神经网络中的权重、W是权重矩阵，和W可通过神经网络训练得到。由此，文档编码器的第一层通过注意力机制获取到文档中多个句子之间的联系。根据本专利技术的一个实施例，根据以下公式获取第二层的隐状态：其中，表示st与连接起来，为t-1时刻的隐状态。需要说明的是，上述第一层和第二层获取隐状态的方法采用单向循环神经网络。根据本专利技术的一个实施例，如图3所示，文档编码器20的第一层和第二层还可分别通过双向循环神经网络BiRNN获取对应的隐状态。其中，双向循环神经网络BiRNN在每个t时刻均会产生两个隐状态：其中，正向的初始隐状态和反向的初始隐状态均可设置为零向量。在t时刻，将两种本文档来自技高网...

【技术保护点】
1.一种基于注意力编码器的抽取式新闻摘要生成装置，其特征在于，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。

【技术特征摘要】
1.一种基于注意力编码器的抽取式新闻摘要生成装置，其特征在于，包括：语句编码器，用于获取文档，并将文档划分为多个句子；文档编码器，用于根据所述多个句子与多个句子之间的关系获取文档表示；语句抽取器，用于根据所述多个句子与所述文档表示抽取用于作为摘要的句子。2.根据权利要求1所述的基于注意力编码器的抽取式新闻摘要生成装置，其特征在于，所述文档编码器还包括：第一层，所述第一层用于获取多个句子之间的联系；第二层，所述第二层用于获取根据多个句子和多个句子之间的联系获...

【专利技术属性】
技术研发人员：陈洪辉，邵太华，蔡飞，刘俊先，罗爱民，郝泽鹏，陈皖玉，潘志强，郭昱普，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43