基于seq2seq模型的结构化论点生成方法及系统技术方案

本发明专利技术公开了一种基于seq2seq模型的结构化论点生成方法及系统，其中，方法包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将词向量输入seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对语境向量采用注意力机制；通过seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与输入主题相关的主分论点，并根据主分论点得到主分论点下面的多个次分论点。该方法可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而提高模型的可靠性，有效保证模型的准确性和一致性。

Structured argument generating method and system based on seq2seq model

The invention discloses a method and system wherein, structured argument generation method based on seq2seq model. The method comprises the following steps: data preprocessing, based on the seq2seq model established to receive input sentence input; the theme, and through the vector transformation will convert the word by word vector; the word vector input model of seq2seq encoder operation and encoding, in order to get the context vector, and the attention mechanism of context through context vector vector; attention mechanism processing decoded by the decoder seq2seq model, generate the main points related to the theme of the input, and multiple time points following main points according to the main points. This method can use pre trained word vector instead of original model's random initialized word vector, and add attention mechanism into seq2seq model, so as to improve the reliability of the model, and effectively guarantee the accuracy and consistency of the model.

【技术实现步骤摘要】
基于seq2seq模型的结构化论点生成方法及系统
本专利技术涉及文本生成
，特别涉及一种基于seq2seq模型的结构化论点生成方法及系统。
技术介绍
目前，自动写作是文本生成的一个重要的应用，议论文的分论点生成是自动写作的非常重要的环节，如何能够使分论点之间有强关联并且与主题相契合是文本生成技术面对的难题之一。在相关技术中，文本生成是基于统计机器翻译的方法，基本思想是通过对大量的平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。比如微软对联，设计了一个多阶段统计机器翻译方法，其中SMT(StatisticalMachineTranslation，统计机器翻译)系统生成一个n-最佳候选列表，然后使用一个排序模型和附加特性来确定新的n-best结果排名。另外，文本生成也使用RNN(RecurrentneuralNetwork，循环神经网络)结构作为生成工具，比如中文诗歌生成，提出了一种基于递归神经网络的模型，并认为这种模型最适合捕捉诗歌的内容和形式。从早期基于词的机器翻译已经过渡到基于短语的翻译，并正在融合句法信息，以进一步提高翻译的精确性。还有人提出用深度学习的方法来解决这个问题，其基本思想是用一个深度神经网络结构，比如RNN或DNN(DeepNeuralNetwork，深度神经网络)，对语料进行学习，从而达到翻译或者生成的目的。然而，相关技术的文本生成的准确性不高，生成的句子和句源的相关性和一致性较差，无法满足用户的使用需求。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于seq2seq模型的结构化论点生成方法，该方法不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。本专利技术的另一个目的在于提出一种基于seq2seq模型的结构化论点生成系统。为达到上述目的，本专利技术一方面实施例提出了一种基于seq2seq模型的结构化论点生成方法，包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。本专利技术实施例的基于seq2seq模型的结构化论点生成方法，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而可以对输入的文本进行选择性的重点学习，不仅可以提高生成句子与句源的相关性和两者的一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。另外，根据本专利技术上述实施例的基于seq2seq模型的结构化论点生成方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。进一步地，在本专利技术的一个实施例中，所述对所述语境向量采用注意力机制，进一步包括：对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。进一步地，在本专利技术的一个实施例中，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。进一步地，在本专利技术的一个实施例中，还包括：对所述多个次分论点的每个次分论点进行评价，得到评价分；根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。为达到上述目的，本专利技术另一方面实施例提出了一种基于seq2seq模型的结构化论点生成系统，包括：预处理模块，用于对数据进行预处理，以对seq2seq模型的输入建立句对；转换模块，用于接收输入主题，并通过向量转换将词转换得到词向量；编码模块，用于将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；解码模块，用于通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。本专利技术实施例的基于seq2seq模型的结构化论点生成系统，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，对输入的文本选择性的重点学习，从而不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。另外，根据本专利技术上述实施例的基于seq2seq模型的结构化论点生成系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。进一步地，在本专利技术的一个实施例中，所述编码模块还用于对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。进一步地，在本专利技术的一个实施例中，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。进一步地，在本专利技术的一个实施例中，还包括：评价模块，用于对所述多个次分论点的每个次分论点进行评价，得到评价分；计算模块，用于根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于seq2seq模型的结构化论点生成方法的流程图；图2为根据本专利技术一个实施例的seq2seq模型的结构示意图；图3为根据本专利技术一个具体实施例的基于seq2seq模型的结构化论点生成方法的流程图；图4为根据本专利技术一个实施例的RNN模型的结构示意图；图5为根据本专利技术一个实施例的系统功能示意图；图6为根据本专利技术一个实施例的基于seq2seq模型的结构化论点生成系统的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。在介绍基于seq2seq模型的结构化论点生成方法及系统之前，首先简单描述一下论文中论点的展开方式。议论文是一种非常重要的写作体裁，也是应用最广泛的体裁。议论文又叫说理文，它是一种剖析事物论述事理、发表意见、提出主张的文体。一篇好的议论文在外部形态上要反应出一定的思维规律，也就是说要具有一定体式的文章结构。怎样写议论文才算是本文档来自技高网...

【技术保护点】
一种基于seq2seq模型的结构化论点生成方法，其特征在于，包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

【技术特征摘要】
1.一种基于seq2seq模型的结构化论点生成方法，其特征在于，包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。2.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。3.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述对所述语境向量采用注意力机制，进一步包括：对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。4.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。5.根据权利要求1-4任一项所述的基于seq2seq模型的结构化论点生成方法，其特征在于，还包括：对所述多个次分论点的每个次分论点进行评价，得到评价分；根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。6.一种基于seq2seq...

【专利技术属性】
技术研发人员：宋巍，刘彤，刘丽珍，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：北京,11