基于商品评论命名实体识别的问题生成方法技术

本发明专利技术基于商品评论命名实体识别的问题生成方法，该模型首先将产品相关的信息实体加以标注，使得生成的问题与产品紧密相关。其次，利用基于复制覆盖机制的序列到序列模型，当词汇表中未收录该词时，选取原文词汇，这避免了脱离词典问题，使得生成的问句更加的通顺和灵活。最后，结合注意力机制，增加与产品相关词语的比重。本文使用产品评论数据进行实验，与目前的问题生成模型相比，基于商品评论的问题生成模型不仅生成的问题会更加的灵活通顺，而且更加符合本身产品的相关内容。

【技术实现步骤摘要】
基于商品评论命名实体识别的问题生成方法
本专利技术涉及自然语言处理领域，具体涉及一种基于商品评论命名实体识别的问题生成方法。
技术介绍
自然语言处理作为人工智能领域的璀璨明珠，在自然语言处理的任务中，对于生成问题，当前的研究主要集中在产生与文本内容有关的自然问题，自然问题主要基于已知的词典，无法解决词典之外的问题。研究的主要内容是为评论信息生成与产品信息有关的问题。评论信息通常看起来更短，句子更通俗易懂，并且各种新的词更可能出现，并且所产生的问题需要与产品紧密相关。因此，先前的问题生成模型不能很好地解决上述挑战，并且极容易出现措词不准确和句子不通畅的情况。同时，命名实体识别会影响模型的性能，特别是对于特定领域(如产品评论)中的信息。所产生的问题需要与产品紧密相关。但是，手动标记非常昂贵且主观，因此使用命名实体识别来改善模型性能已成为研究的热点。问题生成一直是自然语言处理领域的一个研究热点，旨在从文本中生成自然的问句，以推进自然语言处理中的其他任务，如阅读理解，问答等等。近年来，国内外学者对问题生成任务做了相关研究，传统的方法主要是通过手本文档来自技高网...

【技术保护点】
1.一种基于商品评论命名实体识别的问题生成方法，其特征在于，包括：/n1模型总体框架：/n1.1命名实体识别/n首先，用命名实体模型将一些和产品信息相关的实体进行标注生成评论表示信息，以便加强生成的问题和产品之间的相关性，其中，标注生成评论表示信息利用长短期记忆网络(LSTM)和条件随机场，同时，LSTM还能用于下游的问题生成模型中；/n1.2问题生成/n再利用1.1中长短期记忆网络来学习评论文本信息；运用注意力机制保留重要的内容并识别出相关实体，从而将其提取出用于生成问题；最后，将文本保留的重要词汇与已有的词汇表相结合从而使得用词更加准确，生成的问题语句更为通顺；/n2.文本表示/n将每条评...

【技术特征摘要】
1.一种基于商品评论命名实体识别的问题生成方法，其特征在于，包括：
1模型总体框架：
1.1命名实体识别
首先，用命名实体模型将一些和产品信息相关的实体进行标注生成评论表示信息，以便加强生成的问题和产品之间的相关性，其中，标注生成评论表示信息利用长短期记忆网络(LSTM)和条件随机场，同时，LSTM还能用于下游的问题生成模型中；
1.2问题生成
再利用1.1中长短期记忆网络来学习评论文本信息；运用注意力机制保留重要的内容并识别出相关实体，从而将其提取出用于生成问题；最后，将文本保留的重要词汇与已有的词汇表相结合从而使得用词更加准确，生成的问题语句更为通顺；
2.文本表示
将每条评论d表示成由n个词{w1，w2，w3，....，wn}组成的序列，然后使用预先训练好的词嵌入表将每个词wi转换成对应的词向量xi；对于评论d，通过使用一个双向LSTM模型来学习评论的相关内容，即编码层；
训练的LSTM模型，一边可用于命名实体识别中CRF相连；另一边可用于问题生成模型，与编码层对应的解码层是一个单向的LSTM网络结构；在训练时，接收的是对应问题的文本表示；而在测试时，获取的是前一层发出的状态；最终经过解码层后都会产生一个解码状态st；
3.命名实体识别
条件随机场可以学习到句子的约束条件，在CRF层中可以加入一些约束条件保证最终预测结果有效，约束条件可以在训练数据时被CRF层自动学习得到；
将正向LSTM与反向LSTM的隐状态进行拼接得ht，再通过条件随机场(CRF)层，进行句子级的序列标注；使模型对句子x进行打分score(x，y)，再采用softmax得到归一化的概率:



从中选择最优标注实体；
4.产品信息实体标注
为了能够更好的生成与产品息息相关的问题，特别将与产品信息相关的实体信息嵌入到文本学习过程；通过对产品信息相关的实体进行标注，使得生成的问题更加倾向于围绕这些实体展开的问句；
因此，在学习文本信息的过程中，需要判断该词是否为实体并进行标注当该词是一个实体时在其词向量之后加上[1，0]的标签：
x′i＝contact(xi，[1，0])(11)
当该词不是一个实体时在其词向量之后加上[0，1]的标签：
x′i＝contact(xi，[0，1])(12)
其中contact是串联函数，主要作用是将两个向量首尾相连；随后将新生成的词向量x′i输入网络；
5.注意力机制
模型引入了注意力机制；注意力机制融合了评论信息和问题信息，用来提取最终问题生成的重要词语注意力机制利用文本信息表示hi与问题信息表示st构造文本评论中词汇的权重：



at＝softmax(et)(14)
这里的v，Wh，Ws，battn是模型参数
为了充分考虑到生成问题的词语不仅仅来自于评论本身，还可能出现评论中未包含的词语，在模型的最后增加了词典信息；模型通过基于注意力机制生成的隐层状态加权和以及解码层状态st，对词典中的词汇学习其生成相关问题的概率分布，因此有：






这里的V，V′，b和b′是模型参数Pvocab是词汇表中所有词汇的概率分布；
6.模型训练
在本模型中，为了能够更好的平衡词汇来自词典或来自评论本身，避免未知单词现象，或生成与产品信息无...

【专利技术属性】
技术研发人员：周夏冰，陈楠，肖康，王中卿，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32