一种基于教学机制的情感分析方法技术

本发明专利技术涉及一种基于教学机制的情感分析方法，属于计算机自然语言处理技术领域。本方法提出了一种基于类别标签的分层教学网络，由教师网络和学生网络组成。教师网络以类别标签为输入，提取所要预测的类别高度相关的信息，学生网络从教师网络中学习类别标签的特性，并依此建立“软标签”以期复现真实类别标签的能力，提取与教师网络相似的与类别高度相关的信息，这些信息被用于做文本分类。通过构建两个不同的学生网络来建模“软标签”，即用户偏好学生网络和产品印象学生网络，并根据两个学生网络的不同特点设计了两个不同的教师网络，可以在低复杂度下取得良好的表现。

【技术实现步骤摘要】
一种基于教学机制的情感分析方法
本专利技术涉及一种基于教学机制的情感分析方法，属于计算机自然语言处理(NLP)

技术介绍
情感分析旨在理解自然文本中所包含的情感，是人们的观点、情绪、评估对诸如产品、服务、组织等实体的态度，是计算机自然语言处理领域中的一项关键任务，在数据挖掘、Web挖掘、文本挖掘和信息检索方面有广泛的研究。大多数研究者将情感分析视为一个分类任务，即，将文本对应的情感极性视为类别，并使用文本特征训练一个分类器将文本进行分类。目前，基于神经网络的情感分析方法由于其高效性，成为当前的主流方法。此类方法大多是将单词嵌入到低维向量中，再将这些向量用作神经网络的初始输入。随后，使用精心设计的网络对文本进行编码，以获得文本特征向量。该向量进一步用于分析文本中包含的信息，进而预测其所属的类别。近年来，越来越多的研究者致力于设计更高效的神经网络模型。然而，大多数现有的方法忽略了类别标签，尽管它与要预测的文本类别具有最高的相关性。这些方法大多将类别标签仅仅作为目标来计算损失，没有开发标签信息其他方面的能力，从而导致标签信息对其他层(如注意力层)的影响很小甚至可以忽略不计，进而导致重要信息定位有误。重要信息定位有误，最常见的是注意力机制在处理文本的过程中会选择性地挑选相对重要的信息，例如，挑选一个句子中重要的词汇，舍弃句子中相对不重要的词汇。这样的挑选机制固然可以让模型抓住文本中的重要信息，但同时也会导致以下问题：(1)有效信息被忽视现有方法大多使用上下文、用户、产品信息等挑选相对重要的词汇，但是，这样的方式所引入的词汇皆为和用户、产品信息相关度较高的词汇，而并不能保证所挑选的词汇和所要预测的类别高度相关，因此与所要预测的类别相关度更高的信息很可能被忽视，从而限制模型表现。(2)相对不重要的信息被引入使用上下文、用户、产品信息等挑选的词汇，不能保证和所要预测的类别高度相关，因此，很可能引入和类别相关程度较低的词汇，这些冗余信息会干扰模型理解文本。一些研究者将用户评论文本视为一整个句子，并应用句子层级文本分类方法分析文档的类别。例如，Taboada等人提出了一种基于词典的文本情感提取方法，该方法使用带有语义倾向(极性和强度)注释的单词词典分析文本所包含的情感；Tang等人引入CNN(卷积神经网络，ConvolutionalNeuralNetworks)来编码文本，并通过引入用户、文本信息来丰富文档表示。然而一般来说，文档通常包含多个句子，因此简单将文档视为一个长句子是不合适的，这样会使得句子间的界限更加不明确，进而失去了句子间的信息。因此，Yang等人提出了层次神经网络模型，即神经网络包括词层级和句子层级两个不同层级，在词层级通过整合所有词信息获取句子向量表示，在句子层级通过整合所有句子信息获取文档向量表示，这样的层次结构相比于将文档视为一个长句子的方法在结果上有着很大的提升；Ghosh等人提出了一种基于CNN和LSTM(长短时记忆神经网络，LongShort-TermMemory)的深层情感表达模型，其中，CNN用于获取句子表征；LSTM对句子语义进行编码，获取文档向量表征；Pu等人考虑到文档通常由不同的观点句组成，且这些观点句针对不同的方面，具有不同的情感，提出利用多个特征来识别候选的总体观点句，然后利用支持向量机对总体观点句进行编码，实现文档级文本分类。然而，上述方法是将类别标签仅仅作为目标来计算损失，没有开发标签信息其他方面的能力，从而导致类别标签信息对其他层(如注意力层)的影响很小甚至可以忽略不计。为此，Wang等人、Yao等人引入了一种基于类别标签的注意力机制，通过测量文本与标签表征之间的相容性来提取更多与标签相关的信息，并通过直接输入分类器来进一步训练标签嵌入。此外，为了防止标签信息泄漏，在测试阶段，这些方法使用类别标签的所有可能值(例如1-5)来提取文本信息进行分类。然而，这类方法无法充分利用当前文档的真实标签信息，并可能会引入一定的噪声，同时无法保证经过训练的类别标签表示有能力提取标签相关的信息。因此，有必要找到一种更有效的方法利用类别标签信息，并藉此提取与所要预测类别相关度更高的信息用以文本分类。
技术实现思路
本专利技术的目的是针对现有技术将类别标签仅仅用于计算损失函数，而没有开发类别标签其他方面的能力，导致文本中重要信息定位有误，进而无法准确预测文本所属类别的技术缺陷，提出了一种基于教学机制的情感分析方法，可以在较低的复杂度下实现良好的预测效果。本专利技术的创新点在于：提出了一种基于类别标签的分层教学网络(L-HTN)，由教师网络和学生网络组成。教师网络以类别标签为输入，提取所与所要预测的类别高度相关的信息，学生网络从教师网络中学习类别标签的特性，并依此建立“软标签”以期复现真实类别标签的能力，提取与教师网络相似的与类别高度相关的信息，这些信息被用于做文本分类。由于当前用户先前购买的产品(和相应的评分)表示用户的偏好，而购买当前产品的用户(和相应的评分)表示产品的公众印象，构建了两个不同的学生网络来建模“软标签”，即用户偏好学生网络和产品印象学生网络，并根据两个学生网络的不同特点设计了两个不同的教师网络。本专利技术是基于以下技术方案实现的。一种基于教学机制的情感分析方法，包括以下步骤：步骤1：进行用户偏好学生网络“软标签”建模。具体地，包括以下步骤：步骤1.1：提取用户之前购买的产品序列和相应的评分序列，并将用户和产品序列分别嵌入到低维向量空间中。步骤1.2：将每个历史产品嵌入和相应的独热评分嵌入拼接起来，获取新的序列，将其进一步用作LSTM的输入，以获得隐藏状态。其中，由于产品序列属于用户的购买记录，因此，将用户的向量表征作为LSTM层的初始状态。步骤1.3：由于产品序列中与当前产品最相似的产品能够最好地暗示当前用户最可能表达的情感，即文本所属类别，因此，挑选当前产品最相关的隐藏状态生成“软标签”；步骤2：进行产品印象学生网络“软标签”建模。具体地，包括以下步骤：步骤2.1：提取用户之前购买过产品的用户序列和相应的评分序列，并将产品和用户序列分别嵌入到低维向量空间中。步骤2.2：将每个历史用户嵌入和相应的独热评分嵌入拼接起来，获取新的序列，并将其用作LSTM的输入，以获得隐藏状态，其中，由于用户序列购买过当前产品的记录，因此，将产品的向量表征作为LSTM层的初始状态；其中，独热评分是指文档的one-hot标签。即，一个长度为类别个数的向量且仅存在一个元素值为1，其他元素值皆为0。步骤2.3：由于用户序列中与当前用户最相似的用户能够最好地暗示当前用户最可能表达的情感，因此，挑选当前用户最相关的隐藏状态生成“软标签”。步骤3：构建教师网络。由于模型包含两个不同的学生网络，需要分别从用户偏好和产品公众印象两个角度对“软标签”进行建模。因此，构建两个不同的教师网络，以便匹配不同学生网络的特点。具体本文档来自技高网...

【技术保护点】
1.一种基于教学机制的情感分析方法，其特征在于，包括以下步骤：/n步骤1：进行用户偏好学生网络“软标签”建模，包括以下步骤：/n步骤1.1：提取用户之前购买的产品序列和相应的评分序列，并将用户和产品序列分别嵌入到低维向量空间中；/n步骤1.2：将每个历史产品嵌入和相应的独热评分嵌入拼接起来，获取新的序列，将其进一步用作LSTM的输入，以获得隐藏状态；其中，将用户的向量表征作为LSTM层的初始状态；独热评分是指文档的one-hot标签；/n步骤1.3：挑选当前产品最相关的隐藏状态生成“软标签”；/n步骤2：进行产品印象学生网络“软标签”建模，包括以下步骤：/n步骤2.1：提取用户之前购买过产品的用户序列和相应的评分序列，并将产品和用户序列分别嵌入到低维向量空间中；/n步骤2.2：将每个历史用户嵌入和相应的独热评分嵌入拼接起来，获取新的序列，并将其用作LSTM的输入，以获得隐藏状态，其中，将产品的向量表征作为LSTM层的初始状态；/n步骤2.3：挑选当前用户最相关的隐藏状态生成“软标签”；/n步骤3：构建教师网络，包括以下步骤：/n步骤3.1：用户偏好学生网络通过拼接每个历史产品嵌入和相应的独热评分嵌入以获得一个新的序列，并将其用作LSTM的输入，以获得隐藏状态；/n教师网络将当前的产品嵌入和相应的独热评分进行拼接，将结果作为LSTM的输入，同时，教师网络的LSTM层与学生网络共享参数，获得的隐藏状态与情感标签密切相关，被视为用户的真实偏好；/n步骤3.2：根据以上对产品印象学生网络的描述，设计一个教师网络来匹配学生网络；学生网络拼接每个历史用户嵌入和相应的独热评分嵌入以获得一个新的序列，并将其用作LSTM的输入，以获得隐藏状态；/n教师网络将当前的用户嵌入和相应的独热评分进行拼接，同样将结果作为LSTM的输入，同时，教师网络的LSTM层与学生网络共享参数，获得的隐藏状态与情感标签密切相关，被视为产品的真实公众印象；/n步骤4：进行注意力教学，包括以下步骤：/n步骤4.1：将文档中每个单词嵌入到低维向量中，使用LSTM层对句子进行编码，并获取隐藏状态；/n步骤4.2：使用学生网络中的“软标签”与教师网络中的真实情感标签，分别提取文档中的情感相关信息；/n步骤4.3：最小化学生网络与教师网络所提取的信息之间的差异；/n步骤5：进行情感预测教学；/n步骤5.1：使用提取的情感相关信息为文档中的每个句子生成句子表示和“教师”句子表示；/n使用LSTM层为每个句子获取隐藏状态和“教师”隐藏状态；/n步骤5.2：使用用户表征进一步提取对预测情感有帮助的信息，使用产品表征进一步提取对预测情感有帮助的信息；/n步骤5.3：教师网络使用生成的文档表示来获得情感标签的概率分布，并教导学生网络推断类似的概率分布；/n步骤6：进行情感分类，包括以下步骤：/n步骤6.1：在训练阶段，针对教师网络，最小化教师网络输出的预测概率分布和独热情感标签之间的交叉熵；/n同时，针对学生网络，将用户偏好学生网络的文档表征和产品印象学生网络的文档表征拼接起来进行情感预测，并最小化相应的预测概率分布和独热情感标签之间的交叉熵；/n步骤6.2：在测试阶段，仅使用学生网络的输出结果预测情感。/n...

【技术特征摘要】
1.一种基于教学机制的情感分析方法，其特征在于，包括以下步骤：
步骤1：进行用户偏好学生网络“软标签”建模，包括以下步骤：
步骤1.1：提取用户之前购买的产品序列和相应的评分序列，并将用户和产品序列分别嵌入到低维向量空间中；
步骤1.2：将每个历史产品嵌入和相应的独热评分嵌入拼接起来，获取新的序列，将其进一步用作LSTM的输入，以获得隐藏状态；其中，将用户的向量表征作为LSTM层的初始状态；独热评分是指文档的one-hot标签；
步骤1.3：挑选当前产品最相关的隐藏状态生成“软标签”；
步骤2：进行产品印象学生网络“软标签”建模，包括以下步骤：
步骤2.1：提取用户之前购买过产品的用户序列和相应的评分序列，并将产品和用户序列分别嵌入到低维向量空间中；
步骤2.2：将每个历史用户嵌入和相应的独热评分嵌入拼接起来，获取新的序列，并将其用作LSTM的输入，以获得隐藏状态，其中，将产品的向量表征作为LSTM层的初始状态；
步骤2.3：挑选当前用户最相关的隐藏状态生成“软标签”；
步骤3：构建教师网络，包括以下步骤：
步骤3.1：用户偏好学生网络通过拼接每个历史产品嵌入和相应的独热评分嵌入以获得一个新的序列，并将其用作LSTM的输入，以获得隐藏状态；
教师网络将当前的产品嵌入和相应的独热评分进行拼接，将结果作为LSTM的输入，同时，教师网络的LSTM层与学生网络共享参数，获得的隐藏状态与情感标签密切相关，被视为用户的真实偏好；
步骤3.2：根据以上对产品印象学生网络的描述，设计一个教师网络来匹配学生网络；学生网络拼接每个历史用户嵌入和相应的独热评分嵌入以获得一个新的序列，并将其用作LSTM的输入，以获得隐藏状态；
教师网络将当前的用户嵌入和相应的独热评分进行拼接，同样将结果作为LSTM的输入，同时，教师网络的LSTM层与学生网络共享参数，获得的隐藏状态与情感标签密切相关，被视为产品的真实公众印象；
步骤4：进行注意力教学，包括以下步骤：
步骤4.1：将文档中每个单词嵌入到低维向量中，使用LSTM层对句子进行编码，并获取隐藏状态；
步骤4.2：使用学生网络中的“软标签”与教师网络中的真实情感标签，分别提取文档中的情感相关信息；
步骤4.3：最小化学生网络与教师网络所提取的信息之间的差异；
步骤5：进行情感预测教学；
步骤5.1：使用提取的情感相关信息为文档中的每个句子生成句子表示和“教师”句子表示；
使用LSTM层为每个句子获取隐藏状态和“教师”隐藏状态；
步骤5.2：使用用户表征进一步提取对预测情感有帮助的信息，使用产品表征进一步提取对预测情感有帮助的信息；
步骤5.3：教师网络使用生成的文档表示来获得情感标签的概率分布，并教导学生网络推断类似的概率分布；
步骤6：进行情感分类，包括以下步骤：
步骤6.1：在训练阶段，针对教师网络，最小化教师网络输出...

【专利技术属性】
技术研发人员：施重阳，姜欣雨，冯超群，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11