一种利用目标知识增强模型的情感分类方法和装置制造方法及图纸

本发明专利技术涉及一种利用目标知识增强模型的情感分类方法及装置。本发明专利技术所述的利用目标知识增强模型的情感分类方法包括：构建目标知识增强模型，目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；根据待预测的上下文中的目标词，获取每个目标词对应的知识句子；将上下文与每个知识句子输入至目标知识增强模型，得到上下文的情感分类结果。本发明专利技术所述的利用目标知识增强模型的情感分类方法，对中文评论文本中的目标词进行外部知识引入，并提出了知识注意力机制，对引入的外部知识动态分配权重，弥补了目标词本身信息量不足的缺陷，具有分类准确度高的优点。

【技术实现步骤摘要】
一种利用目标知识增强模型的情感分类方法和装置
本专利技术涉及情感分类
，特别是涉及一种利用目标知识增强模型的情感分类方法。
技术介绍
传统的方面级情感分类方法通常采用机器学习方法，如支持向量机(SVM)，需要人工特征，包括句法分析特征和词典特征。与传统的机器学习方法相比，神经网络可以从文本中自动获取重要的语义信息，避免了大量的人工操作。因此，它被广泛地应用于方面级的情感分类。神经网络能够从文本中自动捕捉重要的情感特征，因此在方面级情感分类中得到了广泛的应用。Tang等人使用两个长短时记忆网络(LSTM)来捕捉一个方面前后的情绪特征。Wang等人提出了一个具有注意机制的LSTM，用于捕捉上下文中的情绪特征。Ma等人提出了两个基于注意的LSTM网络，用于交互生成句子和体表示，并将这些表示连接起来进行预测。Chen等人使用门控递归单元(GRU)网络来整合LSTM的隐藏状态。Zeng等人利用局部语境注意机制来捕捉评论文本中的局部语境特征。Wagner等人从多个外部情感词典中训练支持向量机进行情绪分类任务。kirithenko等人通过人工编写和处理，创建了一个领域特定的情感词典，为支持向量机提供了额外的领域情感知识。Teng等人使用情感词典计算每个情感词的极性，并使用LSTM计算情感词的权重。最后，利用情感词的加权和来预测句子的情感极性。Yang等人提出了一种基于方面的情感分类的类人分层策略。Chen等人用自建的领域情感知识图作为辅助信息来衡量情感词与目标词之间的情感极性。现有的方法可以很好地利用与情感词相关的辅助信息，提高模型的性能。然而，现有的方法只关注情感信息，而忽略了目标词中包含的重要语义信息。此外，传统的情感词典和情感知识图作为辅助信息，需要针对特定的数据集手工构建。
技术实现思路
基于此，本专利技术的目的在于，提供一种利用目标知识增强模型的情感分类方法，通过构建目标知识增强模型，对中文评论文本中的目标词进行外部知识引入，并提出了知识注意力机制，对引入的外部知识动态分配权重，弥补了目标词本身信息量不足的缺陷，其具有分类准确度高的优点。第一方面，本专利技术提供了一种利用目标知识增强模型的情感分类方法，包括以下步骤：构建目标知识增强模型，所述目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子；将所述上下文与每个所述知识句子输入至所述输入层中，对所述上下文和所述知识句子进行拼接，得到输入层的输出序列；将所述输入层的输出序列输入至所述嵌入层中，将每个单词或标记映射到向量空间，得到上下文的输出向量表示和知识句子的输出向量表示；将所述上下文的输出向量表示和所述知识句子的输出向量表示输入至所述多头自注意力层中，计算所述上下文和所述知识句子中每个单词的注意力分数，得到上下文的多头输出序列和知识句子的多头输出序列，以及，得到所述上下文中每个字的权重；将所述上下文中每个字的权重以及所述知识句子的多头输出序列输入至所述知识注意力层中，得到加权后的所述知识句子的多头输出序列，并拼接所述上下文的多头输出序列和所述加权后的所述知识句子的多头输出序列，输出知识注意力层的输出序列；将所述知识注意力层的输出序列输入至所述隐藏层中，提取所述知识注意力层的输出序列的隐藏状态向量，得到隐藏层的输出序列；将所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果。本专利技术所述的一种利用目标知识增强模型的情感分类方法，构建目标知识增强模型，对中文评论文本中的目标词进行外部知识引入，并提出了知识注意力机制，对引入的外部知识动态分配权重，有效且自动地识别中文短评论文本中的细粒度情感，弥补了目标词本身信息量不足的缺陷，同时也增加了模型的语意特征提取能力。进一步地，所述隐藏层为隐藏注意力层，所述提取所述知识注意力层的输出序列的隐藏状态向量，包括：基于隐藏注意机制计算所述知识注意力层的输出序列的每个字的隐藏状态向量的加权和。进一步地，得到所述上下文中每个字的权重，包括：Qi＝OBERT·WiqKi＝OBERT·WikVi＝OBERT·Wiv其中，WiC为每个自注意力头中字与字之间的权重，Q，K，V为上下文句子中每个字的三种不同向量化表示。进一步地，得到加权后的知识句子的多头输出序列，包括：Wcharacter＝Sum(WC)其中，WC表示字与字之间的权重，Wcharacter表示字相对于上下文句子的权重，L0表示目标词的第一个字的位置；当目标词为复合词时，Li表示第i个子目标词的最后一个字的位置；WiSingle表示第i个字目标词相对于上下文句子的权重，即WiSingle表示知识注意力权重；表示加权后的所述知识句子的多头输出序列，OKA表示知识注意力层的输出序列。进一步地，所述根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子，包括：从数据库获取每个所述目标词对应的实体知识句子；其中，当目标词是复合词时，将复合词分成多个子目标词，获取每个子目标词的实体知识句子；对所述实体知识句子进行数据预处理，删除噪音数据，获得待检测上下文的知识句子。进一步地，对所述实体知识句子进行数据预处理，删除噪音数据，包括：对句子长度超过第一阈值的所述实体知识进行切割，对超过第一阈值长度以后的内容进行删除；对实体知识句子中出现的英文字母及无意义字符进行删除。进一步地，所述嵌入层为多层双向变压器编码器，包含若干个变压器组和若干个自我注意头；所述嵌入层用于将每个单词或标记映射到一个向量空间。进一步地，所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果，包括：使用softmax函数处理所述隐藏层的输出序列，得到所述上下文的情绪极性预测结果。第二方面，本专利技术提供一种利用目标知识增强模型的情感分类装置，包括：模型构建模块，用于构建目标知识增强模型，所述目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；知识句子获取模块，用于根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子；输入模块，用于对所述上下文和所述知识句子进行拼接，得到输入层的输出序列；嵌入模块，用于将每个单词或标记映射到向量空间，得到上下文的输出向量表示和知识句子的输出向量表示；多头自注意力模块，用于计算所述上下文和所述知识句子中每个单词的注意力分数，得到上下文的多头输出序列和知识句子的多头输出序列，以及，得到所述上下文中每个字的权重；知识注意力模块，用于得到加权后的所述知识句子的多头输出序列，并拼接所述上下文的多头输出序列和所述加权后的所述知识句子的多头输出序列，输出知识注意力层的输出序列；隐藏状态向量获取模块，用于提取所述知本文档来自技高网...

【技术保护点】
1.一种利用目标知识增强模型的情感分类方法，其特征在于，包括以下步骤：/n构建目标知识增强模型，所述目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；/n根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子；/n将所述上下文与每个所述知识句子输入至所述输入层中，对所述上下文和所述知识句子进行拼接，得到输入层的输出序列；/n将所述输入层的输出序列输入至所述嵌入层中，将每个单词或标记映射到向量空间，得到上下文的输出向量表示和知识句子的输出向量表示；/n将所述上下文的输出向量表示和所述知识句子的输出向量表示输入至所述多头自注意力层中，计算所述上下文和所述知识句子中每个单词的注意力分数，得到上下文的多头输出序列和知识句子的多头输出序列，以及，得到所述上下文中每个字的权重；/n将所述上下文中每个字的权重以及所述知识句子的多头输出序列输入至所述知识注意力层中，得到加权后的所述知识句子的多头输出序列，并拼接所述上下文的多头输出序列和所述加权后的所述知识句子的多头输出序列，输出知识注意力层的输出序列；/n将所述知识注意力层的输出序列输入至所述隐藏层中，提取所述知识注意力层的输出序列的隐藏状态向量，得到隐藏层的输出序列；/n将所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果。/n...

【技术特征摘要】
1.一种利用目标知识增强模型的情感分类方法，其特征在于，包括以下步骤：
构建目标知识增强模型，所述目标知识增强模型包括输入层、嵌入层、多头自注意力层、知识注意力层、隐藏层和输出层；
根据待预测的上下文中的目标词，获取每个所述目标词对应的知识句子；
将所述上下文与每个所述知识句子输入至所述输入层中，对所述上下文和所述知识句子进行拼接，得到输入层的输出序列；
将所述输入层的输出序列输入至所述嵌入层中，将每个单词或标记映射到向量空间，得到上下文的输出向量表示和知识句子的输出向量表示；
将所述上下文的输出向量表示和所述知识句子的输出向量表示输入至所述多头自注意力层中，计算所述上下文和所述知识句子中每个单词的注意力分数，得到上下文的多头输出序列和知识句子的多头输出序列，以及，得到所述上下文中每个字的权重；
将所述上下文中每个字的权重以及所述知识句子的多头输出序列输入至所述知识注意力层中，得到加权后的所述知识句子的多头输出序列，并拼接所述上下文的多头输出序列和所述加权后的所述知识句子的多头输出序列，输出知识注意力层的输出序列；
将所述知识注意力层的输出序列输入至所述隐藏层中，提取所述知识注意力层的输出序列的隐藏状态向量，得到隐藏层的输出序列；
将所述隐藏层的输出序列输入至所述输出层中，得到所述上下文的分类结果。


2.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，所述隐藏层为隐藏注意力层，所述提取所述知识注意力层的输出序列的隐藏状态向量，包括：
基于隐藏注意机制计算所述知识注意力层的输出序列的每个字的隐藏状态向量的加权和。


3.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，得到所述上下文中每个字的权重，包括：
根据如下公式，计算每个自注意力头中字与字之间的权重：












其中，为每个自注意力头中字与字之间的权重，Q，K，V为上下文句子中每个字的三种不同向量化表示。


4.根据权利要求1所述的一种利用目标知识增强模型的情感分类方法，其特征在于，得到加权后的知识句子的多头输出序列，包括：
根据如下公式，计算加权后的知识句子的多头输出序列。



Wcharacter＝Sum(WC)









其中，WC表示字与字之间的权重，Wcharacter表示字相对于上下文句子的权重，LO表示目标词的第一个字的位置；当目标词为复合词时，Li表示第i个子目标词的最后...

【专利技术属性】
技术研发人员：曾碧卿，杨健豪，陈嘉涛，邓会敏，
申请(专利权)人：华南师范大学，广东农工商职业技术学院，
类型：发明
国别省市：广东;44