【技术实现步骤摘要】
基于知识互蒸馏的评论情感分析方法、装置及系统
本专利技术涉及计算机智能分析处理
，特别涉及一种基于知识互蒸馏的评论情感分析方法、装置及系统。
技术介绍
文档级的情感分类是情感分析和意见挖掘领域一项基本且重要的任务。如何从实质上提高情感分析的性能，成为了专家学者们研究的主要课题。例如：某购物网站用户“张三”针对其购买的产品“华为P30”手机发表了评论“这个手机拍的照片挺清晰”，其中“张三”是这条评论的用户属性，“华为P30”是这条评论的产品属性。不同用户的用词习惯可能不同，其对不同产品的喜好程度也可能不同，因此在评论文本情感分析模型中有必要考虑上述两种属性信息。大量的研究工作已经证实，在用户针对产品的评论中，用户属性和产品属性对评论文本的情感影响很大，考虑这两种属性信息的模型比仅考虑评论文本的模型的性能更好。目前，各种基于深度学习集成用户和产品属性信息的模型可以被粗略地分为两大类：（1）如图1（a）所示，此类模型通常基于一个神经网络把两种属性信息融合到一个评论文本特征表示中，其被用作特征预测分类概率。一般通过基于注意力机制的方法或者基于记忆网络的方法实现。从本质上来看，此类模型重点建模了两种属性对评论文本情感的共同影响。（2）如图1（b）所示，此类模型通常先通过两个单独的子网络分别学习一个融合了用户属性信息的文本特征表示和一个融合了产品属性信息的文本特征表示，然后融合和用于情感分类。此类模型可以认为是更有效地建模了单个属性对评论文本情感的影响，其出发点是：用户和产品属性信息对评论文本的影响本质上是不同的，
【技术保护点】
1.一种基于知识互蒸馏的评论情感分析方法，其特征在于，所述方法包括如下步骤：/n步骤一：从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；/n步骤二：在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；/n步骤三：根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评...
【技术特征摘要】
1.一种基于知识互蒸馏的评论情感分析方法，其特征在于，所述方法包括如下步骤：
步骤一：从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
步骤二：在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
步骤三：根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
2.根据权利要求1所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤一中，所述当前训练实例表述为：
表示当前训练实例，表示当前训练实例的评论文本，表示当前训练实例的用户属性，表示当前训练实例的产品属性。
3.根据权利要求2所述的基于知识互蒸馏的评论情感分析方法，其特征在于，基于第一分类器计算得到当前训练实例对应的第一情感预测结果表示为：
其中，为融合了用户和产品属性的评论文本的特征表示，为第一分类器中分类层的参数，softmax为用于输出分类概率的归一化函数，为基于第一分类器计算得到的当前训练实例对应的第一情感预测结果；
第二分类器的输入为仅带有用户属性的评论文本，对应的第二情感预测结果为；
第三分类器的输入为仅带有产品属性的评论文本，对应的第三情感预测结果为；
其中，和均为占位符，分别用于表示缺失的产品属性和用户属性。
4.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第一分类器对应的总体代价函数的计算方法包括如下步骤：
根据所述第一情感预测结果计算得到第一基础代价函数，并根据所述第一基础代价函数以及第一额外代价函数计算得到与所述第一分类器对应的总体代价函数；
所述第一基础代价函数表示为：
其中，为所述第一基础代价函数，为第一分类器的参数集，表示真实类别标记的第个分量，表示第一情感预测结果的第个分量，指整个训练数据集，对应的真实类别标记为,为一个M维的one-hot编码向量，表示情感类别的数量；
所述第一额外代价函数表示为：
其中，为第一额外代价函数，以及均指KL距离，用于衡量第一分类器与第二分类器的情感预测结果之间的匹配程度，用于衡量第一分类器与第三分类器的情感预测结果之间的匹配程度，表示第二情感预测结果的第个分量，表示第三情感预测结果的第个分量；
所述第一分类器对应的总体代价函数表示为：
其中，为第一分类器对应的总体代价函数，表示第一额外代价函数占的比重，即第二分类器以及第三分类器提供的情感预测结果在第一分类器对应的总体代价函数中所占的比重。
5.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第二分类器对应的总体代价函数的计算方法包括如下步骤：
根据第二情感预测结果计算得到第二基础代价函数，并根据所述第二基础代价函数以及第二额外代价函数计算得到与所述第二分类器对应的总体代价函数；
所述第二基础代价函数表示为：
其中，为所述第二基础代...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。