多维度细粒度动态情感分析方法及系统技术方案

本发明专利技术提出一种多维度细粒度动态情感分析方法及系统，其中，方法包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。本发明专利技术实现了针对多模态数据的一整套分析及预测技术方案。针对多模态数据的一整套分析及预测技术方案。针对多模态数据的一整套分析及预测技术方案。

【技术实现步骤摘要】
多维度细粒度动态情感分析方法及系统


[0001]本专利技术属于人工智能领域。

技术介绍

[0002]论坛、微博、微信等社交媒体的快速发展催生了众多数据分析产业，情感分析即为其中之一。通过分析社交媒体数据包含的情感信息，可准确分析和预测群体意见，在社会舆论、经济发展中发挥着重要作用。随着近几年短视频平台的兴起，新兴的视频信息和传统的文本、图片信息组成了主流的社交媒体信息模态。传统文本情感分析聚焦于单个模态，包含的信息维度有限且单一，无法分析视频或图片数据等包含多模态的情感；针对多模态数据的情感分析应运而生，多模态情感分析对多个模态的数据进行处理和分析，包含多维度信息，从多个维度互相补充信息，从而获得更加准确的结果。多模态情感分析中，不同模态数据间的模态融合是核心，目前，多模态数据融合的主流方法主要包括:
[0003]1)特征级融合:特征级融合将多个独立的数据集融合成一个单一的特征向量，然后输入到分类模型中，多模态数据的特征级融合往往无法充分利用多个模态数据间的互补性，且通常包含大量冗余信息。
[0004]2)决策级融合:在决策级融合中，每种模态特征被独立地抽取和分类，得到局部决策结果后，融合各个结果为决策向量以获得最终决策。而且由于决策级融合将不同模态数据分别训练好的模型输出进行权重融合，无法利用多模态数据之间的相关性，因此在模态之间有较强的关联性时，往往会遗漏大量的信息造成结果不准确。
[0005]现有多模态情感分析方案在模态融合时的局限性较大。特征级融合会在特征级别对数据进行融合，在模态较多时，融合过程会十分复杂，即使最终较好地提升模型表现，但同时也会降低性能；决策级特征融合在决策级别对数据进行融合，依据权重和历史经验策略进行计算，相比之下简单很多，但不同模态间的关联性也被完全丢弃。
[0006]同时，当前的多模态情感分析粒度较粗，大多局限于句子级别情感分析，即分析单句的情感倾向；而现实中一个语句往往包含不同实体，分别表达出不同的情感。忽视不同实体，粗糙地以单句为单位分析情感，在实际使用时会产生情感粒度不够细，无法准确识别单句中各实体情感走向等问题。而基于多维情感向量和属性分类提取的多维度细粒度情感识别技术和动态情感分析技术，通过构建多维情感向量，可以细粒度地识别某一特定属性的情感极性和不同属性间的差别。

技术实现思路

[0007]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0008]为此，本专利技术的第一个目的在于提出一种多维度细粒度动态情感分析方法，用于实现针对多模态数据的一整套分析及预测技术方案。
[0009]本专利技术的第二个目的在于提出一种多维度细粒度动态情感分析系统。
[0010]为达上述目的，本专利技术第一方面实施例提出了一种多维度细粒度动态情感分析方
法，包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。
[0011]本专利技术实施例提出的多维度细粒度动态情感分析方法，基于Transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建LSTM模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
[0012]另外，根据本专利技术上述实施例的多维度细粒度动态情感分析方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，所述利用数据相关经验，对缺失数据进行预测补全，包括：
[0014]利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。
[0015]进一步地，在本专利技术的一个实施例中，所述对文本进行实体级的情感分析，包括：
[0016]根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；
[0017]采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；
[0018]将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。
[0019]进一步地，在本专利技术的一个实施例中，利用所述多模态数据的融合特征,用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。
[0020]进一步地，在本专利技术的一个实施例中，所述基于实体的历史情感数据，预测所述实体未来走向，包括:
[0021]根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；
[0022]对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；
[0023]使用模型对将来一段时间内的情感变化趋势进行预测。
[0024]为达上述目的，本专利技术另一方面实施例提出了一种多维度细粒度动态情感分析系统，包括：数据完善模块，用于利用多模态数据相关经验，对缺失数据进行预测补全；实体级细粒度情感分析模块，用于对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；多模态特征提取模块，用于分别计算文本音频图像多模态的特征；多模态情感分析模块，用于利用所述多模态数据的融合特征,
用训练好的分类模型预测情感；动态预测模块，用于基于实体的历史情感数据，预测所述实体未来情感走向。
[0025]本专利技术实施例提出的多维度细粒度动态情感分析系统，基于Transformer模型，构建常用语情感向量库，包括复杂情感融合、情感向量构建和缺失词汇猜测技术，使用图像情感识别、文字语义分析、多媒体特征融合、特征向量构造等技术构建面向多媒体素材的情感分析模型。在此基础上，针对自然语言语义含混杂糅的特征，提出以短句和实体为单位的细粒度情感统计和分析技术，细化情感分析的粒度，实现实体级别的多模态细粒度情感分析；针对情感分析实时性要求，采用实时更新的方式动态分析情感数据，基于时空特征序列，构建LSTM模型预测情感走势，形成数据实时全覆盖；针对情感数据量大、更新速度快的特点，提出支持动态反馈的低延时高性能的模型优化技术。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维度细粒度动态情感分析方法，其特征在于，包括以下步骤：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。2.根据权利要求1所述的方法，其特征在于，所述利用数据相关经验，对缺失数据进行预测补全，包括：利用多模态数据在不同模态间存在一定关联关系的特点，采用Seq2Seq模型来实现缺失模态的信息补全，根据已知模态的输入序列预测缺失模态的信息。3.根据权利要求1所述的方法，其特征在于，所述对文本进行实体级的情感分析，包括：根据上下文从同一文本中对情感进行更细粒度推断，给定文本可以有不同的分析目标和不同Aspect，每个目标和Aspect关联不同情感；采用预训练模型Bert，利用其Transformer模型中的编码器模块和解码器模块对输入的文本进行特征表示；将上下文添加到自注意力模型中，学习在不同上下文中分配注意力。4.根据权利要求1所述的方法，其特征在于，利用所述多模态数据的融合特征，用训练好的分类模型预测情感，其中，对于相互影响作用较强的模态，采用特征级融合的方式，对于相互影响较弱的模态，采用决策级融合的方式。5.根据权利要求1所述的方法，其特征在于，所述基于实体的历史情感数据，预测所述实体未来走向，包括:根据确定的时间步长将历史消息进行情感特征提取，对情感倾向特征序列进行划分，构造训练样本相乘训练集；对每个样本取时间序列上固定长度的一段时间作为目标，使用LSTM模型，学习训练集种的相关特征；使用模型对将来一段时间内的情感变化趋势进行预测。6.一种多维度细粒度动态情感分...

【专利技术属性】
技术研发人员：欧中洪，陆舸帆，田中一，胡塞尔，宋美娜，钟茂华，梁昊光，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：