【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种多模态情感分类模型训练方法及多模态情感分类方法。
技术介绍
1、面向目标的多模态情感分类是近年来自然语言处理和计算机视觉领域的一个热门研究方向，旨在从多模态数据(如文本、图像、音频等)中自动识别出目标的情感状态，广泛应用于情感计算、社会媒体分析、虚拟助手等场景。与传统的单模态情感分析不同，面向目标的多模态情感分类利用来自不同模态的数据，融合多源信息，能够更全面地理解和推断目标的情感状态，提升分析的准确性和鲁棒性。
2、近年来，随着深度学习等技术的发展，多模态情感分析技术取得了显著进展。通过利用卷积神经网络、长短时记忆网络等深度学习模型，研究者能够从大量数据中自动学习到多模态特征，显著提高了情感分析的鲁棒性与准确性。
3、然而，现有的多模态情感分析方法仍然面临关键挑战，即模态内和不同模态之间的虚假关联问题。在情感分析中，虚假关联问题是指模型在学习过程中错误地将无关或噪声特征与目标情感标签建立关联，导致模型的性能下降，尤其是在多模态情感分析中，这一问题更为突出，模型会受到模态间和模态内两方面虚假关联的影响从而导致性能下降，其中，模态间虚假关联问题包括不同模态之间不对应的问题，模态内虚假关联问题包括模态中包含的某些内容和具体表达情感不符的问题。这些虚假关联问题会降低模型的泛化能力和鲁棒性。
技术实现思路
1、有鉴于此，本专利技术提供了一种多模态情感分类模型训练方法及多模态情感分类方法，以解决现有技术多模态情感分析中存在的虚假关联
2、第一方面，本专利技术提供了一种多模态情感分类模型训练方法，所述方法包括：获取包含多模态样本的训练样本；采用预设神经网络提取多模态样本的多模态特征；采用可学习掩码对所述多模态特征过滤，得到多模态因果特征；采用多模态特征的情感分类损失和多模态因果特征的情感分类损失计算因果效应，所述情感分类损失基于预设分类器对多模态特征和多模态因果特征的情感分类结果确定；采用由所述因果效应和可学习参数确定的调度权重和情感分类损失确定联合损失；采用联合优化对预设神经网络、预设分类器以及联合损失中的参数进行参数优化，并基于参数优化后的预设神经网络、可学习掩码和预设分类器构建多模态情感分类模型。
3、本专利技术中，在模型训练过程中，采用可学习掩码对样本中的多模态特征过滤，得到多模态因果特征，即通过简单而有效的因果干预来选择多模态因果特征，缓解了虚假关联问题。同时，通过评估特征的因果效应来调度多模态学习过程，并结合联合优化来自适应地确定最优调度参数。由此，训练得到的多模态情感分类模型，实现了基于因果关系的多模态特征学习，提高了多模态情感分类的性能。
4、在一种可选的实施方式中，多模态样本包括文本样本和图像样本，采用预设神经网络提取多模态样本的多模态特征，包括：采用bert模型提取文本样本的文本特征；采用clip模型提取图像样本的图像特征。
5、本专利技术中，采用bert模型提取文本样本的文本特征，采用clip模型提取图像样本的图像特征，实现了对多模态特征的准确提取。
6、在一种可选的实施方式中，采用多模态特征的情感分类损失和多模态因果特征的情感分类损失计算因果效应，包括：采用预设分类器确定每一模态特征和每一模态因果特征的情感分类结果；基于每一模态对应的损失函数、所述情感分类结果以及对应的情感标签计算每一模态特征和每一模态因果特征对应的情感分类损失；采用每一模态特征和每一模态因果特征对应的情感分类损失计算因果效应。
7、本专利技术中，通过上述实施方式计算因果效应，由此能够通过该因果效应量化相应因果特征对情感分类结果的影响。
8、在一种可选的实施方式中，所述因果效应采用如下公式表示：
9、
10、
11、式中，δ∈表示因果效应，和分别表示多模态因果特征中的反事实文本因果特征和反事实图像因果特征，yt表示文本的情感标签；yv表示图像的情感标签，分别表示采用预设分类器确定的多模态特征中文本特征和图像特征的情感分类结果，分别表示采用预设分类器确定的反事实文本因果特征和反事实图像因果特征的情感分类结果，lce表示文本特征对应的损失函数，lbce表示图像特征对应的损失函数。
12、本专利技术中，通过采用上述公式计算因果效应，从而使得计算的因果效应综合了多模态特征和多模态因果特征的影响。
13、在一种可选的实施方式中，采用联合优化对预设神经网络、预设分类器以及联合损失中的参数进行参数优化，包括：采用预设可学习参数对第一参数进行优化，所述第一参数包括预设神经网络的参数、可学习掩码以及预设分类器中的参数；基于优化后的第一参数对可学习参数进行优化；重复上述步骤，直至得到的联合损失满足预设要求。
14、本专利技术中，在对参数优化时，采用两级优化的方式，即将参数分为两级，先通过固定可学习参数优化第一参数，再通过第一参数优化可学习参数，重复该过程，使得最终的联合损失达到预设要求，由此能够得到最优的参数。
15、第二方面，本专利技术提供了一种多模态情感分类方法，应用于本专利技术第一方面及第一方面任一项所述的多模态情感分类模型训练方法训练得到的多模态情感分类模型，所述方法包括：获取待分类数据，待分类数据为多模态数据；采用参数优化后的预设神经网络提取待分类数据的特征；采用参数优化后的可学习掩码对所述特征过滤，得到因果特征；采用参数优化后的预设分类器对所述因果特征预测，确定待分类数据的情感分类结果。
16、本专利技术中，由于可学习掩码经过上述模型训练过程中的参数优化，由此，使得过滤得到的因果特征缓解了特征中的虚假关联问题，之后再采用参数优化后的分类器对因果特征进行预测分类，从而得到了更加准确的情感分类效果。
17、第三方面，本专利技术提供了一种多模态情感分类模型训练装置，所述装置包括：样本获取模块，用于获取包含多模态样本的训练样本；特征提取模块，用于采用预设神经网络提取多模态样本的多模态特征；过滤模块，用于采用可学习掩码对所述多模态特征过滤，得到多模态因果特征；因果效应计算模块，用于采用多模态特征的情感分类损失和多模态因果特征的情感分类损失计算因果效应，所述情感分类损失基于预设分类器对多模态特征和多模态因果特征的情感分类结果确定；联合损失确定模块，用于采用由所述因果效应和可学习参数确定的调度权重和情感分类损失确定联合损失；参数优化及模型构建模块，用于采用联合优化对预设神经网络、预设分类器以及联合损失中的参数进行参数优化，并基于参数优化后的预设神经网络、可学习掩码和预设分类器构建多模态情感分类模型。
18、第四方面，本专利技术提供了一种多模态情感分类装置，应用于本专利技术第一方面及第一方面任一项所述的多模态情感分类模型训练方法训练得到的多模态情感分类模型，所述装置包括：数据获取模块，用于获取待分类数据，待分类数据为多模态数据；数据特征提取模块，采用参数优化后的预设神经网络提取待分类数据的特征；因果特征确定模块，用于采用参数优化后的可学习掩码对本文档来自技高网...
【技术保护点】
1.一种多模态情感分类模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，多模态样本包括文本样本和图像样本，采用预设神经网络提取多模态样本的多模态特征，包括：
3.根据权利要求1所述的方法，其特征在于，采用多模态特征的情感分类损失和多模态因果特征的情感分类损失计算因果效应，包括：
4.根据权利要求1所述的方法，其特征在于，所述因果效应采用如下公式表示：
5.根据权利要求1所述的方法，其特征在于，采用联合优化对预设神经网络、预设分类器以及联合损失中的参数进行参数优化，包括：
6.一种多模态情感分类方法，其特征在于，应用于权利要求1-5任一项所述的多模态情感分类模型训练方法训练得到的多模态情感分类模型，所述方法包括：
7.一种多模态情感分类模型训练装置，其特征在于，所述装置包括：
8.一种多模态情感分类装置，其特征在于，应用于权利要求1-5任一项所述的多模态情感分类模型训练方法训练得到的多模态情感分类模型，所述装置包括：
9.一种计算机设备，其特征在于，包括
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的多模态情感分类模型训练方法或者权利要求6所述的多模态情感分类方法。
...【技术特征摘要】
1.一种多模态情感分类模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，多模态样本包括文本样本和图像样本，采用预设神经网络提取多模态样本的多模态特征，包括：
3.根据权利要求1所述的方法，其特征在于，采用多模态特征的情感分类损失和多模态因果特征的情感分类损失计算因果效应，包括：
4.根据权利要求1所述的方法，其特征在于，所述因果效应采用如下公式表示：
5.根据权利要求1所述的方法，其特征在于，采用联合优化对预设神经网络、预设分类器以及联合损失中的参数进行参数优化，包括：
6.一种多模态情感分类方法，其特征在于，...
【专利技术属性】
技术研发人员：廖清，赵鹏宇，李超洋，姚紫怡，汪灵芝，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。