【技术实现步骤摘要】
本专利技术涉及多模态情感分析，尤其涉及一种可解释性的多模态自然语言情感分析方法及相关装置。
技术介绍
1、多模态情感分析是一个重要的研究领域，涵盖了多个学科领域，包括自然语言处理、计算机视觉和语音处理。该领域的研究旨在从多个感知模态(如文本、图像、声音等)中提取和理解情感信息，以帮助计算机系统更好地理解人类情感。在过去的几年里，情感分析已经取得了显著的进展。最早的情感分析方法主要集中在处理文本数据上，通过词汇情感分析和情感词典来识别文本中的情感。这些方法忽略了来自其他感知模态的丰富信息，这在实际应用中是不够全面和准确的。随着多模态数据的普及，多模态情感分析变得越来越重要。多模态数据包括文本、图像和声音等多种数据类型，这些数据可以提供互补性的情感信息。例如，在社交媒体情感分析中，用户可能同时发布文本评论、图片和语音留言，而综合考虑这些信息可以更好地理解用户的情感状态。现有技术涵盖了多模态情感分析的各个方面，包括多模态特征提取、特征融合、情感分类模型和可解释性技术。然而，这个领域仍然存在挑战，为了有效地整合不同模态的信息、提高模型的可解释性...
【技术保护点】
1.一种可解释性的多模态自然语言情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，所述多模态数据集包括文本数据、声音数据和图像数据。
3.根据权利要求2所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，对所述多模态数据集进行预处理，具体包括如下步骤：
4.根据权利要求2所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，对预处理后的多模态数据分别进行特征提取，获得多模态特征向量，具体包括如下步骤：
5.根据权利要求4所述的一种可解释性...
【技术特征摘要】
1.一种可解释性的多模态自然语言情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，所述多模态数据集包括文本数据、声音数据和图像数据。
3.根据权利要求2所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，对所述多模态数据集进行预处理，具体包括如下步骤：
4.根据权利要求2所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，对预处理后的多模态数据分别进行特征提取，获得多模态特征向量，具体包括如下步骤：
5.根据权利要求4所述的一种可解释性的多模态自然语言情感分析方法，其特征在于，将所述图像数据向量、声音数据向量分别输入至双向gru网络，并使用压缩感知技术得到图像特征向量fv、声音特征向量fa，具体包括如下步骤：
...【专利技术属性】
技术研发人员：徐博，黄梦醒，沈星浩，张文生，尤佳，冯思玲，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。