【技术实现步骤摘要】
本专利技术涉及多模态学习和情感识别的，尤其涉及一种自适应多专家协同多模态情感识别方法及相关设备。
技术介绍
1、情感在人类的交流表达中发挥着重要作用，情感识别是指对人类的自然语言、面部表情、语言表达等多个模态进行一个分析和解读，来推断人类本身的情感状态、意图和情绪体验。情感识别任务能够帮助我们更好的理解他人的情感、意图和态度，有助于促进彼此的有效交流。有助于我们建立更加紧密的人际关系，增进彼此的理解与共情。除此之外，情感识别还能够及时识别和预测个体的情绪状态和心理健康状况，及时发现并且干预潜在的心理问题，为个性化心理咨询和精神治疗提供了客观依据，有利于人类的身心健康。情感识别技术不仅仅在个人层面发挥重要的价值，还在组织和社会层面上发挥着重要作用。随着互联网的发展，网络上用户生成的在线内容(如短视频、商品评论和社交媒体用户情绪等)存在大量的语音、图像和视频数据，对这一部分数据进行情感识别可以提供用户体验、产品评价等方面的信息。这对于企业，政府和市场的研究机构等组织来说更具备价值，能为他们做出更好的用户需求和产品优化。情感识别的目标是使计算...
【技术保护点】
1.一种自适应多专家协同多模态情感识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述获取多模态数据，提取每个模态的初级特征表示，包括：
3.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述使用高维高斯分布对初级特征表示进行建模，获得当前模态特征的均值和方差；使用方差量化当前模态的不确定性水平，通过高斯分布重参数化获得初级特征的稳定表示，包括：
4.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述混合多专家模型对...
【技术特征摘要】
1.一种自适应多专家协同多模态情感识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述获取多模态数据，提取每个模态的初级特征表示，包括：
3.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述使用高维高斯分布对初级特征表示进行建模，获得当前模态特征的均值和方差；使用方差量化当前模态的不确定性水平，通过高斯分布重参数化获得初级特征的稳定表示，包括：
4.根据权利要求1所述的一种自适应多专家协同多模态情感识别方法，其特征在于，所述混合多专家模型对重参数化特征进行提取，最终模态特征通过筛选出的专家配合权重进行加权求和，获得隐层特征表示，包括：
5.根据权利要求4所述的一种自适应多专家协同多模态情感识别方法，其特征在于，在训练中，需要对动态多专家数目进行约束，首先需要对同一个批次的多模态数据进行归一化计算，目标k的计算值需要使用归一化后的方差取其期望进行约束，然后计算其均方差损失作为其自监督损失，具体公式如下：
...
【专利技术属性】
技术研发人员：王昊翔，姚冠成，韩字昊，昌志远，许婷婷，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。