【技术实现步骤摘要】
本专利技术涉及情感分析，特别涉及一种半监督多模态情感分析方法、系统、存储介质及计算机。
技术介绍
1、多模态情感分析是实现人机交互的基础，机器人需要对用户情感做出准确的判断，才能与用户进行正确的交互。多模态情感特征表示是多模态情感分析的一项重要内容。良好的多模态特征表示不但要有效的表示独立模态所蕴含的信息，而且要有效的描述异构模态之间的关联。
2、现有技术当中，早期的研究人员采用不同的子神经网络，来提取音频、视频、字幕三种模态数据的单模态特征表示。对于音频模态和视频模态，主流的方法是通过工具提取高维的声学特征向量和面部特征向量，由于高维空间向量的稀疏性，不能表示音视频序列的联系，故使用循环神经网络将音视频高维序列向量映射成低维空间的稠密向量；对于字幕模态，主流的方法是通过预训练语言模型提取文本的特征。预训练语言模型在大规模语料上通过无监督方法进行预训练，能够捕获词语不同上下文信息。三种单模态特征表示，通过拼接融合，得到最终的多模态特征表示。
3、上述方法仅提取了蕴含模态特异性的低级特征表示，未能捕获异构模态之间的...
【技术保护点】
1.一种半监督多模态情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的半监督多模态情感分析方法，其特征在于，
3.根据权利要求1所述的半监督多模态情感分析方法，其特征在于，
4.根据权利要求3所述的半监督多模态情感分析方法，其特征在于，所述伪标签对应的无监督损失函数如下：
5.根据权利要求4所述的半监督多模态情感分析方法，其特征在于，基于所述多模态特征表示得到预测情感值的步骤具体包括：
6.根据权利要求4所述的半监督多模态情感分析方法，其特征在于，所述教师网络参数按以下函数进行更新：
<...【技术特征摘要】
1.一种半监督多模态情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的半监督多模态情感分析方法，其特征在于，
3.根据权利要求1所述的半监督多模态情感分析方法，其特征在于，
4.根据权利要求3所述的半监督多模态情感分析方法，其特征在于，所述伪标签对应的无监督损失函数如下：
5.根据权利要求4所述的半监督多模态情感分析方法，其特征在于，基于所述多模态特征表示得到预测情感值的步骤具体包括：
6.根据权利要求4所述的半监督多模态情感分析方法，其特征在于，所述教师网络参数按以下函数进行更新...
【专利技术属性】
技术研发人员：彭澎，徐华，王进勇，
申请(专利权)人：江西尚通科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。