基于改进扩散模型的多模态情感分析方法、系统、介质及产品技术方案

本发明专利技术公开一种基于改进扩散模型的多模态情感分析方法、系统、介质及产品，涉及多模态情感分析领域，方法包括获取用户发布的视频信息，提取图片特征、音频特征和文本特征；基于文本信息应用文本编码器得出文本特征序列和第一文本表示向量；将文本特征序列、图片特征序列和音频特征序列进行双模态交互，将交互后的结果与文本表示向量进行拼接得到多模态初始表示向量；应用改进扩散模型得到多模态重构表示向量；改进扩散模型是去除传统扩散模型的反向去噪过程，在所述传统扩散模型的正向去噪过程之后逆向应用正向去噪过程对模型输入进行重构；根据多模态重构表示向量进行情感分析。本发明专利技术利用改进的扩散模型提高多模态情感分析的效率以及准确性。

【技术实现步骤摘要】

本专利技术涉及多模态情感分析领域，特别是涉及一种基于改进扩散模型的多模态情感分析方法、系统、介质及产品。

技术介绍

1、随着移动设备的普及和社交平台的发展，越来越多的人会在微博、抖音等平台上上传自己录制的视频表达自己的观点，分享自己的生活。这些视频包含大量的社交媒体信息，包括文本、图片和视频等各样的数据。同时，大量有配文的表情包也出现在社交媒体上，表情包本质上其实是一种gif格式的短视频，与纯文字内容相比，其富有活力的视觉动态变化能够更加直观地表现出使用者的喜怒哀乐，让对方有身临其境之感，增加社交的趣味。

2、通过对用户发布的视频进行情感分析研究，有助于得到个人对商品、公众人物、社会舆论的情感趋向，对个人而言，可以浏览更多感兴趣的内容，提高个人上网满意度；对商家而言，可以定制更加精准的个性化服务，为每位用户推荐合适的商品；对企业而言，可以深入了解用户的喜好，从而生产更受用户青睐的产品；对政府而言，可以深入调查民情，实施合理的国家政策，促进整个社会良性有序地进步。因此，多模态情感分析也受到越来越多研究人员的重视，而如何构建多模态表示向量是多模态情本文档来自技高网...

【技术保护点】

1.一种基于改进扩散模型的多模态情感分析方法，其特征在于，包括：

2.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，基于所述文本信息应用文本编码器得出文本特征序列和第一文本表示向量，具体包括：

3.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，将所述文本特征序列和所述图片特征序列进行双模态交互得到第一双模态交互向量，具体包括：

4.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，将所述多模态初始表示向量应用改进扩散模型得到多模态重构表示向量，具体包括：

5.根...

【技术特征摘要】

1.一种基于改进扩散模型的多模态情感分析方法，其特征在于，包括：

2.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，基于所述文本信息应用文本编码器得出文本特征序列和第一文本表示向量，具体包括：

3.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，将所述文本特征序列和所述图片特征序列进行双模态交互得到第一双模态交互向量，具体包括：

4.根据权利要求1所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，将所述多模态初始表示向量应用改进扩散模型得到多模态重构表示向量，具体包括：

5.根据权利要求4所述的一种基于改进扩散模型的多模态情感分析方法，其特征在于，所述加噪后的多模态表示向量的表...

【专利技术属性】
技术研发人员：张华，闫永健，占佩倩，蔡子靖，姜波，陈碧，谢波，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：