【技术实现步骤摘要】
本申请涉及智能分析，且更为具体地，涉及一种跨模态的视频情感分析方法及装置、设备、存储介质。
技术介绍
1、用户评论是商业分析的常见数据来源。通过对用户评价数据进行情感挖掘，可以将用户的反馈，以更直观的方式展现出来。通过查看分析结果，企业可以获取改进的建议，对后续业务具有重大价值。传统的用户评价调研方法通常基于用户在平台上发布的文本评论来进行数据情感分析。
2、如今，随着电子商务和短视频社交平台的快速发展，用户分享的商品使用体验视频已经成为消费者获取商品信息的重要来源。相比传统的图文，短视频不仅同样具有轻量化的特点，而且信息量大、表现力强、直观性好。人们利用碎片时间浏览短视频，并且通过评论和分享进行社交互动，让短视频具备了病毒式传播潜力，大大增加了短视频影响力。用户发布的商品使用体验视频中包含了丰富的用户情感信息和商品使用信息，对于商品的评价和口碑传播具有重要意义。目前，基于文本或图片等单一模态的用户情感分析技术已取得了一定的研究成果，但对于视频这样的包含音频和图像的跨模态数据情感分析还面临着一些困难，如何有效地提取音频和视频中的情感信息并进行融合，是实现准确跨模态视频情感分析的关键。
3、因此，期待一种跨模态的视频情感分析方法及装置、设备、存储介质。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种跨模态的视频情感分析方法及装置、设备、存储介质，其首先采集用户分享的商品使用体验视频，从视频数据中提取音频数据，利用深度学习技术分别
2、相应地，根据本申请的一个方面，提供了一种跨模态的视频情感分析方法，其包括：
3、获取用户分享的商品使用体验视频，并从所述商品使用体验视频中提取音频数据；
4、从所述商品使用体验视频中提取多个视频图像帧，并将所述多个视频图像帧分别通过面部区域目标检测网络以得到多个面部感兴趣区域；
5、将所述多个面部感兴趣区域分别通过基于vit模型的面部表情语义编码器以得到多个面部表情语义特征向量，并将所述多个面部表情语义特征向量进行级联以得到人物表情上下文关联特征向量；
6、提取所述音频数据的对数梅尔谱图，并将所述对数梅尔谱图通过基于卷积神经网络模型的音频特征提取器以得到人物声音特征向量；
7、融合所述人物表情上下文关联特征向量和所述人物声音特征向量以得到融合特征矩阵；
8、对所述融合特征矩阵进行先验秩序性的几何非刚性一致化以得到优化融合特征矩阵；
9、将所述优化融合特征矩阵通过分类器以得到分类结果，所述分类结果为用于描述视频情感的标签数据。
10、在上述跨模态的视频情感分析方法中，从所述商品使用体验视频中提取多个视频图像帧，包括：以预定采样频率对所述商品使用体验视频进行采样处理以得到所述多个视频图像帧。
11、在上述跨模态的视频情感分析方法中，所述面部区域目标检测网络为基于无锚窗的目标检测网络，所述基于无锚窗的目标检测网络为yolov1、fcos或centernet。
12、在上述跨模态的视频情感分析方法中，将所述多个面部感兴趣区域分别通过基于vit模型的面部表情语义编码器以得到多个面部表情语义特征向量，包括：对所述面部感兴趣区域进行图像分块处理以得到面部区域图像块的序列；使用所述面部表情语义编码器的嵌入层分别对所述面部区域图像块的序列中各个面部区域图像块进行嵌入编码以得到多个面部区域图像块嵌入向量；将所述多个面部区域图像块嵌入向量输入所述面部表情语义编码器的vit模型的转换器模块进行转换编码以得到多个面部区域图像块特征向量；将所述多个面部区域图像块特征向量进行级联以得到所述面部表情语义特征向量。
13、在上述跨模态的视频情感分析方法中，将所述多个面部区域图像块嵌入向量输入所述面部表情语义编码器的vit模型的转换器模块进行转换编码以得到多个面部区域图像块特征向量，包括：将所述多个面部区域图像块嵌入向量进行一维排列以得到面部区域全局嵌入向量；计算所述面部区域全局嵌入向量与所述多个面部区域图像块嵌入向量中各个面部区域图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过激活函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述多个面部区域图像块嵌入向量中各个面部区域图像块嵌入向量进行加权以得到所述多个面部区域图像块特征向量。
14、在上述跨模态的视频情感分析方法中，将所述对数梅尔谱图通过基于卷积神经网络模型的音频特征提取器以得到人物声音特征向量，包括：使用所述音频特征提取器的卷积神经网络模型以如下卷积公式对所述对数梅尔谱图进行处理以得到所述人物声音特征向量；
15、其中，所述卷积公式为：
16、fi＝gp{sigmoid(ni×fi-1+bi)}
17、其中，fi-1为第i层卷积神经网络模型的输入，fi为第i层卷积神经网络模型的输出，ni为第i层卷积神经网络模型的过滤器，且bi为第i层卷积神经网络模型的偏置矩阵，sigmoid表示非线性激活函数，且gp表示对特征图沿通道维度的各个特征矩阵进行全局特征池化操作。
18、在上述跨模态的视频情感分析方法中，对所述融合特征矩阵进行先验秩序性的几何非刚性一致化以得到优化融合特征矩阵，包括：以如下优化公式对所述融合特征矩阵进行先验秩序性的几何非刚性一致化以得到优化融合特征矩阵；其中，所述优化公式为：
19、
20、其中，mi,j表示所述融合特征矩阵中的第(i,j)位置的特征值，表示所述融合特征矩阵中的所有特征值的均值，exp(·)表示矩阵的指数运算，log表示以2为底的对数函数值，m'i,j表示所述优化融合特征矩阵中的第(i,j)位置的特征值。
21、根据本申请的另一个方面，提供了一种跨模态的视频情感分析装置，其包括：
22、视频采集模块，用于获取用户分享的商品使用体验视频，并从所述商品使用体验视频中提取音频数据；
23、人脸目标识别模块，用于从所述商品使用体验视频中提取多个视频图像帧，并将所述多个视频图像帧分别通过面部区域目标检测网络以得到多个面部感兴趣区域；
24、人物表情上下文语义特征提取模块，用于将所述多个面部感兴趣区域分别通过基于vit模型的面部表情语义编码器以得到多个面部表情语义特征向量，并将所述多个面部表情语义特征向量进行级联以得到人物表情上下文关联特征向量；
25、人物声音特征提取模块，用于提取所述音频数据的对数梅尔谱图，并将所述对数梅尔谱图通本文档来自技高网...
【技术保护点】
1.一种跨模态的视频情感分析方法，其特征在于，包括：
2.根据权利要求1所述的跨模态的视频情感分析方法，其特征在于，从所述商品使用体验视频中提取多个视频图像帧，包括：以预定采样频率对所述商品使用体验视频进行采样处理以得到所述多个视频图像帧。
3.根据权利要求2所述的跨模态的视频情感分析方法，其特征在于，所述面部区域目标检测网络为基于无锚窗的目标检测网络，所述基于无锚窗的目标检测网络为YOLOv1、FCOS或CenterNet。
4.根据权利要求3所述的跨模态的视频情感分析方法，其特征在于，将所述多个面部感兴趣区域分别通过基于ViT模型的面部表情语义编码器以得到多个面部表情语义特征向量，包括：
5.根据权利要求4所述的跨模态的视频情感分析方法，其特征在于，将所述多个面部区域图像块嵌入向量输入所述面部表情语义编码器的ViT模型的转换器模块进行转换编码以得到多个面部区域图像块特征向量，包括：
6.根据权利要求5所述的跨模态的视频情感分析方法，其特征在于，将所述对数梅尔谱图通过基于卷积神经网络模型的音频特征提取器以得到人物声音特
7.根据权利要求6所述的跨模态的视频情感分析方法，其特征在于，对所述融合特征矩阵进行先验秩序性的几何非刚性一致化以得到优化融合特征矩阵，包括：以如下优化公式对所述融合特征矩阵进行先验秩序性的几何非刚性一致化以得到优化融合特征矩阵；其中，所述优化公式为：
8.一种跨模态的视频情感分析装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种存储介质，其特征在于，所述存储介质上存储有跨模态的视频情感分析程序，所述跨模态的视频情感分析程序被处理器执行时实现如权利要求1至7任一项所述的跨模态的视频情感分析方法。
...【技术特征摘要】
1.一种跨模态的视频情感分析方法，其特征在于，包括：
2.根据权利要求1所述的跨模态的视频情感分析方法，其特征在于，从所述商品使用体验视频中提取多个视频图像帧，包括：以预定采样频率对所述商品使用体验视频进行采样处理以得到所述多个视频图像帧。
3.根据权利要求2所述的跨模态的视频情感分析方法，其特征在于，所述面部区域目标检测网络为基于无锚窗的目标检测网络，所述基于无锚窗的目标检测网络为yolov1、fcos或centernet。
4.根据权利要求3所述的跨模态的视频情感分析方法，其特征在于，将所述多个面部感兴趣区域分别通过基于vit模型的面部表情语义编码器以得到多个面部表情语义特征向量，包括：
5.根据权利要求4所述的跨模态的视频情感分析方法，其特征在于，将所述多个面部区域图像块嵌入向量输入所述面部表情语义编码器的vit模型的转换器模块进行转换编码以得到多个面部区域图像块特征向量，包括：<...
【专利技术属性】
技术研发人员：程亮亮，
申请(专利权)人：乐东鸢始科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。