基于时序特征的虚拟现实视频情感识别方法及系统技术方案

本发明专利技术属于认知心理学、虚拟现实技术和情感连续识别的交叉融合领域，为基于时序特征的虚拟现实视频情感识别方法和系统，包括：建立带有连续情感标签的虚拟现实场景音视频数据集；对待识别的虚拟现实场景视频进行跨范式数据预处理；对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；训练单模态虚拟现实场景视频情感回归模型，并融合生成、训练多模态情感回归神经网络模型；将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。本发明专利技术能够基于时序、视觉、音频、生理信号多模态特征，为虚拟现实场景视频的情感评估提供新途径，高效准确地进行情感连续识别。别。别。

【技术实现步骤摘要】
基于时序特征的虚拟现实视频情感识别方法及系统


[0001]本专利技术属于认知心理学、虚拟现实技术和情感连续识别的交叉融合领域，具体为基于时序特征的虚拟现实视频情感识别方法及系统。

技术介绍

[0002]情感诱发和情感识别是情绪研究领域的热点之一，其在推荐系统、游戏设计、心理学研究、人机交互和人机情感感知等领域都有重要的应用和研究价值。虚拟现实场景凭借其高沉浸度、高代入感在教育、医疗、娱乐、脑机接口等方面得到了广泛的应用，同时在情绪诱发领域获得了广泛关注和研究，因此如何对虚拟现实场景视频进行连续情感评价显得尤为重要。
[0003]当前基于虚拟现实场景的情感诱发和情感识别研究中，虚拟现实诱发态下带有连续情感标签的虚拟现实场景素材库较少，对情感诱发材料的情感标注主要是采用SAM量表进行离散评价，耗时耗力，具有较大的主观性，且无法从时间维度上对情感诱发素材进行连续的情绪标注。且针对虚拟现实场景在时间维度上进行动态跨范式连续情绪标注的回归模型尚未完善，这是行业内急需探索和思考的问题。

技术实现思路

[0004]为了解决虚拟现实场景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时序特征的虚拟现实视频情感识别方法，其特征在于，包括以下步骤：S1、建立带有连续情感标签的虚拟现实场景音视频数据集，数据集内容包括手动提取的连续情绪标签、音频特征、视觉特征及生理信号特征；S2、对待识别的虚拟现实场景视频进行跨范式数据预处理；S3、对预处理后的数据进行特征提取，用深度学习网络提取来自音频、视觉、时序和生理信号的深度特征；S4、训练单模态虚拟现实场景视频情感回归模型，并融合生成多模态情感回归神经网络模型；S5、训练多模态情感回归神经网络模型；S6、将待识别虚拟现实场景视频输入多模态情感回归神经网络模型，输出连续情感回归结果。2.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S1包括：S11、搜集包含不同情感内容的虚拟现实场景视频，通过M名健康受试者对搜集到的N个虚拟现实场景视频进行SAM自我评估，根据评估得分，在各个情感象限分别筛选出F个虚拟现实场景视频；S12、搭建连续SAM自我评估实验范式，由P个健康受试者对虚拟现实场景视频进行连续SAM情感评估实验，受试者在头戴虚拟头显观看虚拟现实场景视频时，实时进行SAM自我评估；收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、唤醒度和支配度三个维度上的评分，将P个健康受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。S13、对每个虚拟现实场景视频进行处理，提取其在视觉、音频方面的手工特征和生理信号特征，并与连续情感标签相对应，实现虚拟现实场景音视频连续情感数据集的构建。3.根据权利要求2所述的虚拟现实视频情感识别方法，其特征在于，步骤S13对每个虚拟现实场景视频进行处理，包括手工特征提取、特征对齐和归一化处理。4.根据权利要求3所述的虚拟现实视频情感识别方法，其特征在于，步骤S13包括：S131、提取虚拟现实场景视频在视觉、音频方面的手工特征、时序特征、动作信息特征和生理信号特征，其中生理信号特征包含EEG、BVP、GSR、ECG及HR，视觉特征包括颜色特征、灰度特征、形状特征、纹理特征及共生矩阵特征；S132、将来自不同维度的特征与情感标签对齐，并作各维度与情感高相关的情感特征选择和归一化处理。5.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S3中深度学习网络提取的音频特征被转化为灰度图谱图片，与视觉特征一同由CNN网络和RNN网络提取视觉、音频和时序特征，由RNN网络提取生理特征；并将所提取的特征进行特征主成分分析、对齐和归一化处理。6.根据权利要求1所述的虚拟现实视频情感识别方法，其特征在于，步骤S4中单模态情感回归模型包括视觉情感回归网络、音频情感回归网络和生理信号情感回归网络，其网络主要架构均为CNN
...

【专利技术属性】
技术研发人员：晋建秀，王洒洒，舒琳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：