基于深度学习的情感虚拟现实场景评估方法技术

本发明专利技术涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法，包括步骤：获取多种情绪类型的样本图像组成样本库并进行预处理；标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中截取一系列图像，获取待评估的图像数据组成待评估样本库；利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。该方法对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，可充分在时间轴上对虚拟现实场景进行情绪触发评估。

Emotional Virtual Reality Scene Evaluation Method Based on Deep Learning

The invention relates to the field of video image data processing, in particular to an emotional virtual reality scene evaluation method based on in-depth learning, including steps: obtaining sample images of various emotional types to form a sample library and preprocessing; standardizing image data of dynamic vision in virtual reality scene and acquisition of virtual reality scene to be evaluated, in a virtual reality scene that meets the requirements of time-length. A series of images are intercepted and the image data to be evaluated are obtained to form the sample database to be evaluated; the depth neural network model is constructed and trained by using the pre-processed emotional stimulus sample images; the depth neural network model is used to evaluate the dynamic visual images collected in the evaluation virtual reality scene, and the emotional types of the evaluation are output. This method allocates the weight of features in each view of each video frame reasonably, and considers the duration of the virtual reality scene comprehensively. It can fully evaluate the emotional triggering of the virtual reality scene on the time axis.

【技术实现步骤摘要】
基于深度学习的情感虚拟现实场景评估方法
本专利技术涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法。
技术介绍
虚拟现实场景在日常生活中的应用正在逐步地广泛起来，其中一部分围绕着情感触发及情感评估进行的健康监测、辅助治疗和游戏设计的应用正是发展的重要领域之一。已有的研究表明，利用虚拟现实技术创建出虚拟场景进行心理疾病诊断、治疗可以诊断被试者的心理状况或有效地缓解被试者的焦虑症、恐惧症等精神疾病。虚拟现实场景通过整合计算机图像处理、运动追踪、视觉呈现等技术，具备优秀的沉浸性、可交互性，可以让患者安全可控地完全沉浸在虚拟的场景中进行治疗,从而逐步改善患者的症状。虚拟现实场景在投入正式使用之前，需要进行情感评估，对虚拟现实场景所处的情感触发类别进行评估。在虚拟现实场景情感评估方面中，目前普遍使用的方法还是运用传统情感评估手段进行情感评估，即是通过规范化的心理学实验，获取主观的情感报告。主观情感报告作为主流实验手段，存在数据结果主观、个体差异大、耗费人力物力等不足之处。所以，需要搭建一个神经网络，自动识别一定时长的虚拟现实场景。这样既节省了严格心理学实验评估的一系列需求，又可对一段时间内虚拟现实场景的视觉画面进行多维度、全方位的评估，得出场景的情感类型，分析场景的基础情绪构成，在时间维度、空间维度和复合情绪分析上更具科学性。在相关研究中，通过神经网络进行情感评估的研究主要集中在图片、音频、视频等方面，即利用人工智能、计算机视觉等技术对情感评估素材的情感类型进行自动评估的研究。通过机器学习、图像数据处理等手段找出情感评估素材中的颜色、元素等各类因子，分析之间关系及权重，并自动进行评估。从现有的自动评估系统的研究来看，基本上是围绕着图像、文字、声音等情感评估素材进行短时、单维度的评估，而这种单次评分机制并不适用于虚拟现实场景这类多维、持续一定时长且连续变化的情感评估素材。在预处理环节中，通常把情绪评估素材的尺寸规格变成一致的并且进行裁剪，而虚拟现实场景不同于图片素材，每一帧都是360度的全景图片，有多角度的视角可以变化。此外，在特征提取及选择的环节中，现有技术主要进行素材中重要特征的提取和筛选，或者是直接利用现有特征，根据启发式、完全搜索式等方法抽取特征子集。然而，在实际应用中，对虚拟现实场景的特征筛选的过程中，仅仅做以上考虑是不足够的。
技术实现思路
为了解决现有技术所存在的问题，本专利技术提供基于深度学习的情感虚拟现实场景评估方法，在虚拟现实场景的特征筛选的过程中，该方法依据场景摄像头主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，可充分在时间轴上对虚拟现实场景进行情绪触发评估。本专利技术采用如下技术方案来实现：基于深度学习的情感虚拟现实场景评估方法，包括以下步骤：S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；S4、使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。在一个优选的实施方案中，步骤S2中获取待评估的图像数据组成待评估样本库，包括步骤：S21、判断虚拟现实场景是否满足所需的时长要求，若不满足，则将虚拟现实场景分至不合格类别，结束评估；如满足，则进入步骤S22；S22、对步骤S21中满足时长需求的虚拟现实场景，以摄像机主视角为基准，将其在水平方向均分成多个视角；S23、每间隔相等的时间，从各个视角均截取一张图像，直至虚拟现实场景结束放映，获得一组图像数据；S24、将步骤S23中同一个虚拟现实场景截取的图像数据，统一命名，并打包至同一数据包内。优选地，步骤S22中，虚拟现实场景截取图像的命名表示为a-b-c，其中，a为所属虚拟现实场景序号，b表示图像截取所在的时间段编号，c表示图像截取所在的视角；导出时，将a值相同的图像数据打包到同一数据集中。基于本专利技术的评估方法，可虚拟现实场景的动态视觉部分进行智能评估。与现有技术相比，本专利技术具有如下优点和有益效果：从虚拟现实场景中获取时长符合要求的待评估图像数据组成待评估样本库，可充分在时间轴上对虚拟现实场景进行情绪触发评估，综合分析其触发的情绪构成，评估其情绪触发的离散度是否符合标准，同时得出动态视觉方面的情绪触发类型。本专利技术依据场景摄像头主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，可充分在时间轴上对虚拟现实场景进行情绪触发评估。本专利技术通过构建和训练深度神经网络模型，自动识别虚拟现实情感场景的情绪触发类型，节省了心理学评估实验所需的大量受试者资源与较长的实验时间成本，并摆脱了严格的实验环境限制，可应用于视觉情感评估领域。附图说明图1是本专利技术基于深度学习的情感虚拟现实场景评估流程图；图2是本专利技术待评估图像数据样本集的获取流程图；图3是虚拟现实场景视场角划分示意图；图4是本专利技术所使用的神经网略模型结构。具体实施方式为了便于本专利技术的实施，下面结合附图和实施例对本专利技术作进一步描述，但本专利技术的实施方式不限于此。实施例如图1，本专利技术基于深度学习的情感虚拟现实场景评估方法，包括如下步骤：S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理。S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集。在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库。从虚拟现实场景中获取待评估的图像数据并组成待评估样本库，参见图2，包括以下步骤：S21、以时长80s作为虚拟现实场景是否符合要求的分界线，时长小于80s的虚拟现实场景不满足评判要求，被判定为不合格虚拟现实场景，并完成评估；时长大于或等于80s的虚拟现实场景满足评判要求，进入下一个步骤。S22、虚拟现实场景中摄像机主视角的中轴线一般与摄像机移动路径方向相一致，且处于水平面上。将摄像机主视角中轴线在水平面上顺时针旋转，每旋转90°即定义一个新视角的中轴线，将虚拟现实场景在水平面上依次分为①、②、③、④四个视角，即前视、右视、后视、左视共四个视角，如图3所示。由于现有虚拟现实头戴显示设备视场角大部分为110°，本实施例可取110°为每个视角可视的角度大小。每两个相邻视角之间存在重叠部分，重叠部分为20°，保证重要的元素不被边缘切割而导致无法识别。S23、取1s作为时间间隔，每一秒钟四个视角各截取一张图像，则预计截取图像数据样本≥320张。这里，获取图像的分辨率为2160*1200像素。S24、将虚拟现实场景中截取的图像按照统一命名规则命名。命名内容包括：所属虚拟现实场景序号、图像截取所在的时间段编号、图像截取所在的视角编号，则最终得到的命名为一串数字符。例如，图像12-75-3是指12号虚拟现实场景在75s时截取的③号视角的图像。S25、将属于同一虚拟现本文档来自技高网...

【技术保护点】
1.基于深度学习的情感虚拟现实场景评估方法，其特征在于，包括以下步骤：S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；S4、使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。

【技术特征摘要】
1.基于深度学习的情感虚拟现实场景评估方法，其特征在于，包括以下步骤：S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；S4、使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。2.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，步骤S2中获取待评估的图像数据组成待评估样本库，包括步骤：S21、判断虚拟现实场景是否满足所需的时长要求，若不满足，则将虚拟现实场景分至不合格类别，结束评估；如满足，则进入步骤S22；S22、对步骤S21中满足时长需求的虚拟现实场景，以摄像机主视角为基准，将其在水平方向均分成多个视角；S23、每间隔相等的时间，从各个视角均截取一张图像，直至虚拟现实场景结束放映，获得一组图像数据；S24、将步骤S23中同一个虚拟现实场景截取的图像数据，统一命名，并打包至同一数据包内。3.根据权利要求2所述的情感虚拟现实场景评估方法，其特征在于，步骤S22中，均分成多个视角的过程为：取摄像机主视角中轴线在水平面顺时针旋转，每旋转90°为一个新视角的中轴线，即依次分为四个视角；每两个相邻视角之间存在重叠部分。4.根据权利要求3所述的情感虚拟现实场景评估方法，其特征在于，每两个相邻视角之间的重叠部分为20°。5.根据权利要求2所述的情感虚拟现实场景评估方法，其特征在于，步骤S22中，虚拟现实场景截取图像的命名表示为a-b-c，其中，a为所属虚拟现实场景序号，b表示图像截取所在的时间段编号，c表示图像截取所在的视角；导出时，将a值相同的图像数据打包到同一数据集中。6.根据权利要求1所述的情感虚拟现实场景评估方法，其特征在于，深度神经网络模型包括相连接的基础网络部分...

【专利技术属性】
技术研发人员：晋建秀，张文卓，徐向民，舒琳，黎璎萱，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44