基于双流卷积神经网络的虚拟现实视频质量评价方法技术

本发明专利技术涉及一种基于双流卷积神经网络的虚拟现实视频质量评价方法，包括：视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，对不同位置的视频帧进行空间上的压缩，从压缩后的差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁，以产生足够多的数据用于卷积神经网络的训练，与此同时对每个VR视频提取光流；建立两个配置一样的卷积神经网络模型；分别以VR视频补丁和光流为输入；得到最终客观评价分数：将视频补丁与光流两个通路得到的分数平均求和，即得到最终的客观质量评价分数。本发明专利技术提高了客观评价方法准确率。

Virtual reality video quality evaluation method based on two stream convolution neural network

The invention relates to a virtual reality video quality evaluation method based on the double flow convolution neural network, including: video preprocessing: using the left view video of the VR video and the right view video to get the VR differential video, the compression of the video frames in different locations, the uniform drawing from the compressed differential video, and each of the video frames in the compressed video. A non overlapping block, the video block at the same position of each frame constitutes a VR video patch to produce enough data for the training of the convolution neural network, at the same time, to extract the optical flow for each VR video; to establish the same convolution neural network model with two configurations; the input of the VR video patch and the optical flow as input; To the final objective evaluation score: the average score of the two paths of the video patch and the optical flow is summed up, that is, the final objective quality evaluation score is obtained. The invention improves the accuracy of the objective evaluation method.

【技术实现步骤摘要】
基于双流卷积神经网络的虚拟现实视频质量评价方法
本专利技术属视频处理领域，涉及虚拟现实视频质量评价方法。
技术介绍
作为一个新的仿真与交互技术——虚拟现实(VR)技术在许多领域如建筑、游戏与军事中使用，它可以创建一个与现实世界的规则一致的虚拟环境，或者建立一个完全脱离现实的模拟环境，这会带给人们更加真实的视听感受和临场体验[1]。作为虚拟现实的重要载体，VR视频，又称全景立体视频，发挥着巨大的作用。然而，VR视频在采集、储存和传输的过程中由于设备和处理手段等原因，不可避免的会引入一些失真，进而影响VR视频的质量。因此，研究一种能有效评价虚拟现实视频质量的评价方法至关重要。但是主观评价方法易受多种因素的干扰，且费时费力，评价结果也不够稳定。相对主观评价，客观评价以软件的方式评价图像的质量，同时不需参与者和大量的主观试验，操作简单，且与主观评价高度相关，越来越受到相关研究者的关注。由于虚拟现实技术在近些年刚刚兴起，目前还没有针对VR视频规范标准与客观评价体系[2]。VR视频具有真实感，沉浸感，立体感等特性[3]，在传统多媒体类型中立体视频与VR视频的特点最接近，因此，对VR视频进行评价需要参考当前立体视频质量评价的思想。当前立体视频的客观评价方法主要有三类，第一类是基于人眼视觉系统(HVS)的评价方法。第二类是基于图像特征并结合机器学习的评价方法。第三类是利用深度学习的评价方法。上述方法都对VR视频客观评价具有良好的借鉴意义。[1]MindererM,HarveyCD,DonatoF,etal.Neuroscience:Virtualrealityexplored.[J].Nature,2016,533(7603):324.[2]X.Ge,L.Pan,Q.Li.Multi-PathCooperativeCommunicationsNetworksforAugmentedandVirtualRealityTransmission.IEEETransactionsonMultimedia,vol.19,no.10,pp.2345-2358,2017.[3]HosseiniM,SwaminathanV.Adaptive360VRVideoStreaming:DivideandConquer[C]//IEEEInternationalSymposiumonMultimedia.IEEE,2017:107-110.
技术实现思路
本专利技术的目的在于建立一个充分考虑虚拟现实特性的VR视频质量评价方法。本专利技术提出的VR视频客观质量评价方法，利用深度学习模型双流卷积神经网络(CNN)。一个CNN以视频补丁作为输入；另外一个CNN以虚拟现实视频的光流作为输入，提取VR视频的运动信息，即时域信息以充分考虑VR视频特点，与此同时本专利技术设计了贴合VR视频制作与播放特点的预处理策略，从而做出准确与客观的评价。技术方案如下：一种基于双流卷积神经网络的虚拟现实视频质量评价方法，包括以下步骤：1)视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，对不同位置的视频帧进行空间上的压缩，从压缩后的差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁，以产生足够多的数据用于卷积神经网络的训练，与此同时对每个VR视频提取光流。2)建立两个配置一样的卷积神经网络模型：每个模型包含两个卷积层，两个池化层与两个全连接层，激活函数采用整流线性单元，采用Dropout策略防止过拟合；随后调整网络的层内结构及训练参数以达到更好的分类效果。3)训练卷积神经网络模型：利用梯度下降法，分别以VR视频补丁和光流为输入，每个输入配上原视频质量分数作为标签，分批次将其输入网络，经过多次迭代后网络各层权重得到充分优化，最终得到可用于提取虚拟现实视频特征的双流卷积神经网络模型。4)得到最终客观评价分数：将视频补丁与光流两个通路得到的分数平均求和，即得到最终的客观质量评价分数。本专利技术所提出的VR视频客观质量评价方法利用双流卷积神经网络模型，属于无参考质量评价，能够提取VR视频更高维度的特征，简化手工提取特征的过程，同时利用光流法充分考虑到视频时域的运动信息，克服了传统方法对视频时域信息忽略的问题。除此之外本专利技术结合VR视频的制作与播放特点，对视频不同位置进行了不同的下采样处理，充分模拟了现实中VR视频的观看效果。本专利技术采取的视频预处理方法简单，具有较强的实用性，所提出的测试模型耗时小，易于操作。本方法得到的VR视频质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映VR视频的质量。附图说明图1所提方法流程图2虚拟现实视频投影过程及像素点变化，(a)：虚拟现实视频投影过程图；(b)：虚拟现实视频投影过程像素变化图。具体实施方式一种基于双流卷积神经网络的虚拟现实视频质量评价方法，每个失真VR视频对由左视频Vl和右视频Vr组成，评价方法包括以下步骤：第一步：根据立体感知原理构建差值视频Vd。首先将原始VR视频与失真VR视频每一帧灰度化，然后利用左视频Vl与右视频Vr得到需要的差值视频。计算在视频位置(x,y,z)上的和值视频Vd的值如公式(1)所示：Vd(x,y,z)＝|Vl(x,y,z)-Vr(x,y,z)|(1)第二步：根据虚拟现实视频投影与反投影的特点，对不同位置的视频帧进行空间上的压缩，即下采样，对一张分辨率大小为w×h的视频帧进行s倍的下采样，得到分辨率大小为(w/s)×(h/s)的视频帧。本专利技术利用如下的方法进行下采样：Pk＝∑Ii,j/s2(2)其中Pk为压缩后的像素值，Ii,j为压缩前的像素值。由于虚拟现实视频投影的特点，不同位置的下采样倍数取值不同，本专利技术对不同位置(i,j)出采用如下公式计算的采样倍数：其中j'为采样像素点位置距离视频帧中心的垂直距离，j为视频高度的1/2。第三步：由于卷积神经网络模型需要庞大的数据集支撑，本专利技术利用视频切块的方法扩充数据集的大小，具体来说将一个VR视频每8帧抽取一帧，在抽取出的每一帧的相同位置截取32×32大小的视频帧块，所有相同位置的视频帧块组成一个视频补丁，这样不仅有效提高了数据量，还使接下来的预处理更为简便。第四步：利用光流法对得到的视频块进行预处理。设I(x,y,t)表示时刻t的点(x,y)的图像强度，并且这个点将在时间t+Δt处移动到(x+Δx,y+Δy)，从而图像强度表示为I(x+Δx,y+Δy,t+Δt)。令v＝(vx,vy)表示两视频帧之间的光流，其中vx和vy是x和y运动速度分量。光流约束方程可写成：Ixvx+Iyvy+It＝0(4)第五步：将视频补丁与得到的光流分别输入到结构一样的CNN模型中，从而构成双流CNN模型，本专利技术模型每个CNN由两个卷积层，两个池化层与两个全连接层组成。本专利技术中CNN结构利用随机梯度下降的方法，利用修正线性单元(ReLU)作为激活函数，网络中minibatch大小为128。为了避免过度拟合，我们在每个池化层后使用参数为0.5的dropout策略。在第一个完整连接层后，我们使用参数为0.25的dropout策略。其中dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。模型本文档来自技高网...

【技术保护点】
1.一种基于双流卷积神经网络的虚拟现实视频质量评价方法，包括以下步骤：1)视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，对不同位置的视频帧进行空间上的压缩，从压缩后的差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁，以产生足够多的数据用于卷积神经网络的训练，与此同时对每个VR视频提取光流；2)建立两个配置一样的卷积神经网络模型：每个模型包含两个卷积层，两个池化层与两个全连接层，激活函数采用整流线性单元，采用Dropout策略防止过拟合；随后调整网络的层内结构及训练参数以达到更好的分类效果；3)训练卷积神经网络模型：利用梯度下降法，分别以VR视频补丁和光流为输入，每个输入配上原视频质量分数作为标签，分批次将其输入网络，经过多次迭代后网络各层权重得到充分优化，最终得到可用于提取虚拟现实视频特征的双流卷积神经网络模型；4)得到最终客观评价分数：将视频补丁与光流两个通路得到的分数平均求和，即得到最终的客观质量评价分数。

【技术特征摘要】
1.一种基于双流卷积神经网络的虚拟现实视频质量评价方法，包括以下步骤：1)视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，对不同位置的视频帧进行空间上的压缩，从压缩后的差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁，以产生足够多的数据用于卷积神经网络的训练，与此同时对每个VR视频提取光流；2)建立两个配置一样的卷积神经网络模型：每个模型包含两个卷积层，两个池化层与两个全连接层，激...

【专利技术属性】
技术研发人员：杨嘉琛，刘天麟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12