基于稀疏表示的无参考立体视频质量客观评价方法技术

本发明专利技术公开了一种基于稀疏表示的无参考立体视频质量客观评价方法：对立体视频进行降采样，得到立体视频对；对立体视频对左、右视点分别求单目能量幅度图，得到左、右视图的加权因子；立体视频对双视点进行加权运算，得到视觉感知图；在视觉感知图上计算视觉感兴趣区域，得到视觉感知显著性图；字典学习；对视觉感知显著性图稀疏表示，得到系数矩阵，得到其熵；对系数矩阵求均值，方差和二范数操作，得到系数矩阵；在视频库中选择视频对的系数矩阵和MOS用于训练，得到训练模型；利用训练模型对任一立体视频进行质量预测，得到最终客观预测值。本发明专利技术根据视觉感知图像，稀疏表示为工具，对立体视频质量做出更加全面、准确的客观评价。

Objectively Evaluating the Quality of Unreferenced Stereo Video Based on Sparse Representation

The invention discloses an objective evaluation method for the quality of non-reference stereo video based on sparse representation: downsampling stereo video to obtain stereo video pairs; calculating mono-view energy magnitude maps for left and right viewpoints respectively for stereo video to obtain the weighting factors for left and right views; weighting operation for dual viewpoints for stereo video to obtain visual perception maps; Visual perception saliency map is obtained by calculating regions of interest; dictionary learning; sparse representation of visual perception saliency map, coefficient matrix is obtained and its entropy is obtained; coefficient matrix is obtained by mean, variance and two-norm operation of coefficient matrix; coefficient matrix of video pairs is selected in video library for training, and training model is obtained by using training model for any stereo. The final objective prediction value is obtained by video quality prediction. According to the visual perception image, the sparse representation is used as a tool to make a more comprehensive and accurate objective evaluation of stereo video quality.

【技术实现步骤摘要】
基于稀疏表示的无参考立体视频质量客观评价方法
本专利技术涉及视频处理领域，更具体的说，是涉及一种基于稀疏表示的无参考立体视频质量客观评价方法。
技术介绍
在人类感知世界的过程中，视觉信息扮演着很重要的角色。近年来，随着立体拍摄技术和立体显示技术的迅猛发展，越来越多的人开始观看3D电影，立体视频能够带给观众更加真实生动的立体场景，因此具有广阔的发展前景。但是，在立体视频的采集、压缩、传输和显示等过程中，诸多因素会导致视频质量下降。因此，十分有必要提出一种有效的立体视频质量评价算法，这对于提高立体视频处理系统的性能和提升人们的观看体验具有重要意义。和图像质量评价方法一样，根据对参考视频的依赖程度，立体视频质量客观评价方法可以分为全参考型、半参考型和无参考型。全参考型需要参考视频的原始立体视频信息进行质量评价；半参考型只需要参考原始视频的部分信息；而无参考型不需要参考原始视频的任何信息就可以对立体视频的质量进行评价。并且，多数视频的获取具有随机性，质量评价过程中大多数无法得到无失真的原始立体视频。因此，不依赖于原始视频的无参考立体视频质量评价方法更有研究价值。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提高立体视频质量评价的鲁棒性，提供一种基于稀疏表示的无参考立体图像质量客观评价方法，以稀疏表示为基础，又充分考虑双视点特性的立体视频质量客观评价方法，具体来说，就是根据人类视觉系统特性模拟大脑中形成的视觉感知图像，以稀疏表示作为工具，对立体视频质量做出更加全面、准确的客观评价。本专利技术的目的是通过以下技术方案实现的。本专利技术的基于稀疏表示的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点和右视点组成，包括以下步骤：第一步，对立体视频进行降采样处理，每隔一定帧数取一帧，得到总帧数为l的立体视频对；第二步，模拟人类视觉特性，对第一步得到的立体视频对的左视点和右视点分别求其单目能量幅度图，得到左视图和右视图的加权因子WL(x,y,n)和WR(x+d,y,n)；第三步，将第一步得到的立体视频对的双视点(tl,tr)进行加权运算，得到一段视频的第n对图像的视觉感知图V(x,y,n)，计算公式如下所示：V(x,y,n)＝WL(x,y,n)×tl(x,y,n)+WR(x+d,y,n)×tr((x+d),y,n)第四步，在合成的视觉感知图V(x,y)上计算视觉感兴趣区域，得到视觉感知显著性图SM(x,y)；第五步，用图像进行字典学习；第六步，对视觉感知显著性图SM(x,y)进行稀疏表示：首先对视频对的一幅图像进行稀疏表示，得到相应的系数矩阵C，随后对系数矩阵C进行求熵，得到其熵E；第七步，对帧长为l的SM(x,y)视频的所有图像序列执行第六步，得到稀疏表示后的系数矩阵l×K，最后对系数矩阵在时间方向上进行求均值，方差和二范数操作，得到该视频处理后的系数矩阵(3×K)；第八步，对立体视频库中的每一组失真立体视频对进行第一步至第七步操作，并利用支持向量机(SVM)对视频库中的视频的稀疏矩阵及相应的主观评价值(MOS)进行训练；具体如下，在视频库中随机选择80％视频对的系数矩阵和MOS用于训练，得到相应的训练模型；利用该训练模型对任一立体视频进行质量预测，得到最终的客观预测值。第二步中左视点能量图和右视点能量图的加权因子WL(x,y,n)和WR(x+d,y,n)的求解过程：(1)左视点图像中的点p(x,y)，在右视点图像中匹配点为p'(x+d,y)，d表示对右视点图像进行视差补偿的像素点横坐标差值，这两个像素点的能量分别为：pi为p周围相邻点，p′i为p′周围相邻点；为对应于pi的能量，为对应于p′i的能量；ψ为去掉p点的p周围相邻区域，ψ′为去掉p′点的p′周围相邻区域，z是p周围相邻点个数；最终，依照上式，得到左视图的能量图为GEL(x,y)和对应右视图的能量图GER((x+d),y)(2)左视图和右视图的加权因子WL(x,y)和WR((x+d),y)表示为：第四步中立体视频的视觉感知显著性图按以下公式获得：SM(x,y,n)＝λ·SM3D(x,y,n)+(1-λ)·SMmo(x,y,n)其中，SM3D(x,y,n)为第n幅图像的3D显著性图，SMmo(x,y,n)为运动显著性图，λ为权重系数。第五步中用图像进行字典学习的方法如下：选取P幅p×q尺寸无失真的平面参考图像，每个图像分割为8×8的图像块，共有M＝[p/8]×[q/8]个小块，其中[k]表示不大于k的最大整数；并将每个8×8的图像块按列排成一列，标记为ri(64×1)；这样每个无失真参考图像都转换为(64×1)×M的二维矩阵；P幅无失真平面参考图像通过上述处理，得到一个64×(M×P)的矩阵；根据如下公式，求得相应的字典D。其中，D是超完备字典矩阵，ai是对应于ri的系数矢量，在求解的过程中，字典的求解利用K-SVD算法，迭代次数设置为40次，字典稀疏基(原子)的数目为256。第六步中对一帧图像进行稀疏表示的方法如下：(1)利用第五步中得到的字典D，求解一帧图像的稀疏表示系数；此过程中，采用的算法是OMP算法，迭代次数为14次；每一图像系数矩阵的大小为256×([p/8]×[q/8])×14的三维矩阵；(2)对每一次迭代的稀疏系数结果进行求熵操作，得到1×14的一维矩阵；具体操作如下：用代表稀疏表示第i(1≤i≤14)次迭代中，第j(1≤j≤256)个稀疏基中系数的具体值:对应概率分布函数如下：根据香农公式，其熵如下：其中，k是稀疏基的个数，本专利技术中k＝256,按照上述操作，求得一幅图像的稀疏系数熵E，E为1×14的行向量。与现有技术相比，本专利技术的技术方案所带来的有益效果是：本专利技术所提出的立体视频质量客观评价方法涉及人脑中视觉感知图像序列的合成、3D感兴趣区域的计算，稀疏表示的计算；提出了利用稀疏表示系数表征视觉感知图像，并通过求均值、方差和二范数的方式对稀疏系数进行处理，最终利用训练的方法得到评价结果；以双目视觉特性为基础，通过稀疏表示的方式建立了无参考立体视频质量客观评价模型，利用该模型得到的立体视频质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映立体视频的质量。附图说明图1是本专利技术基于稀疏表示的无参考立体视频质量客观评价方法的流程图。具体实施方式下面结合附图对本专利技术作进一步的描述。本专利技术涉及人脑中视觉感知图像序列的合成、3D感兴趣区域的计算，稀疏表示的计算。提出了利用稀疏表示系数表征视觉感知图像，并通过求均值、方差和二范数的方式对稀疏系数进行处理，最终利用训练的方法得到评价结果。如图1所示，基于稀疏表示的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点和右视点组成，设立体视频对为(tl,tr)，包括以下步骤：第一步：对立体视频进行降采样处理，每隔一定帧数取一帧，得到总帧数为l的立体视频对；其中，可以每八帧取一帧。第二步：研究双目理论，能量较高的区域包含较多的视觉信息，在视觉感知中占有主导地位。模拟人类视觉特性，对第一步得到的立体视频对的左视点和右视点分别求其单目能量幅度图，得到左视图和右视图的加权因子WL(x,y,n)和WR(x+d,y,n)。(1)左视点图像中的点p(x,y)，在右视点图像中匹配点为p'(x本文档来自技高网...

【技术保护点】
1.基于稀疏表示的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点和右视点组成，其特征在于，包括以下步骤：第一步，对立体视频进行降采样处理，每隔一定帧数取一帧，得到总帧数为l的立体视频对；第二步，模拟人类视觉特性，对第一步得到的立体视频对的左视点和右视点分别求其单目能量幅度图，得到左视图和右视图的加权因子WL(x,y,n)和WR(x+d,y,n)；第三步，将第一步得到的立体视频对的双视点(tl,tr)进行加权运算，得到一段视频的第n对图像的视觉感知图V(x,y,n)，计算公式如下所示：V(x,y,n)＝WL(x,y,n)×tl(x,y,n)+WR(x+d,y,n)×tr((x+d),y,n)第四步，在合成的视觉感知图V(x,y)上计算视觉感兴趣区域，得到视觉感知显著性图SM(x,y)；第五步，用图像进行字典学习；第六步，对视觉感知显著性图SM(x,y)进行稀疏表示：首先对视频对的一幅图像进行稀疏表示，得到相应的系数矩阵C，随后对系数矩阵C进行求熵，得到其熵E；第七步，对帧长为l的SM(x,y)视频的所有图像序列执行第六步，得到稀疏表示后的系数矩阵l×K，最后对系数矩阵在时间方向上进行求均值，方差和二范数操作，得到该视频处理后的系数矩阵(3×K)；第八步，对立体视频库中的每一组失真立体视频对进行第一步至第七步操作，并利用支持向量机(SVM)对视频库中的视频的稀疏矩阵及相应的主观评价值(MOS)进行训练；具体如下，在视频库中随机选择80％视频对的系数矩阵和MOS用于训练，得到相应的训练模型；利用该训练模型对任一立体视频进行质量预测，得到最终的客观预测值。...

【技术特征摘要】
1.基于稀疏表示的无参考立体视频质量客观评价方法，每个失真立体视频对由左视点和右视点组成，其特征在于，包括以下步骤：第一步，对立体视频进行降采样处理，每隔一定帧数取一帧，得到总帧数为l的立体视频对；第二步，模拟人类视觉特性，对第一步得到的立体视频对的左视点和右视点分别求其单目能量幅度图，得到左视图和右视图的加权因子WL(x,y,n)和WR(x+d,y,n)；第三步，将第一步得到的立体视频对的双视点(tl,tr)进行加权运算，得到一段视频的第n对图像的视觉感知图V(x,y,n)，计算公式如下所示：V(x,y,n)＝WL(x,y,n)×tl(x,y,n)+WR(x+d,y,n)×tr((x+d),y,n)第四步，在合成的视觉感知图V(x,y)上计算视觉感兴趣区域，得到视觉感知显著性图SM(x,y)；第五步，用图像进行字典学习；第六步，对视觉感知显著性图SM(x,y)进行稀疏表示：首先对视频对的一幅图像进行稀疏表示，得到相应的系数矩阵C，随后对系数矩阵C进行求熵，得到其熵E；第七步，对帧长为l的SM(x,y)视频的所有图像序列执行第六步，得到稀疏表示后的系数矩阵l×K，最后对系数矩阵在时间方向上进行求均值，方差和二范数操作，得到该视频处理后的系数矩阵(3×K)；第八步，对立体视频库中的每一组失真立体视频对进行第一步至第七步操作，并利用支持向量机(SVM)对视频库中的视频的稀疏矩阵及相应的主观评价值(MOS)进行训练；具体如下，在视频库中随机选择80％视频对的系数矩阵和MOS用于训练，得到相应的训练模型；利用该训练模型对任一立体视频进行质量预测，得到最终的客观预测值。2.根据权利要求1所述的基于稀疏表示的无参考立体视频质量客观评价方法，其特征在于，第二步中左视点能量图和右视点能量图的加权因子WL(x,y,n)和WR(x+d,y,n)的求解过程：(1)左视点图像中的点p(x,y)，在右视点图像中匹配点为p'(x+d,y)，d表示对右视点图像进行视差补偿的像素点横坐标差值，这两个像素点的能量分别为：pi为p周围相邻点，pi'为p'周围相邻点；Epi为对应于pi的能量，为对应于p′i的能量；ψ为去掉p点的p周围相邻...

【专利技术属性】
技术研发人员：杨嘉琛，王焕玲，姜斌，朱英豪，计春祺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12