一种自由视点视频质量评估方法技术

本发明专利技术公开了一种自由视点视频质量评估方法，其先将每帧转换到LAB颜色空间；然后获取每帧的每个通道对应的时空域差值图；接着提取每帧的各个通道中的失真关键区域；再根据第1个通道中的失真关键区域并利用结构相似度算法获取质量分数；根据第2个通道和第3个通道各自中的失真关键区域并利用对比度计算相应的质量分数；之后对每帧的3个通道的质量分数进行融合，得到每帧的质量分数；最后根据所有帧的质量分数得到失真自由视点视频的质量分数；优点是其能够有效地提高客观评价结果与人眼主观感知的一致性。

A Free View Video Quality Assessment Method

The invention discloses a method for evaluating the quality of free-view video, which first converts each frame into LAB color space, then obtains the difference map of space-time domain corresponding to each channel of each frame, then extracts the distortion key area in each channel of each frame, and then obtains the quality score according to the distortion key area in the first channel and the structural similarity algorithm; and according to the second channel and The third channel calculates the distortion key area and the corresponding quality fraction by the contrast. Then the quality fraction of each frame is fused to get the quality fraction of each frame. Finally, the quality fraction of the distortion free-view video is obtained according to the quality fraction of all frames. The advantage is that it can effectively improve the consistency between the objective evaluation results and the subjective perception of the human eye.

【技术实现步骤摘要】
一种自由视点视频质量评估方法
本专利技术涉及一种视频质量评估技术，尤其是涉及一种自由视点视频质量评估方法。
技术介绍
自由视点视频(FVV，FreeViewpointVideo)系统在医疗、教育、影视等行业应用前景广泛，自由视点视频系统包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。自由视点视频系统中的虚拟视点图像绘制作为其中必不可少的环节，其绘制质量决定了最终呈现的视觉效果。最经典的虚拟视点绘制技术是基于深度的绘制技术(DIBR，DepthImageBasedRendering)，其根据参考视点的彩色数据和深度数据，得到周围任意视点的数据，突破了传统的相机拍摄对目标视点图像获取的有限性，其最核心的部分就是3D-Warping，利用深度数据将参考视点图像投影到三维欧式空间，再将三维空间点投影到虚拟摄像机的成像平面，但是通过基于深度的绘制技术得到的虚拟视点图像存在绘制失真，相比于普通的压缩失真，绘制失真分布在图像的特定区域。虚拟视点图像的绘制失真的来源主要有以下两点：1)深度数据的不准确：在绘制过程中，利用深度数据得到相应的视差信息，再利用视差信息对已知像素点进行映射，由于深度图像获取以及量化的过程中都会引入失真导致像素点的错误映射，且深度值变化越剧烈的地方越容易发生失真，因此绘制得到的虚拟视点图像中前景与背景交界处变化剧烈，易产生失真；2)空洞填补过程：在参考视点中被遮挡的区域在目标虚拟视点中变得可见，这部分区域在绘制过程中会因信息的缺失而产生空洞，各绘制算法为降低空洞的影响进行空洞填补过程，修复方法为利用周围像素点的信息进行外推或者内插，但是修复结果都会存在一定的失真，不同的绘制算法引入的失真类型也有所不同。虚拟视点图像的绘制失真主要为几何失真，其对虚拟视点图像的视觉效果的影响是可以察觉的，例如某些区域发生位移或者改变大小、物体的边缘产生模糊或拉伸效果、闪烁、块效应等等。随着自由视点视频系统的广泛应用，如何准确地评价自由视点视频的质量变得至关重要。目前，大多数的图像/视频质量评价技术都是针对图像的亮度分量进行设计的，然而大量视频包括自由视点视频的最终用户是人类，人眼对于接收的彩色图像质量会做出最直观的判断，这种针对图像的亮度分量进行设计的图像/视频质量评价技术忽略了图像携带的彩色信息，这样会降低客观评价结果与人眼主观的拟合性，因此并不能准确地评估出自由视点视频的质量。也有一部分图像/视频质量评价技术是针对彩色图像进行设计的，但是这种质量评价技术并非是针对自由视点视频提出的，无法适用。目前，业内人员也提出了多种自由视点视频的质量评价算法，但现有的这些质量评价算法主要考虑的是绘制算法引入的失真或者传输压缩失真对人眼主观感受的影响，忽略了自由视点视频区别于普通立体视频的视点间存在不同组合方式的特殊性，得出的客观实验结果并不能真正反映进入人眼的自由视点视频的质量，因此有必要研究一种使得出的客观实验结果能够真正反映进入人眼的自由视点视频的质量的质量评估方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种自由视点视频质量评估方法，其能够有效地提高客观评价结果与人眼主观感知的一致性。本专利技术解决上述技术问题所采用的技术方案为：一种自由视点视频质量评估方法，其特征在于包括以下步骤：步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R；步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道；步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，ThL表示左失真关键区域判定阈值；按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域；步骤五：利用结构相似度算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算S本文档来自技高网...

【技术保护点】
1.一种自由视点视频质量评估方法，其特征在于包括以下步骤：步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R；步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道；步骤三：计算SQ

【技术特征摘要】
1.一种自由视点视频质量评估方法，其特征在于包括以下步骤：步骤一：将待评价的失真自由视点视频记为SQdis，并将SQdis对应的原始的自由视点视频记为SQorg；将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R，将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R；步骤二：将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道；同样，将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间，得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道；步骤三：计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的修正绝对差值图记为接着根据灰度共生矩阵及SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图，计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正，得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图，将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为其中，i为正整数，2≤i≤Nframe，Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数，j＝1,2,3，j＝1时表示L通道，j＝2时表示A通道，j＝3时表示B通道；按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程，以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图，将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为步骤四：提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域，SQdis,L中的第i帧的第j个通道中的失真关键区域的提取过程为：对于SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点，判断是否成立，如果成立，则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域；否则，确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域；其中，1≤x≤W,1≤y≤H，W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度，H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度，表示中坐标位置为(x,y)的像素点的像素值，ThL表示左失真关键区域判定阈值；按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程，以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域；步骤五：利用结构相似度算法，计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度；然后计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数，将SQdis,L中的第i帧的第1个通道的质量分数记为的值等于SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值；并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数，将SQdis,L中的第i帧的第2个通道的质量分数记为的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值；同样，利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度；然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数，将SQdis,L中的第i帧的第3个通道的质量分数记为的值等于SQdis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值；按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程，以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数，将SQdis,R中的第i帧的第1个通道的质量分数记为将SQdis,R中的第i帧的第2个通道的质量分数记为将SQdis,R中的第i帧的第3个通道的质量分数记为步骤六：对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,L中除第1帧外的每帧的质量分数，将SQdis,L中的第i帧的质量分数记为同样，对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合，并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η，融合得到SQdis,R中除第1帧外的每帧的质量分数，将SQdis,R中的第i帧的质量分数记为然后计算SQdis,L中除第1帧外的每帧的质量分数与SQdis,R中的对应帧的质量分数的平均质量分数，将与的平均质量分数记为再将计算得到的Nframe-1个平均质量分数按从小到大的顺序排列，取前35～55％的平均质量分数；最后将所取的平均质量分数的平均值作为SQdis的质量分数，记为qdis；其中，β+γ+η＝1，β＞γ，γ＝η。2.根据权利要求1所述的一种自由视点视频质量评估方法，其特征在于所述的步...

【专利技术属性】
技术研发人员：彭宗举，王士培，陈芬，蒋刚毅，郁梅，陈华，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33