一种全景图像盲质量评估方法技术

本发明专利技术公开了一种全景图像盲质量评估方法。首先，依据人眼视觉系统通过结构特征理解图像的特点，使用梯度域的局部二值模式算子在ERP投影平面上提取结构特征，然后计算出球面与投影平面之间的映射关系以得到权重关系，进一步将权重关系与结构特征进行结合，得到加权映射的结构特征。最后，使用支持向量回归建立本发明专利技术所述的全景图像无参评估模型，将提取的结构特征从特征空间映射到失真图像的质量分数。本发明专利技术方法在公开的全景图像主观质量评价数据库上进行实验，证明其与主观感知有较高的一致性。

A blind quality evaluation method of panoramic image

【技术实现步骤摘要】
一种全景图像盲质量评估方法
本专利技术涉及一种图像质量评估方法，特别是涉及一种全景图像盲质量评估方法，属于图像处理、传输技术利用。
技术介绍
随着虚拟现实(Virtualreality，VR)技术的快速发展，越来越多的VR应用需要高质量的全景图像和视频。高分辨率的全景图像和视频能够提供给用户更加具有沉浸式、更加真实的体验，然而，在真实通信系统中，全景图像和视频必须经过投影和压缩处理才能便于存储、传输和处理，质量下降的全景图像和视频会降低用户体验质量，更严重会引起用户头晕与不适感。因此，在VR的未来发展中，为全景图像和视频设计准确的质量评估算法至关重要。全景的图像质量评价(Panoramicimagequalityassessment，PIQA)与传统质量评价相同，可以分成主观评价和客观评价。与传统图像不同，全景图像以一个点为中心，记录这个点周围所有的场景，因此全景图像的主观评价通常需要在头戴式设备的协助下进行。全景图像呈现在用户面前时是一个球体，即观察空间是球体，但是在存储、传输以及处理时，通常会被映射到平面格式，比如等矩形投影(Equirectangular，ERP)、立方体投影(Cubemapprojection，CMP)、二十面体投影(Icosahedronprojection，ISP)等，即处理空间是平面。由于，在各种投影平面上进行的失真衡量不能线性反应用户在球体上的人眼感知效果，因此客观的全景图像质量方法与传统的客观质量评价方法也完全不同。全景图像的客观评价模型在近几年也得到了广泛的研究，研究人员提出了许多全参考质量评估方法(Full-reference，FR)，并且也得到了广泛地应用，例如CPP-PSNR、WS-PSNR、S-PSNR、S-SSIM等。全参考模型的缺点在于需要未失真的原始图像，这对与实际应用来说是一个巨大的限制，而且现有的全参考模型都延伸于PSNR，研究表明PSNR与人眼感知并不一致。无参考质量评估方法(No-reference，NR)在评估时不需要任何的参考信息，只对接收到的失真图像进行分析和处理，模仿人眼视觉系统，依据全景图像的特点，提取失真图像中能够代表图像质量变化的特征，设计可靠的质量预测模型。因此，设计一种无参考的全景图像质量评估方法具有重大意义。
技术实现思路
本专利技术的目的是为了对失真的全景图像进行质量监控，利用近期对观察空间以及处理空间之间非线性映射关系的研究，提出一种全景图像盲质量评估方法，作为基于映射加权的无参考图像质量评价方法，通过对球体和平面之间的映射关系的引入，使得平面上的处理能够准确反映球体中的失真情况。本专利技术方法不需要发送端原始图像，属于无参考图像质量评估模型，节省带宽的同时提高了质量评估模型的精确度。为达到上述目的，本专利技术的构思是：首先，依据人眼视觉系统通过结构特征理解图像的特点，使用梯度域的局部二值模式(Localbinarypatternongradientdomain，GLBP)算子在ERP投影平面上提取结构特征，然后计算出球面与投影平面之间的映射关系以得到权重关系，进一步将权重关系与结构特征进行结合，得到加权映射的结构特征。最后，使用支持向量回归(Supportvectorregression，SVR)建立本专利技术所述的全景图像无参评估模型，将提取的结构特征从特征空间映射到失真图像的质量分数。根据上述构思，本专利技术采用如下技术方案：一种全景图像盲质量评估方法，包括如下步骤：步骤1、结构特征提取：由于结构信息对于人脑理解图像内容至关重要，对整体图像的质量有很大影响，因此首先提取失真全景图像的结构特征；使用梯度域的局部二值模式以描述失真图像的结构特征信息变化程度；步骤2、映射关系计算：计算在ERP格式下的映射权重图，像素从ERP平面映射到球面时，面积会产生不同程度的拉伸，将像素点的权重定义为面积的拉伸比；步骤3、映射加权的结构特征：由于步骤1中结构特征在ERP图像上计算，不能线性反应球面上的失真，因此将步骤2中得到的权重图与步骤1中结构特征进行结合得到映射加权的结构特征，更能够准确的反应球面上的失真情况，更接近人眼主观感知；步骤4、特征训练：得到上述步骤3产生的映射加权的结构特征后，使用以径向基函数(Radialbasisfunction，RBF)为核函数的支持向量机建立图像质量预测模型；步骤5、质量分数估计：由上述步骤4训练得到的模型将失真图像的特征映射为最终的质量分数，并且计算模型获得的预测分数与主观分数之间的相关程度以衡量模型的准确性。在所述步骤1中，图像的结构特征提取模型的建立主要由两个部分组成，第一部分是对ERP格式的全景失真图像进行梯度图的预测，使用P算子计算失真图像的梯度图像：其中“*”表示卷积运算，px和py代表横向和纵向的算子模板，分别计算横向和纵向的边缘，I(x，y)和g(x，y)分别表示失真图像和对应的梯度图像；然后使用旋转不变的均匀LBP算子，对像素点进行编码，计算公式为：其中P表示中心点像素周围的元素个数，表示周围像素选取的半径，gc表示中心像素点梯度幅值，gi表示周围像素点梯度幅值；其中：其中u是均匀尺度，它的计算是逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次；GLBP描述了图像中心像素点和周围像素点的关系，这些图像的局部结构模式能够有效地描述不同失真原因引起的图像结构失真。在所述步骤2中，当像素点从ERP映射到球面时，像素的面积被不同程度地拉伸，因此，观察空间和处理空间之间的关系，即权重ω(i,j)表示为两者的面积拉伸比；假设ERP和球面的坐标在连续空域中分别为(x，y)，(θ，φ)，两者之间的变换关系为：其中θ∈(-π，π)，因此，面积拉伸比SR定义为：则数字图像的权重ω(i，j)ω(i，j)＝SR(x(i，j)，y(i，j))假设M×N为ERP图像的尺寸，则{(i，j)|0|＜i≤M，0＜j≤N}，那么连续域与离散域的变换关系为：因此，权重最终定义为：不同的投影格式，根据相同的步骤计算得出不同的权重图ω(i，j)。在所述步骤3中，对步骤1中计算得出的GLBP编码图，将具有相同模式的权重进行累加：其中：N是像素的个数，k为GLBP的取值情况，ωi步骤2中所得的权重，hpw即加权映射的结构特征fS；考虑到人眼视觉系统在不同的图像尺度上捕捉不同的信息，对失真图像进行4次下采样，获得不同尺度上的结构特征。在上述步骤4中，得到映射加权的结构特征之后，使用支持向量回归建立起失真图像的质量预测模型，使用径向基函数为核函数，每次取数据集中的80％作为训练集训练出一个预测模型，剩下的20％作为测试集。在上述步骤5中，支持向量回归将特征映射到图像的质量分数空间，利用训练出的预测模型得到失真图像的质量分数为：Q＝SVR(fS)其中fS为映射加本文档来自技高网...

【技术保护点】
1.一种全景图像盲质量评估方法，其特征在于，包括如下步骤：/n步骤1、结构特征提取：由于结构信息对于人脑理解图像内容至关重要，对整体图像的质量有很大影响，因此首先提取失真全景图像的结构特征；使用梯度域的局部二值模式以描述失真图像的结构特征信息变化程度；/n步骤2、映射关系计算：计算在ERP格式下的映射权重图，像素从ERP平面映射到球面时，面积会产生不同程度的拉伸，将像素点的权重定义为面积的拉伸比；/n步骤3、映射加权的结构特征：由于步骤1中结构特征在ERP图像上计算，不能线性反应球面上的失真，因此将步骤2中得到的权重图与步骤1中结构特征进行结合得到映射加权的结构特征，更能够准确的反应球面上的失真情况，更接近人眼主观感知；/n步骤4、特征训练：得到上述步骤3产生的映射加权的结构特征后，使用以径向基函数RBF为核函数的支持向量机建立图像质量预测模型；/n步骤5、质量分数估计：由上述步骤4训练得到的模型将失真图像的特征映射为最终的质量分数，并且计算模型获得的预测分数与主观分数之间的相关程度以衡量模型的准确性。/n

【技术特征摘要】
20190612 CN 20191050367081.一种全景图像盲质量评估方法，其特征在于，包括如下步骤：
步骤1、结构特征提取：由于结构信息对于人脑理解图像内容至关重要，对整体图像的质量有很大影响，因此首先提取失真全景图像的结构特征；使用梯度域的局部二值模式以描述失真图像的结构特征信息变化程度；
步骤2、映射关系计算：计算在ERP格式下的映射权重图，像素从ERP平面映射到球面时，面积会产生不同程度的拉伸，将像素点的权重定义为面积的拉伸比；
步骤3、映射加权的结构特征：由于步骤1中结构特征在ERP图像上计算，不能线性反应球面上的失真，因此将步骤2中得到的权重图与步骤1中结构特征进行结合得到映射加权的结构特征，更能够准确的反应球面上的失真情况，更接近人眼主观感知；
步骤4、特征训练：得到上述步骤3产生的映射加权的结构特征后，使用以径向基函数RBF为核函数的支持向量机建立图像质量预测模型；
步骤5、质量分数估计：由上述步骤4训练得到的模型将失真图像的特征映射为最终的质量分数，并且计算模型获得的预测分数与主观分数之间的相关程度以衡量模型的准确性。


2.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在所述步骤1中，图像的结构特征提取模型的建立主要由两个部分组成，第一部分是对ERP格式的全景失真图像进行梯度图的预测，使用P算子计算失真图像的梯度图像：



其中“*”表示卷积运算，px和py代表横向和纵向的P算子模板，分别计算横向和纵向的边缘，I(x,y)和g(x,y)分别表示失真图像和对应的梯度图像；然后使用旋转不变的均匀LBP算子，对像素点进行编码，计算公式为：



其中P表示中心点像素周围的元素个数，R表示周围像素选取的半径，gc表示中心像素点梯度幅值，gi表示周围像素点梯度幅值；其中：






其中u是均匀尺度，它的计算是逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次；GLBP描述了图像中心像素...

【专利技术属性】
技术研发人员：王永芳，夏雨蒙，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31