一种无参考全景图像质量评价方法、系统、设备及介质技术方案

本发明专利技术公开了一种无参考全景图像质量评价方法、系统、设备及介质，包括：对全景图像进行下采样，生成不同尺度的图像；对所述不同尺度的图像，计算每个尺度图像HSV特征；计算所述全景图像的MSCN系数，将MSCN系数拟合成广义高斯分布和非对称性广义高斯分布，从中提取BRI SQUE特征；将得到的不同尺度图像的HSV特征和BRI SQUE特征组合在一起，作为整体特征输入到回归模型中进行训练及预测，得到全景图像的最终质量分数。通过本发明专利技术，结合了全景图像的统计特性以及人类视觉系统的观察特性，与其他的无参考图像质量评价相比，具有更好的准确性。具有更好的准确性。具有更好的准确性。

【技术实现步骤摘要】
一种无参考全景图像质量评价方法、系统、设备及介质


[0001]本专利技术涉及全景图像质量评价
，特别涉及一种无参考全景图像质量评价方法及系统、设备及介质。

技术介绍

[0002]全景图像，也称为360
°
，球形或全向图像，是一种新型的多媒体类型，可以给观众带来沉浸式体验。近年来，随着虚拟现实(VR)技术的飞速发展，作为VR内容的主要形式之一，全景图像/视频也逐渐步入了我们的日常生活，并引起了人们的极大关注。与只能覆盖有限平面的传统二维(2D)图像不同，全景图像的内容可以覆盖整个360
°×
180
°
观看范围，即全景图像能够无缝地围绕着观众，并占据观众的整个视野。而且在观看机制上，观众需要佩戴头戴式显示器，从而自由地将视口聚焦在视线的方向上，这和人类在现实世界中通过头部运动来获取不同方向的图像内容是极为相似的，沉浸式甚至互动式体验也因此得以实现。
[0003]但与此同时，为了不影响观看者的体验，对全景图像的质量也提出了新的挑战。只有高质量的全景图像，才能深度还原场景信息，做到以假乱真，给人们带来真实的现场感。但在全景图像的采集拼接、投影变换、编码压缩、传输、解码、反投影、播放显示过程中，难以避免的会带来图像失真问题。而一个合理的质量评价系统能够较为准确地反映全景图像的失真程度，从而找出影响全景图像质量的关键因素，为提高全景图像质量提供指导。尤其是在全景图像的压缩方面，需要使用质量评价来评估压缩导致的质量下降，从而对压缩算法的改进起到一个指导的作用。r/>[0004]全景图像评价与平面图像评价一样，分为主观质量评价和客观质量评价。主观质量评价需要人的参与，观众在观看全景图像后按照打分标准给出主观分数，由于这种方式需要耗费大量的人力和时间，因此通常只用于制作数据库，用于衡量客观质量评价算法效果的好坏。客观质量评价则不需要人的参与，而是直接通过设计好的质量评估模型来计算得到全景图像的质量分数。
[0005]客观算法可以分为三种类型：全参考、半参考和无参考。全参考方法需要借助原始图像的全部信息进行评价，半参考方法需要原始图像的部分信息，而无参考方法则不需要原始图像信息。在现有技术中，有一些方法是基于PSNR(peak signal
‑
to
‑
noise ratio)的方法。但是基于PSNR的方法没有考虑人眼的视觉特性，所以有人提出了基于SSIM(structural similarity)的方法。这些方法都是全参考算法，而在实际的评价过程中，很难获取无失真的参考图像。因此，之后有人提出了基于学习的无参考评价方法。但这些方法都没有考虑图像清晰度对观察者主观感觉的影响。尽管主流的全景视频标准使用的分辨率通常超过2K，但是在拍摄场景中同一物体与全景相机的距离将不可避免地影响其在观看过程中的清晰度，从而影响观察者的主观感知。另外，不同播放设备的性能将影响观察者实际看到的图片的清晰度。
[0006]因此，如何在客观质量评价的方法设计中纳入清晰度对质量分数的影响，使得建
立的模型更准确地预测图像质量分数，是目前需要进一步解决的问题。

技术实现思路

[0007]本专利技术针对上述现有技术中存在的问题，提出一种无参考全景图像质量评价方法、系统、设备及介质，设计中纳入了清晰度对质量分数的影响，同时还结合了全景图像的色彩特征，具有更好的准确性。
[0008]为解决上述技术问题，本专利技术是通过如下技术方案实现的：
[0009]本专利技术的第一方面，提供一种无参考全景图像质量评价方法，其包括：
[0010]对全景图像进行下采样，生成不同尺度的图像；
[0011]对所述不同尺度的图像，计算每个尺度图像HSV特征；
[0012]计算所述全景图像的MSCN系数，将MSCN系数拟合成广义高斯分布和非对称性广义高斯分布，从中提取BRISQUE特征；
[0013]将得到的不同尺度图像的HSV特征和BRISQUE特征组合在一起，作为整体特征输入到回归模型中进行训练及预测，得到全景图像的最终质量分数。
[0014]可选地，所述对全景图像进行下采样，其中，下采样因子取2的倍数。
[0015]可选地，所述对所述不同尺度的图像，计算每个尺度图像HSV特征，包括：
[0016]对每个尺度图像进行RGB转HSV通量；
[0017]再分别计算图像的H通量、S通量、V通量的平均值，得到图像的色彩特征向量。
[0018]可选地，所述从中提取BRISQUE特征，包括：
[0019]通过拟合广义高斯分布得到2维特征，通过拟合非广义高斯分布得到4
×
4维特征，拼接在一起得到18维的BRISQUE特征。
[0020]可选地，所述回归模型为SVR，并且选择RBF作为核函数。
[0021]本专利技术的第二方面，提供一种无参考全景图像质量评价系统，包括：
[0022]下采样模块：对原始图像进行下采样，获得不同尺度的图像；
[0023]HSV特征获得模块：计算图像的色调、饱和度和明度，获得图像的HSV特征；
[0024]BRISQUE特征获得模块：计算图像的MSCN系数，将MSCN系数拟合到高斯分布，得到BRISQUE特征；
[0025]模型训练及预测模块：将不同尺度图像的HSV特征和BRISQUE特征组合在一起，作为整体特征输入到回归模型中进行训练及预测，得到全景图像的最终质量分数。
[0026]本专利技术的第三方面，提供一种无参考全景图像质量评级设备，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的无参考全景图像质量评级方法。
[0027]本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的无参考全景图像质量评级方法。
[0028]相较于现有技术，本专利技术实施例具有以下至少一种优点：
[0029](1)本专利技术提供的无参考全景图像质量评价方法及系统，通过下采样得到多个尺度的图像，并提取它们的HSV特征和BRISQUE特征，组合成一个整体特征，输入到模型中进行训练及预测，结合了全景图像的统计特征和人类视觉系统的观察特性，模型的性能包括：斯皮尔曼等级相关系数(Spearman rank
‑
order correlation coefficient,SROCC)、皮尔逊
线性相关系数(Pearson linear correlation coefficient,PLCC)和根均方误差(Root mean squared error,RMSE)均优于现有的其他技术；
[0030](2)本专利技术提供的无参考全景图像质量评价方法及系统，通过下采样得到多个尺度的图像，并提取它们的HSV特征和BRISQUE特征，组合成一个整体特征，输入到模型中进行训练及预测，计算简单，特征维度较低，不涉及频率变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无参考全景图像质量评价方法，其特征在于，包括：对全景图像进行下采样，生成不同尺度的图像；对所述不同尺度的图像，计算每个尺度图像HSV特征；计算所述全景图像的MSCN系数，将MSCN系数拟合成广义高斯分布和非对称性广义高斯分布，从中提取BRISQUE特征；将得到的不同尺度图像的HSV特征和BRISQUE特征组合在一起，作为整体特征输入到回归模型中进行训练及预测，得到全景图像的最终质量分数。2.根据权利要求1所述的无参考全景图像质量评价方法，其特征在于，所述对全景图像进行下采样，其中，下采样因子取2的倍数。3.根据权利要求1所述的无参考全景图像质量评价方法，其特征在于，所述对所述不同尺度的图像，计算每个尺度图像HSV特征，包括：对每个尺度图像进行RGB转HSV通量；再分别计算图像的H通量、S通量、V通量的平均值，得到图像的色彩特征向量。4.根据权利要求1所述的无参考全景图像质量评价方法，其特征在于，所述将MSCN系数拟合成广义高斯分布，具体为：其中其中拟合得到的两个参数α,σ2作为两个特征量；以上公式中：公式(4)为拥有零均值的广义高斯分布密度函数，α,σ2这两个参数可以用基于时刻匹配算法计算。5.根据权利要求1所述的无参考全景图像质量评价方法，其特征在于，将MSCN系数拟合成非对称性广义高斯分布，包括：计算相邻像素间的MSCN系数以描述相邻像素之间的统计关系，共四个方向：水平H，竖直V，主对角线D1，次对角线D2，得到四个系数矩阵；将上述四个系数矩阵拟合成非广义高斯分布：将上述四个系数矩阵拟合成非广义高斯分布：将上述四个系数矩阵拟合成非广义高斯分布：

【专利技术属性】
技术研发人员：安平，刘欣，杨超，黄新彭，
申请(专利权)人：上海大学，
类型：发明
国别省市：