一种超分辨率重建图像质量评价方法技术

本发明专利技术公开了一种超分辨率重建图像质量评价方法，属于图像处理、质量评价技术领域。输入颜色模式为RGB的超分辨率重建图像和参考图像，对之进行灰度化处理，然后分别进行卡通相似度、纹理相似度、颜色相似度的计算以及权重和评价分数评估的计算，获得重建图像的质量分数，解决了超分辨率重建图像的客观有效的质量评估问题。本发明专利技术基于卡通纹理分解模型，通过其构建的卡通特征和纹理特征以及结合人眼视觉特性构建的颜色特征，分别计算卡通相似性、纹理相似性和颜色相似性，最后依据权重获得评价分数，实现由低分辨率图像获得高分辨率图像后准确评估超分辨率重建图像的客观质量，在图像处理、质量评价等领域具有很好的应用价值。像处理、质量评价等领域具有很好的应用价值。像处理、质量评价等领域具有很好的应用价值。

【技术实现步骤摘要】
一种超分辨率重建图像质量评价方法


[0001]本专利技术涉及图像处理、图像质量评价
，尤其涉及一种超分辨率重建图像质量评价方法。

技术介绍

[0002]超分辨率重建图像是指利用超分辨率图像重建算法对一幅低分辨率图像或者连续的多帧图像进行处理，从而得到高分辨率图像。图像是人类用于感知世界的直观方式之一，而低分辨率图像往往阻碍人类获取、传递、表达图像的特征信息。随着科学技术的发展，人们越来越追求低分辨率图像重建实现高质量、高细节、高清晰度的高分辨率图像，生成的图像可以为计算机视觉相关任务提供服务，如目标检测、目标定位等，可以增强任务效果，提高识别正确率。然而很多情况下，由于硬件设备(成像系统)和网络带宽的限制，无法直接获取和传输高分辨率图像，但通过超分辨率图像重建算法可以获得高分辨率图像。在现实生活中，SR重建图像具有较好的应用潜力，例如在飞机试验中，为图像进一步压缩奠定基础，可以提高试验中图像以及视频画面的压缩率，减小图像传输所占用的宽带，提高图像传输的流畅度。同时SR重建图像在卫星遥感、道路检测以及安全监控等领域有着较好的应用前景。
[0003]然而，目前对于超分辨率重建图像的质量评估主要依靠人的主观评价，缺少一种客观的评价方法。根据能够得到参考图像(原始图像)信息的多少，客观的图像质量评价方法通常可以分为三类，分别为全参考、半参考和无参考图像质量评价。全参考图像质量评价可以得到参考图像的所有信息，通过把失真图像和参考图像进行比较来评价图像质量，全参考评价方法是目前最可靠的方法。本专利技术提出一种基于卡通纹理分解的SR重建图像质量评价方法属于全参考评价方法。现有的全参考图像质量评价方法如峰值信噪比(PSNR)，以像素点作为基本单元，不涉及图像结构性内容，这与人眼主观视觉感知相关性不大，主要应用于低分辨率图像质量评价，不能很好的反映由超分辨率图像重建算法得到的高分辨率图像的质量。
[0004]在数字图像处理和数学交叉领域发展起来的卡通纹理分解技术利用空间刻画、稀疏表示等模型将图像有效地分解为卡通成分和纹理成分，其中卡通成分(也称为结构成分)包含图像的显著性结构、边缘等低频信息，纹理成分包含图像中的小尺度细节、随机噪声等高频信息。图像的卡通纹理分解在图像去噪、图像修复、图像压缩等方面有着很多成功的应用。综上所述，可以利用卡通纹理分解模型对超分辨率重建图像进行分解，分析高分辨率图像质量影响因子，结合符合人眼视觉特性的HSV色空间，研究一种基于卡通纹理分解的超分辨率重建图像质量评价方法。

技术实现思路

[0005]本专利技术的目的是为解决超分辨率重建图像的质量客观评估问题而提供了一种超分辨率重建图像质量评价方法。本专利技术能够实现对获得的低分辨率图像经超分辨率图像重
建方法处理后的超分辨率重建图像的图像质量进行客观有效的质量评估。
[0006]为了实现上述目的，本专利技术提供了一种技术方案，一种超分辨率重建图像质量评价方法，其特征在于，包括以下步骤：
[0007]步骤S1：输入颜色模式为RGB的超分辨率重建图像和参考图像，对其分别进行灰度化处理，得到所述超分辨率重建图像的灰度图像以及参考图像的灰度图像；
[0008]步骤S2：利用卡通纹理分解模型对步骤S1所获得的灰度图像进行卡通纹理分解，得到所述超分辨率重建图像的卡通成分、纹理成分以及所述参考图像的卡通成分、纹理成分；
[0009]步骤S3：利用相位一致性法则提取步骤S2所述的超分辨率重建图像和参考图像的卡通成分的显著性结构以及边缘信息，获得所述超分辨率重建图像和参考图像的卡通相似性；
[0010]步骤S4：利用灰度共生矩阵提取步骤S2所述超分辨率重建图像和参考图像的纹理成分的纹理信息，然后从其灰度共生矩阵得到能够反应矩阵状况的惯性矩特征参数，用之计算所述超分辨率重建图像和参考图像的纹理相似性；
[0011]步骤S5：根据人眼视觉感知特性，采用HSV色彩空间对所述超分辨率重建图像和参考图像进行亮度、饱和度、色调的处理，计算所述超分辨率重建图像和参考图像的颜色相似性；
[0012]步骤S6：结合人眼视觉特性，融合步骤S2
‑
S4所述的卡通相似性、纹理相似性和颜色相似性，计算卡通相似性、纹理相似性和颜色相似性的权重，输出所述超分辨率重建图像的质量评价分数。
[0013]进一步的，步骤S1所述的灰度化处理是通过以下方式来实现的：
[0014]将所述图像的像素的红(R)、绿(G)、蓝(B)三个分量值以不同的权值加权平均，由于人眼对绿色的敏感度最高，对蓝色的敏感最低，所采用的具体的加权平均计算表达式为：
[0015]f(x，y)＝0.299R(x，y)+0.678G(x，y)+0.014B(x，y)
[0016]其中的R(x，y)、G(x，y)、B(x，y)分别为所述图像的像素点(x，y)处的像素的红、绿、蓝值，f(x，y)是其灰度化后的像素值，最终得到所述的超分辨率重建图像的灰度图像f
SR
(x，y)以及参考图像的灰度图像f
REF
(x，y)。
[0017]进一步的，步骤S2所述的卡通纹理分解，是通过以下方式来实现的：
[0018]步骤S2所述的灰度图像为f
SR
(x，y)、f
REF
(x，y)，其像素的值为实数，将其用符号f表示，那么可以将f利用卡通纹理分解模型分解成u、v两成分：f(x，y)＝u(x，y)+v(x，y)，其中的u(x，y)是f的卡通成分，它包含图像的显著性结构和边缘等低频信息；v(x，y)是f的纹理成分，包含图像的噪声、纹理等高频信息。所述的卡通纹理分解模型，为：
[0019][0020]其中的G(u，z)、f＝f(x，y)、u＝u(x，y)、分别为所述卡通纹理分解的损失能量、所述的灰度图像、所述的卡通成分、所述的纹理成分；是用总变差刻画所述卡通成分的项，是所述卡通成分的梯度；∫
Ω
|f
‑
(u+divz)|2dxdy/2为所述灰度图像的噪声部分项，确保将图像分解为卡通成分和纹理成分后的能量损失尽量少；是对所述纹理成分的度量项；λ，μ是可调参数，b＝b(x，y)为梯
度函数。
[0021]进一步的，步骤S3所述的相位一致性法则是通过以下步骤来实现的：
[0022]步骤S3
‑
1：计算每个像素的相位一致性，分别得到所述超分辨率重建图像的相位一致性矩阵PC1和所述参考图像的相位一致性矩阵PC2；
[0023]步骤S3
‑
2：利用关系式
[0024][0025]计算所述超分辨率重建图像和参考图像的相位相似性矩阵S
PC
，其中的T1为正常数，用来增加S
PC
的稳定性，其取值为T1＝0.85，由PC
i
(x)(i＝1，2)值的动态范围和实验调试共同决定；PC
i
(x)(i＝1，2)分别为相应矩阵中同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率重建图像质量评价方法，其特征在于，包括以下步骤：步骤S1：输入颜色模式为RGB的超分辨率重建图像和参考图像，对其分别进行灰度化处理，得到所述超分辨率重建图像的灰度图像以及参考图像的灰度图像；步骤S2：利用卡通纹理分解模型对步骤S1所获得的灰度图像进行卡通纹理分解，得到所述超分辨率重建图像的卡通成分、纹理成分以及所述参考图像的卡通成分、纹理成分；步骤S3：利用相位一致性法则提取步骤S2所述的超分辨率重建图像和参考图像的卡通成分的显著性结构以及边缘信息，获得所述超分辨率重建图像和参考图像的卡通相似性；步骤S4：利用灰度共生矩阵提取步骤S2所述超分辨率重建图像和参考图像的纹理成分的纹理信息，然后从其灰度共生矩阵得到能够反应矩阵状况的惯性矩特征参数，用之计算所述超分辨率重建图像和参考图像的纹理相似性；步骤S5：根据人眼视觉感知特性，采用HSV色彩空间对所述超分辨率重建图像和参考图像进行亮度、饱和度、色调的处理，计算所述超分辨率重建图像和参考图像的颜色相似性；步骤S6：结合人眼视觉特性，融合步骤S2
‑
S4所述的卡通相似性、纹理相似性和颜色相似性，计算卡通相似性、纹理相似性和颜色相似性的权重，输出所述超分辨率重建图像的质量评价分数。2.根据权利要求1所述的一种超分辨率重建图像质量评价方法，其特征在于，步骤S1所述的灰度化处理是通过以下方式来实现的：将所述图像的像素的红(R)、绿(G)、蓝(B)三个分量值以不同的权值加权平均，由于人眼对绿色的敏感度最高，对蓝色的敏感最低，所采用的具体的加权平均计算表达式为：f(x，y)＝0.299R(x，y)+0.678G(x，y)+0.014B(x，y)其中的R(x，y)、G(x，y)、B(x，y)分别为所述图像的像素点(x，y)处的像素的红、绿、蓝值，f(x，y)是其灰度化后的像素值，最终得到所述的超分辨率重建图像的灰度图像f
SR
(x，y)以及参考图像的灰度图像f
REF
(x，y)。3.根据权利要求1
‑
2所述的一种超分辨率重建图像质量评价方法，其特征在于，步骤S2所述的卡通纹理分解，是通过以下方式来实现的：步骤S2所述的灰度图像为f
SR
(x，y)、f
REF
(x，y)，其像素的值为实数，将其用符号f表示，那么可以将f利用卡通纹理分解模型分解成u、v两成分：f(x，y)＝u(x，y)+v(x，y)，其中的u(x，y)是f的卡通成分，它包含图像的显著性结构和边缘等低频信息；v(x，y)是f的纹理成分，包含图像的噪声、纹理等高频信息。所述的卡通纹理分解模型，为：其中的G(u，z)、f＝f(x，y)、u＝u(x，y)、分别为所述卡通纹理分解的损失能量、所述的灰度图像、所述的卡通成分、所述的纹理成分；是用总变差刻画所述卡通成分的项，是所述卡通成分的梯度；∫
Ω
|f
‑
(u+divz)|2dxdy/2为所述灰度图像的噪声部分项，确保将图像分解为卡通成分和纹理成分后的能量损失尽量少；是对所述纹理成分的度量项；λ，μ是可调参数，b＝b(x，y)为梯度函数。4.根据权利要求1
‑
3所述的一种超分辨率重建图像质量评价方法，其特征在于，步骤S3
所述的相位一致性法则是通过以下步骤来实现的：步骤S3
‑
1：计算每个像素的相位一致性，分别得到所述超分辨率重建图像的相位一致性矩阵PC1和所述参考图像的相位一致性矩阵PC2；步骤S3
‑
2：利用关系式计算所述超分辨率重建图像和参考图像的相位相似性矩阵S
PC
，其中的T1为正常数，用...

【专利技术属性】
技术研发人员：范艳，苏艳虹，陈永利，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：