基于浅层与深度结构纹理特征的超分图像质量评价方法技术

本发明专利技术公开了一种基于浅层与深度结构纹理特征的超分图像质量评价方法，本发明专利技术不仅在结构方面还在纹理方面提取了特征用于获取质量评价结果，能够提升超分图像质量评价结果的准确性。准确性。准确性。

【技术实现步骤摘要】
基于浅层与深度结构纹理特征的超分图像质量评价方法


[0001]本专利技术涉及图像处理
，特别涉及一种基于浅层与深度结构纹理特征的超分图像质量评价方法。

技术介绍

[0002]对低分辨率图像进行超分辨率处理，得到超分图像后，有时需要对生成的超分图像进行质量评价，目前，有很多全参考指标被用于超分质量评价，例如结构相似性(SSIM)评价算法、视觉信息保真度(VIF)评价算法、奇异值评价算法、超像素特征评价算法等，但是，虽然有各种各样的超分图像评价方法，但大多数的方法都着重于描述图像结构的退化，忽略了图像纹理，然而图像纹理在超分问题中非常重要，超分辨率的目的是回复图像的细节，一些特定的超分失真只会出现在超分图像的纹理部分。因此，采用现有的方法评价超分图像的视觉质量是不准确的。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]针对现有技术的上述缺陷，本专利技术提供一种基于浅层与深度结构纹理特征的超分图像质量评价方法，旨在解决现有技术中超分图像质量评价结果不准确的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]本专利技术的第一方面，提供一种基于浅层与深度结构纹理特征的超分图像质量评价方法，所述方法包括：
[0007]对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
[0008]根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
[0009]将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
[0010]将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
[0011]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：
[0012]对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；
[0013]对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：
[0014]对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。
[0015]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：
[0016]通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；
[0017]通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；
[0018]根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。
[0019]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：
[0020]根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；
[0021]根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；
[0022]统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。
[0023]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征，包括：
[0024]将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：
[0025]将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；
[0026]沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；
[0027]将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。
[0028]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：
[0029]基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频
结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，更新所述第一神经网络的参数；
[0030]基于多组第二训练数据对所述第二神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像和样本超分图像对应的无失真参考图像，根据所述第二神经网络基于样本超分图像输出的所述纹理分布特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，更新所述第二神经网络的参数；
[0031]基于多组第三训练数据对所述第三神经网络进行训练，其中，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的标注质量评价结果，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果与样本超分图像对应的标注质量评价结果计算得到所述第三神经网络的训练损失，更新所述第三神经网络的参数。
[0032]所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，包括：
[0033]将所述第一神经网络输出的所述高频结构特征输入至第一预设卷积层；
[0034]根据一组具有不同标准差的高斯滤波器所确定的截止频率计算所述高频相似性；
[0035]根据所述第一预设卷积层的输出与所述高频相似性的差异计算得到所述第一神经网络的训练损失；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述方法包括：对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。2.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。3.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。4.根据权利要求3所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。5.根据权利要求3所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其
特征在于，所述通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征，包括：将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。6.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超...

【专利技术属性】
技术研发人员：康波，周飞，陈绵毅，邱国平，
申请(专利权)人：深圳大学，
类型：发明
国别省市：