色调映射图像混合视觉特征提取模型建立及质量评价方法技术

本发明专利技术公开了一种基于混合视觉特征的图像质量评价方法、建模方法及系统，建模方法包括：将失真图像划分为多个不重叠的图像块、将图像块送入多尺度特征融合网络来提取图像的多尺度内容特征、计算失真图像所对应的梯度图、获得混合视觉感知特征及使用支持向量回归将得到的特征映射到人类主观评分。本发明专利技术提供的方法通过结合人类视觉系统中的分层感知机制，设计了新的表达图像质量分层退化的多尺度特征融合网络，该网络能够更全面地表达图像的失真；同时结合人眼视觉初级感知特点，构建了包括图像流和梯度流的双支流特征提取模型。改进后的色调映射图像质量评价模型能够提取到更丰富的图像质量感知特征，并取得较好的准确性和通用性。性和通用性。性和通用性。

【技术实现步骤摘要】
色调映射图像混合视觉特征提取模型建立及质量评价方法


[0001]本专利技术属于图像处理
，具体涉及一种色调映射图像混合视觉特征提取模型建立及质量评价方法。

技术介绍

[0002]随着数字成像技术的发展，高动态范围(High Dynamic Range,HDR)图像应运而生。由于HDR图像具有宽广的动态范围和丰富的真实场景图像细节，所以其在视频制作、虚拟现实、遥感探测、医疗和军事等领域都有着巨大的应用价值。但是到目前为止HDR显示器并没有普及，现有图像处理系统主要使用的是常规8位显示设备，HDR远远超出了其可以处理的范围。因此，HDR图像在常规显示器上的可视化不可避免地导致图像信息丢失和感知质量下降。为了在标准的8位显示器上可视化HDR图像，已经提出了各种色调映射算子(TMO)将HDR图像转换为低动态范围(High Dynamic Range，LDR)图像。然而，随着动态范围的转换不可避免地引入了复杂的失真并导致视觉感知质量的下降，因此需要设计一种客观方法来评估色调映射图像(Tone
‑
Mapped Images，TMIs)的质量。无参考图像质量评价(No
‑
Reference Image Quality Assessment，NRIQA)是图像处理领域中一项以设计一种不依赖任何先验知识并能够自动评价图像质量的计算模型为目标的研究任务，其研究成果量化了图像的性能，为图像处理其他领域的研究提供了重要依据。
[0003]现有的无参考色调映射图像质量评价方法包括两种：第一种旨在设计手工特征描述符，用来提取有效的图像质量退化特征，然后采用非线性回归方法(例如，支持向量回归(Support Vector Regression，SVR))将高维特征回归到质量得分。这类方法基于知识驱动，需要根据人眼视觉系统(Human Visual System，HVS)或自然场景统计(Natural Scene Statistics，NSS)特征手工设计特征描述符。然而，设计出能够有效代表无参考图像质量退化的手工特征是比较困难的。
[0004]由于卷积神经网络(Convolutional Neural Network，CNN)丰富而有效的特征表示能力，有人提出了基于CNN的NRIQA，这类方法属于数据驱动。2017年，Abhinau等人提出使用迁移学习方法提取色调映射图像的特征，然后使用SVR将提取的特征映射到质量分数。2018年，He等人考虑到色调映射图像中存在失真的复杂性，在预测图像质量时应该提取不同尺度和不同层次的信息，因此从预训练的深度卷积神经网络模型中提取多尺度和多层特征构建了一种新的无参考色调映射图像质量评价方法，提高了方法的性能。
[0005]综上所述，现有的无参考色调映射图像质量评价方法中主要存在以下不足：
[0006](1)当前基于数据驱动的方法主要使用迁移学习或预训练的深度神经网络输出特征进行质量预测，但这并未提取TMI的特定特征并充分考虑图像质量退化，从而导致模型的精度不高。
[0007](2)忽略了由于动态范围的转变TMI可能会产生光晕效果，这在一定程度上影响图像质量，使得人眼视觉系统的图像不同于现实世界，从而导致模型与人眼主观感知一致性较低。

技术实现思路

[0008]本专利技术的目的在于提供一种基于混合视觉特征的图像质量评价方法、建模方法及系统，用以解决现有技术中的未充分考虑图像质量退化问题导致的评价模型精度不高的问题。
[0009]为了实现上述任务，本专利技术采用以下技术方案：
[0010]色调映射图像混合视觉特征提取模型建立方法，包括如下步骤：
[0011]步骤1：获取失真图像集和失真图像集中每张失真图像的质量分数，通过Sobel算子计算每张失真图像所对应的梯度图像，获得梯度图像集；对失真图像集中每张失真图像和梯度图像集中每张梯度图像分别进行分块，获得失真图像块集和梯度图像块集；令每个失真图像块的质量分数为其分块前所在的失真图像的质量分数；
[0012]步骤2：建立基于ResNet
‑
50的特征提取网络，将失真图像块集作为训练集，将每个失真图像块的质量分数作为标签集，对特征提取网络进行训练，将训练好的特征提取网络作为特征提取器；
[0013]步骤3：将步骤1获得的失真图像块集和梯度图像块集分别输入步骤2得到的特征提取器进行特征提取，分别得到每张失真图像的多尺度内容特征和初级视觉特征，将每张失真图像的尺度内容特征和初级视觉特征进行特征融合，获得失真图像集中每张失真图像的混合视觉特征；
[0014]步骤4：建立支持向量回归器，将步骤3获得的所有失真图像的混合视觉特征作为训练集，将所有失真图像的分数作为标签集，每张失真图像的分数为该失真图像所包含的所有失真图像块的质量分数平均值，对支持向量回归器进行训练，将训练好的支持向量回归器作为图像质量模型。
[0015]进一步的，所述的特征提取网络包括残差块层、卷积层和全局平均池化层，所述的残差块层包括Conv1层、Conv2层、Conv3层、Conv4层和Conv5层，所述的卷积层包括三个1
×
1的卷积和一个3
×
3的卷积。
[0016]进一步的，所述的初级视觉特征通过特征提取网络的Conv1层提取。
[0017]色调映射图像质量评价方法，包括如下步骤：
[0018]步骤一：获取待评价失真图，通过Sobel算子计算待评价失真图的梯度图，获得待评价梯度图，分别对待评价失真图和待评价梯度图进行分块，获得待评价失真图像块集和待评价梯度图像块集；
[0019]步骤二：将待评价失真图像块集和待评价梯度图像块集分别输入采用色调映射图像混合视觉特征提取模型建立方法得到的特征提取器，获得待评价失真图的多尺度内容特征和初级视觉特征，将待评价失真图的多尺度内容特征和初级视觉特征进行特征融合，获得待评价失真图的混合视觉特征；
[0020]步骤三：将待评价失真图的混合视觉特征输入采用色调映射图像混合视觉特征提取模型建立方法得到的图像质量模型中，获得待评价失真图的质量分数。
[0021]本专利技术与现有技术相比具有以下技术特点：
[0022](1)本专利技术结合人类视觉系统中的分层感知机制，在考虑无参考框架设计时利用图像分层退化的特点构建了多尺度特征融合网络，从而更全面地表达图像的失真。
[0023](2)本专利技术结合人眼视觉初级感知特点构建了双支流特征提取模型，即：图像流和
梯度流。输入失真图到图像流提取多尺度内容特征；考虑到TMI可能会产生光晕效果导致图像的边缘失真，因此加入失真图相应的梯度图以提取初级视觉特征，以更好地表达边缘失真信息。
附图说明
[0024]图1是本专利技术的方法流程图；
[0025]图2是本专利技术建模的框架图；
[0026]图3是图像质量分层退化示例图；
[0027]图4是多尺度特征融合网络图；
[0028]图5是实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.色调映射图像混合视觉特征提取模型建立方法，其特征在于，包括如下步骤：步骤1：获取失真图像集和失真图像集中每张失真图像的质量分数，通过Sobel算子计算每张失真图像所对应的梯度图像，获得梯度图像集；对失真图像集中每张失真图像和梯度图像集中每张梯度图像分别进行分块，获得失真图像块集和梯度图像块集；令每个失真图像块的质量分数为其分块前所在的失真图像的质量分数；步骤2：建立基于ResNet
‑
50的特征提取网络，将失真图像块集作为训练集，将每个失真图像块的质量分数作为标签集，对特征提取网络进行训练，将训练好的特征提取网络作为特征提取器；步骤3：将步骤1获得的失真图像块集和梯度图像块集分别输入步骤2得到的特征提取器进行特征提取，分别得到每张失真图像的多尺度内容特征和初级视觉特征，将每张失真图像的尺度内容特征和初级视觉特征进行特征融合，获得失真图像集中每张失真图像的混合视觉特征；步骤4：建立支持向量回归器，将步骤3获得的所有失真图像的混合视觉特征作为训练集，将所有失真图像的分数作为标签集，每张失真图像的分数为该失真图像所包含的所有失真图像块的质量分数平均值，对支持向量回归器进行训练，将训练好的支持向量回归器作为图像质量模型。2.如权利要求1所述的色调映射图像混合视觉特征提取模型建立方法，其...

【专利技术属性】
技术研发人员：张敏，许筱敏，张汝雪，石小妹，冯筠，
申请(专利权)人：西北大学，
类型：发明
国别省市：