一种基于孪生网络的对比学习图像质量评估方法技术

本发明专利技术涉及一种基于孪生网络的对比学习图像质量评估方法。首先，将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；其次，设计孪生卷积神经网络的结构，使用所设计的网络训练图像质量评估模型；最后，将待测图像划分为图像块，并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。本发明专利技术方法提出将图像质量评价问题转换为图像块之间的质量对比问题，利用图像块间的两两对比，通过统计每张图和其他图像对比的结果来获得每张图像的质量得分，能显著提高无参照图像质量评估性能。

A Twin-network-based Contrast Learning Image Quality Assessment Method

【技术实现步骤摘要】
一种基于孪生网络的对比学习图像质量评估方法
本专利技术涉及图像和视频处理以及计算机视觉领域，特别是一种基于孪生网络的对比学习图像质量评估方法。
技术介绍
数字图像在信息技术高度普及的今天显得尤为重要，但是图像在日常应用中，比如在图像的获取、压缩和传输等过程中往往会出现失真。为了更好地应用数字图像，图像质量评价变得尤为重要。随着卷积神经网络的发展，很多研究者开始利用卷积神经网络来进行无参考图像质量评价。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。例如，Kang等人将浅层的卷积神经网络应用到无参照图像评价中，其性能跟以前基于特征提取的无参照图像质量评价模型相比有一定提升。Hui等人提出用预训练的ResNet提取特征，他们没有直接学习图像质量评价分数，而是对网络进行微调，以学习失真图像的概率表示。Bosse等人提出基于深度卷积神经网络的无参考图像质量评估方法，使用更深的卷积神经网络进行训练，另外，他们还调整了网络使其能够处理全参考图像质量评价任务，这个模型是基于图像快的，他并没有考虑到图像质量分布不均匀所带来的影响。Kim等人利用全参考图像质量评估算法的局部得分作为标签对模型进行预训练，然后使用图像评价主观得分对模型进行微调，其性能依赖于所选择参考图像质量评估的性能。Ma等人提出使用大量的图像对来训练深度无参考图像质量评价模型，算法的前提是需要知道失真图像的失真类型和失真等级，然而在没有参考图像的实际应用中，失真类型和失真级别难以获取。利用卷积网络训练出来的无参考质量评估模型的性能要比手工提取特征的方法提高不少，但是目前仍然存在挑战。其中一个挑战是缺乏训练样本。先前基于卷积神经网络的无参照图像质量评估方法主要通过两种方法来解决该问题，第一种方法是对图像进行分块，每个图像块使用完整图像的分数作为标签，然而图像的不同部分的质量是存在差异的，不同块使用完整图像的来进行标注并不准确。第二种方法是利用全参照质量评估方法来对图像进行标注，这种方法的缺陷是算法性能直接取决于全参照图像质量评价的性能。
技术实现思路
本专利技术的目的在于提供一种基于孪生网络的对比学习图像质量评估方法，该方法有利于提高无参照图像质量评估性能。为实现上述目的，本专利技术的技术方案是：一种基于孪生网络的对比学习图像质量评估方法，包括如下步骤：步骤S1、将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；步骤S2、设计孪生卷积神经网络的结构，并采用所设计的网络训练图像质量评估模型；步骤S3、将待测图像划分为图像块，并生成图像对；利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。在本专利技术一实施例中，所述步骤S1具体实现如下：步骤S11、先将待训练的图像做局部对比度归一化处理，给定强度图像I(i,j)，计算归一化值的公式如下：其中，C为常数，用于防止分母为零的情况出现；K和L为归一化窗口大小，ωk,l是2D循环对称高斯加权函数；步骤S12：将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块，利用每个图像块的标准差值对所有图像块进行排序，取中间的n个图像块作为训练数据；步骤S13、将从所有训练图像中选取出来的图像块进行两两组合，从而生成图像对；图像对组合的原则包含以下几点：1)同一张图像的图像块不进行组合；2)若图像块A和图像块B生成了图像对，则B不再和A组合，从而避免数据冗余；3)图像对间的质量分数差异超过一预定阈值时，才进行组合，否则不进行组合。在本专利技术一实施例中，所述步骤S2具体实现如下：步骤S21、设计一孪生卷积神经网络的结构，网络由两个子网络组成：子网络I和子网络II；子网络I由两个完全相同分支结构组成，并且两个分支结构间共享权重，每个分支结构由N个层叠卷积结构构成，子网络I的任务是提取出两个输入图像块的特征；子网络II由M个全连接层组成；将由子网络I提取出来的特征进行融合，将融合后的特征作为子网络II的输入，子网络II根据融合特征来分辨两张输入图像质量好坏；步骤S22、孪生卷积神经网络使用N个层叠卷积对图像信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个分类网络进行质量评估分数优化学习；分类网络的任务是区分出两张输入图像块的质量优劣，即该分类网络最后的输出是两张输入图像块质量优劣的概率，取其中概率大的所对应的图像块质量好于概率小的所对应图像块；步骤S23、在训练阶段，使用交叉熵作为损失函数，其公式如下：其中，N代表图像对的数量；是一个二维的向量，用来表示两张图像质量好坏；也是一个二维向量，表示第一张图像比第二张图像质量好的概率，相反地，第二张图像比第一张图像好的概率为在本专利技术一实施例中，所述步骤S3具体实现如下：步骤S31、先将待测图像做局部对比度归一化处理，然后划分成大小为h×w的图像块；利用每个图像块的标准差值对所有图像块进行排序，取排名居于中间的n个图像块作为训练数据；步骤S32、将图像块进行两两对比，对比的规则如下：1)不与出自同一待测图像的图像块对比；2)每个图像块要和测试集中除自身图像的图像块以外的其他所有图像块对比；步骤S33、通过统计每张图像和其他图像对比的结果来获得每张图像的相对得分，图像A的最终图像质量评估分数的计算公式如下：其中，PA,B表示图像A和图像B对比的结果，PA,B＝1代表图像A的质量比B好，否则图像B的质量比A好；N代表每张图像和其它图像比较的张数，假设测试集由T张测试图像组成，每张图像选取n个图像块进行测试，则N＝(T-1)×n；SA表示该张图像的得分。相较于现有技术，本专利技术具有以下有益效果：本专利技术适用于多种失真类型的、不同失真程度的图像质量评估，计算得到的质量评估分数接近人的主观评估分数。该方法将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；设计孪生卷积神经网络的结构，使用所设计的网络训练图像质量评估模型；将待测图像划分为图像块，并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。本专利技术综合考虑图像的质量评估分数和失真类型之间的联系，对图像的失真信息有更强的表示能力，能显著提高无参照图像质量评估性能。附图说明图1是本专利技术方法的实现流程图。图2是本专利技术实施例中卷积神经网络模型的结构图。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术提供一种基于孪生网络的对比学习图像质量评估方法，如图1所示，包括以下步骤：步骤S1：将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对。步骤S11：先将所有失真图像做局部对比度归一化处理，给定强度图像I(i,j)，计算归一化值的公式如下：其中，C为常数，用于防止分母为零的情况出现；K和L为归一化窗口大小，ωk,l是2D循环对称高斯加权函数；步骤S12：将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块，利用每个图像块的标准差(σ)值对所有图像块进行排序，我们取中间的n个图像块作为训练数据。步骤S13：将从所有训练图像中选取出来的图像块进行两两组合，从而生成图像对。图像对组合的原则包含以下几点：1)图像块不和出自本文档来自技高网...

【技术保护点】
1.一种基于孪生网络的对比学习图像质量评估方法，其特征在于，包括如下步骤：步骤S1、将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；步骤S2、设计孪生卷积神经网络的结构，并采用所设计的网络训练图像质量评估模型；步骤S3、将待测图像划分为图像块，并生成图像对；利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。

【技术特征摘要】
1.一种基于孪生网络的对比学习图像质量评估方法，其特征在于，包括如下步骤：步骤S1、将待训练的图像做局部对比度归一化处理，然后划分为图像块，并生成图像对；步骤S2、设计孪生卷积神经网络的结构，并采用所设计的网络训练图像质量评估模型；步骤S3、将待测图像划分为图像块，并生成图像对；利用训练好的模型预测所生成的所有待预测图像对的质量优劣，得出所有图像的质量排名，根据排名得出每张图像的质量分数。2.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法，其特征在于，所述步骤S1具体实现如下：步骤S11、先将待训练的图像做局部对比度归一化处理，给定强度图像I(i,j)，计算归一化值的公式如下：其中，C为常数，用于防止分母为零的情况出现；K和L为归一化窗口大小，ωk,l是2D循环对称高斯加权函数；步骤S12：将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块，利用每个图像块的标准差值对所有图像块进行排序，取中间的n个图像块作为训练数据；步骤S13、将从所有训练图像中选取出来的图像块进行两两组合，从而生成图像对；图像对组合的原则包含以下几点：1)同一张图像的图像块不进行组合；2)若图像块A和图像块B生成了图像对，则B不再和A组合，从而避免数据冗余；3)图像对间的质量分数差异超过一预定阈值时，才进行组合，否则不进行组合。3.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法，其特征在于，所述步骤S2具体实现如下：步骤S21、设计一孪生卷积神经网络的结构，网络由两个子网络组成：子网络I和子网络II；子网络I由两个完全相同分支结构组成，并且两个分支结构间共享权重，每个分支结构由N个层叠卷积结构构成，子网络I的任务是提取出两个输入图像块的特征；子...

【专利技术属性】
技术研发人员：牛玉贞，吴建斌，郭文忠，黄栋，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35