基于卷积自编码网络的无参考图像质量评价方法技术

本发明专利技术公开了一种基于卷积自编码网络的无参考图像质量评价方法，本发明专利技术具体步骤如下：构建卷积自编码网络；构建全连接神经网络；生成预训练集，训练集和测试集；训练卷积自编码网络和全连接神经网络；对测试数据集中的失真图像行质量评价。本发明专利技术利用卷积自编码网络对无参考图像和及其图像块分别进行编码，利用全连接神经网络从无参考图像及其图像块的编码中分别提取全局语义特征和局部失真特征，并将两种特征融合，利用全连接神经网络将融合后的特征映射为感知质量分数，具有评价结果更加符合人的主观感受的优点。

【技术实现步骤摘要】
基于卷积自编码网络的无参考图像质量评价方法
本专利技术属于图像处理
，更进一步涉及数字图像处理
中的一种基于卷积自编码网络的无参考图像质量评价方法。本专利技术可应用于对没有原始参考图像的数字图像的感知质量进行客观评价，用于保证获取的数字图像数据的有效性和准确性。
技术介绍
数字图像在成像、传输和存储的过程中，受到光学系统、压缩传输以及其它因素的影响，最终会使得终端获得的图像存在压缩失真、高斯噪点、模糊等各种图像质量下降的问题。图像的感知质量是比较各种数字图像处理算法性能优劣以及数字图像成像系统参数的重要指标。在各类图像的质量评价方法中，无参考图像质量评价方法在预测图像的感知质量时无需其原始的参考图像，因此这是一种最具难度也最实用的图像质量评价方法。Kang等人在其发表的论文“ConvolutionalNeuralNetworksforNo-ReferenceImageQualityAssessment”(ComputerVisionandPatternRecognition.IEEE,2014:1733-1740)中公开了一种基于卷积神经网络的无参考图像质量评价方法。该方法训练了一个基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)的端到端的无参考图像质量评价模型，该模型将一副图像切割为若干图像块作为输入，经过CNN逐层地特征提取后映射为图块质量分数，最后将所有的图块分数进行平均得到整图的质量分数。该方法为了保证深度网络的训练效果，选择了将整图切块的方式来输入网络。该方法存在的不足之处是，只使用图像块作为网络的输入，没有考虑图像语义内容的整体性，使得训练出的模型的评价结果准确度不高。宁波大学在其申请的专利文献“一种基于深度学习的无参考图像质量客观评价方法”(专利申请号：201510523373.1，申请公开号：CN105208374A)中公开了一种基于堆栈自编码器的无参考图像质量评价方法。该方法先利用多分辨率金字塔和高斯差分分解方法，从空域中手工提取自然统计特性NSS(NaturalSceneStatistics)的特征，然后构建一个深度稀疏堆栈自编码器来学习所提取的NSS特征的深度表达形式，最后通过支持向量机将经过深度表达的特征映射为图像的质量分数。该方法存在的不足之处是，该方法采用手工提取的自然统计特性NSS的特征来进行分数拟合，使得所提取的特征对图像质量的敏感度不高，导致评价结果不能更好的符合人的主观感受。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出了一种基于卷积自编码网络的无参考图像质量评价方法。本专利技术与现有其他无参考图像质量评价方法相比，能够更全面更充分地挖掘图像的整体语义信息和局部失真信息，并将两种信息进行融合再进行质量回归。实现本专利技术的技术思路是：搭建基于卷积自编码网络的初级特征编码模型对无参考图像及其所切割出的图像块进行特征编码，再搭建基于全连接网络的全局语义特征的提取模型和局部失真特征的提取模型，分别从无参考图像及其对应图像块的特征编码中提取无参考图像的全局语义特征和局部失真特征，再将两种特征进行加权融合，得到无参考图像的全局局部融合特征，最后将无参考图像的全局局部融合特征输入全连接神经网络中得到无参考图像的感知质量分数。实现本专利技术的具体步骤如下：利用卷积自编码网络对测试集中每幅失真图像和对其切割产生的图像块分别进行特征编码，利用空间金字塔池化和全连接神经网络从测试集中每幅失真图像的特征编码中提取全局语义特征，利用全连接神经网络从测试集中每幅失真图像的对应图像块的特征编码中提取图像的局部失真特征；该方法具体步骤包括如下：(1)构建卷积自编码网络：搭建一个17层的卷积自编码网络，并设置卷积自编码网络的各层参数；(2)构建全连接神经网络：(2a)搭建3个子全连接神经网络，将第1个和第2个子全连接神经网络的输出层分别与第3个子全连接神经网络的输入层相连，组成全连接神经网络；(2b)设置全连接神经网络的3个子全连接神经网络的各层参数；(3)生成预训练集、训练集、测试集：(3a)从公知数据库中随机选取不少于5000幅的无失真图像，在每一幅图像中添加4种不同类型5种不同程度的噪声信号后组成失真图像集，将该失真图像集作为预训练集；(3b)从公知数据库中随机选取不超过50幅的无失真图像，在每一幅图像中添加24种不同类型5种不同程度的噪声信号后组成失真图像集；利用主观质量评价方法，评价每幅失真图像的主观评分，将每幅失真图像的主观评分作为其质量标签，随机选取所有具有质量标签的失真图像的80％组成训练集，将剩下20％的失真图像组成测试集；(4)训练卷积自编码网络和全连接神经网络：(4a)将预训练数据集中的失真图像依次输入到卷积自编码网络中，使用随机梯度下降法，调整卷积自编码网络中的参数，直到调整参数后的卷积自编码网络输出与输入间的损失值小于阈值，得到预训练好的卷积自编码网络；(4b)将全连接神经网络中第1个子全连接神经网络的空间金字塔池化层与第2个子全连接神经网络的输入层，分别连接到预训练好的卷积自编码网络的第5个卷积层组成一个整体网络，将训练数据集里的失真图像依次输入到整体网络中进行训练，使用随机梯度下降法，调整整体网络的参数，直到调整参数后的整体网络输出与输入间的损失值小于阈值，得到训练好的整体网络；(5)对测试集中每幅失真图像进行特征编码：(5a)将测试集中每幅失真图像复制出一个与原失真图像一模一样的副本，将每幅失真图像的副本切割成尺寸为96x96的图像块，将每幅失真图像对应的副本的所有图像块组成一个图块包；(5b)将测试集中每幅失真图像与其对应的图块包输入到训练好的整体网络的卷积自编码网络的输入层中，整体网络的卷积自编码网络的第5个卷积层分别输出每幅失真图像的特征编码和每幅失真图像对应的图块包中每个图像块的特征编码，将每幅失真图像对应图块包的中所有图像块的特征编码组成每幅失真图像的特征编码包；(6)提取测试集中每幅失真图像的全局语义特征：将测试集中每幅失真图像的特征编码，依次输入到训练好的整体网络的全连接神经网络的第1个子全连接神经网络的空间金字塔池化层中，整体网络的全连接神经网络的第1个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的全局语义特征；(7)提取测试集中每幅失真图像的局部失真特征：(7a)将测试集中每幅失真图像对应图块包的特征编码包中的特征编码进行加权平均，得到测试集中每幅失真图像对应图块包的平均特征编码；(7b)将测试集中每幅失真图像对应图块包的平均特征编码，依次输入训练好的整体网络的全连接神经网络的第2个子全连接神经网络的输入层中，整体网络的全连接神经网络的第2个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的局部失真特征；(8)融合全局语义特征和局部失真特征：将测试集中每幅失真图像的全局语义特征和局部失真特征进行加权求和，得到测试集中每幅失真图像的融合特征；(9)对测试集中每幅图像进行质量评价：将测试集中每幅失真图像的融合特征，依次输入训练好的整体网络的全连接神经网络的第3个子全连接神经网络，整体网络的全连接神经网络的第3个子全连接神经网络输出失真图像的质量评价值。本专利技术与现有技术相比较，具有以下优点：本文档来自技高网...

【技术保护点】
1.一种基于卷积自编码网络的无参考图像质量评价方法，其特征在于，利用卷积自编码网络对测试集中每幅失真图像和对其切割产生的图像块分别进行特征编码，利用空间金字塔池化和全连接神经网络从测试集中每幅失真图像的特征编码中提取全局语义特征，利用全连接神经网络从测试集中每幅失真图像的对应图像块的特征编码中提取图像的局部失真特征；该方法具体步骤包括如下：(1)构建卷积自编码网络：搭建一个17层的卷积自编码网络，并设置卷积自编码网络的各层参数；(2)构建全连接神经网络：(2a)搭建3个子全连接神经网络，将第1个和第2个子全连接神经网络的输出层分别与第3个子全连接神经网络的输入层相连，组成全连接神经网络；(2b)设置全连接神经网络的3个子全连接神经网络的各层参数；(3)生成预训练集、训练集、测试集：(3a)从公知数据库中随机选取不少于5000幅的无失真图像，在每一幅图像中添加4种不同类型5种不同程度的噪声信号后组成失真图像集，将该失真图像集作为预训练集；(3b)从公知数据库中随机选取不超过50幅的无失真图像，在每一幅图像中添加24种不同类型5种不同程度的噪声信号后组成失真图像集；利用主观质量评价方法，评价每幅失真图像的主观评分，将每幅失真图像的主观评分作为其质量标签，随机选取所有具有质量标签的失真图像的80％组成训练集，将剩下20％的失真图像组成测试集；(4)训练卷积自编码网络和全连接神经网络：(4a)将预训练数据集中的失真图像依次输入到卷积自编码网络中，使用随机梯度下降法，调整卷积自编码网络中的参数，直到调整参数后的卷积自编码网络输出与输入间的损失值小于阈值，得到预训练好的卷积自编码网络；(4b)将全连接神经网络中第1个子全连接神经网络的空间金字塔池化层与第2个子全连接神经网络的输入层，分别连接到预训练好的卷积自编码网络的第5个卷积层组成一个整体网络，将训练数据集里的失真图像依次输入到整体网络中进行训练，使用随机梯度下降法，调整整体网络的参数，直到调整参数后的整体网络输出与输入间的损失值小于阈值，得到训练好的整体网络；(5)对测试集中每幅失真图像进行特征编码：(5a)将测试集中每幅失真图像复制出一个与原失真图像一模一样的副本，将每幅失真图像的副本切割成尺寸为96x96的图像块，将每幅失真图像对应的副本的所有图像块组成一个图块包；(5b)将测试集中每幅失真图像与其对应的图块包输入到训练好的整体网络的卷积自编码网络的输入层中，整体网络的卷积自编码网络的第5个卷积层分别输出每幅失真图像的特征编码和每幅失真图像对应的图块包中每个图像块的特征编码，将每幅失真图像对应图块包的中所有图像块的特征编码组成每幅失真图像的特征编码包；(6)提取测试集中每幅失真图像的全局语义特征：将测试集中每幅失真图像的特征编码，依次输入到训练好的整体网络的全连接神经网络的第1个子全连接神经网络的空间金字塔池化层中，整体网络的全连接神经网络的第1个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的全局语义特征；(7)提取测试集中每幅失真图像的局部失真特征：(7a)将测试集中每幅失真图像对应图块包的特征编码包中的特征编码进行加权平均，得到测试集中每幅失真图像对应图块包的平均特征编码；(7b)将测试集中每幅失真图像对应图块包的平均特征编码，依次输入训练好的整体网络的全连接神经网络的第2个子全连接神经网络的输入层中，整体网络的全连接神经网络的第2个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的局部失真特征；(8)融合全局语义特征和局部失真特征：将测试集中每幅失真图像的全局语义特征和局部失真特征进行加权求和，得到测试集中每幅失真图像的融合特征；(9)对测试集中每幅图像进行质量评价：将测试集中每幅失真图像的融合特征，依次输入训练好的整体网络的全连接神经网络的第3个子全连接神经网络，整体网络的全连接神经网络的第3个子全连接神经网络输出失真图像的质量评价值。...

【技术特征摘要】
1.一种基于卷积自编码网络的无参考图像质量评价方法，其特征在于，利用卷积自编码网络对测试集中每幅失真图像和对其切割产生的图像块分别进行特征编码，利用空间金字塔池化和全连接神经网络从测试集中每幅失真图像的特征编码中提取全局语义特征，利用全连接神经网络从测试集中每幅失真图像的对应图像块的特征编码中提取图像的局部失真特征；该方法具体步骤包括如下：(1)构建卷积自编码网络：搭建一个17层的卷积自编码网络，并设置卷积自编码网络的各层参数；(2)构建全连接神经网络：(2a)搭建3个子全连接神经网络，将第1个和第2个子全连接神经网络的输出层分别与第3个子全连接神经网络的输入层相连，组成全连接神经网络；(2b)设置全连接神经网络的3个子全连接神经网络的各层参数；(3)生成预训练集、训练集、测试集：(3a)从公知数据库中随机选取不少于5000幅的无失真图像，在每一幅图像中添加4种不同类型5种不同程度的噪声信号后组成失真图像集，将该失真图像集作为预训练集；(3b)从公知数据库中随机选取不超过50幅的无失真图像，在每一幅图像中添加24种不同类型5种不同程度的噪声信号后组成失真图像集；利用主观质量评价方法，评价每幅失真图像的主观评分，将每幅失真图像的主观评分作为其质量标签，随机选取所有具有质量标签的失真图像的80％组成训练集，将剩下20％的失真图像组成测试集；(4)训练卷积自编码网络和全连接神经网络：(4a)将预训练数据集中的失真图像依次输入到卷积自编码网络中，使用随机梯度下降法，调整卷积自编码网络中的参数，直到调整参数后的卷积自编码网络输出与输入间的损失值小于阈值，得到预训练好的卷积自编码网络；(4b)将全连接神经网络中第1个子全连接神经网络的空间金字塔池化层与第2个子全连接神经网络的输入层，分别连接到预训练好的卷积自编码网络的第5个卷积层组成一个整体网络，将训练数据集里的失真图像依次输入到整体网络中进行训练，使用随机梯度下降法，调整整体网络的参数，直到调整参数后的整体网络输出与输入间的损失值小于阈值，得到训练好的整体网络；(5)对测试集中每幅失真图像进行特征编码：(5a)将测试集中每幅失真图像复制出一个与原失真图像一模一样的副本，将每幅失真图像的副本切割成尺寸为96x96的图像块，将每幅失真图像对应的副本的所有图像块组成一个图块包；(5b)将测试集中每幅失真图像与其对应的图块包输入到训练好的整体网络的卷积自编码网络的输入层中，整体网络的卷积自编码网络的第5个卷积层分别输出每幅失真图像的特征编码和每幅失真图像对应的图块包中每个图像块的特征编码，将每幅失真图像对应图块包的中所有图像块的特征编码组成每幅失真图像的特征编码包；(6)提取测试集中每幅失真图像的全局语义特征：将测试集中每幅失真图像的特征编码，依次输入到训练好的整体网络的全连接神经网络的第1个子全连接神经网络的空间金字塔池化层中，整体网络的全连接神经网络的第1个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的全局语义特征；(7)提取测试集中每幅失真图像的局部失真特征：(7a)将测试集中每幅失真图像对应图块包的特征编码包中的特征编码进行加权平均，得到测试集中每幅失真图像对应图块包的平均特征编码；(7b)将测试集中每幅失真图像对应图块包的平均特征编码，依次输入训练好的整体网络的全连接神经网络的第2个子全连接神经网络的输入层中，整体网络的全连接神经网络的第2个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的局部失真特征；(8)融合全局语义特征和局部失真特征：将测试集中每幅失真图像的全局语义特征和局部失真特征进行加权求和，得到测试集中每幅失真图像的融合特征；(9)对测试集中每幅图像进行质量评价：将测试集中每幅失真图像的融合特征，依次输入训练好的整体网络的全连接神经网络的第3个子全连接神经网络，整体网络的全连接神经网络的第3个子全连接神经网络输出失真图像的质量评价值。2.根据权利要求1所述的基于卷积自编码网络的无参考图像质量评价方法，其特征在于，步骤(1)中所述的卷积自编码网络的结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第3个卷积层→第3个池化层→第4个卷积层→第5个卷积层→第1个反卷积层→第2个反卷积层→第1个反池化层→第3个反卷积层→第2个反池化层→第4个反卷积层→第4个反池化层→第5个反卷积层。3.根据权利要求1所述的基于卷积自编码网络的无参考图像质量评价方法，其特征在于，步骤(1)中所述设置卷积自编码网络的各层参数为，将输入层的通道数设置为3；将第1个卷积层的卷积核设置为32个，第2，3，4，5个卷积层的卷积核均设置为64个，所有卷积层的卷积核大小均设置为3×3；将每个池化层的下采样滤波器尺寸设置为2×2；将第1，2，3个反卷积层的反卷积核均设置为64个，第4个反卷积层的反卷积核设置为32个，第5个反卷积层的反卷积核设置为3个，所有反卷积层的反卷积核大小均设置为3×3；将每个反池化层的上采样滤波器尺寸设置为2×2。4.根据权利要求1所述的基于卷积自编码网络的无参考图像质量评价方法，其特征在于，步...

【专利技术属性】
技术研发人员：高新波，何维佺，路文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61