一种基于深度网络特征间重要性的图像质量评估方法技术

本发明专利技术公开了一种基于深度网络特征间重要性的图像质量评估方法，该方法在端到端的神经网络模型训练中加入了判别特征图间重要性关系的模块，能够更准确的预测图像质量，并且在各个图像质量评估(IQA)数据集上展现出较强的泛化能力。具体包括步骤：1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；2)将SeNet模块加入VGG‑16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG

An Image Quality Assessment Method Based on the Importance of Depth Network Features

The present invention discloses an image quality assessment method based on the importance between features of depth network. The method adds a module to distinguish the importance relationship between feature maps in the end-to-end training of neural network model, which can predict image quality more accurately, and shows strong generalization ability on various image quality assessment (IQA) data sets. The steps are as follows: 1) Preparing the data set of image quality assessment for training and testing network model, randomly dividing the data set of image quality assessment into training set and testing set according to image content; 2) Adding SeNet module to VGG_16 network to build the neural network model VGG_16 with different combination modes for image quality assessment.

【技术实现步骤摘要】
一种基于深度网络特征间重要性的图像质量评估方法
本专利技术属于计算机图像处理领域，特别是涉及一种基于深度网络特征间重要性的图像质量评估方法。
技术介绍
图像质量评估作为图像处理领域的基础内容，在许多领域有其广泛的实用性，比如图像压缩、视频编解码、视频监控等。由于在很多实际应用中，很难获得待评估图像的参考图像，所以开发有效的无参考图像质量评估(NR-IQA)方法变得日益重要；NR-IQA方法主要包含传统方法和深度学习的方法。传统的方法主要是利用手动提取的与人眼感知相关的低级特征，并通过浅层回归的方法来评估图像的质量。这种方法的主要缺点是手动提取的低级特征不足以呈现图像的复杂结构和失真程度。因此，近年来，深度学习的方法得到了广泛的发展。主要是因为它只需要利用卷积神经网络强大的学习能力自动提取与失真相关的深度特征来评估图像的质量。但是，随着网络深度的增加，IQA数据集不足和缺乏样本标签的问题一直阻碍着此方法的发展。针对以上问题，目前的许多研究都采用将图像分块输入网络的方法来增加样本量，但依旧由于样本太少而导致只能使用较浅层的神经网络，最终使得预测效果不准确。直至后来有研究者从排序的思想得到启发，先借助图像质评领域外的大量图像数据集预训练网络对失真图片等级排序，后用IQA领域的小数据集，以图像作为输入直接对预训练网络进行微调来评估图像的质量。这样递进式的两步训练法极大的解决了数据集不足带来的过拟合以及只能使用浅网络而不能充分表达图像与分值之间映射关系的问题。但由于此法中深度神经网络卷积层后所有特征图是以相同的重要性传递给下一层，没有考虑过卷积层后的特征图间重要性关系，从而影响预测效果。
技术实现思路
针对目前以图像作为网络输入方法的不足，本专利技术提供了一种基于深度网络特征间重要性的图像质量评估方法。此网络是把图像分类领域用的SeNet网络引入到IQA的问题中，使其很容易区分出把图送入IQA网络后造成的卷积层中不同通道特征间差异性关系。即通过SeNet网络可以自适应地学习这种差异性关系，从而突出对区分失真程度有利的特征，抑制不利于区分失真程度的特征。通过理论分析和实验验证相结合的方法，确定了此深度网络中SeNet的最佳位置以及最佳参数，使得此网络结构可以最大化IQA的预测效果，并且在多个数据库下的表现都高于目前流行的NR-IQA方法。本专利技术采用如下技术方案来实现的：一种基于深度网络特征间重要性的图像质量评估方法，包括以下步骤：1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；2)将SeNet模块加入VGG-16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG*-SE，使用训练数据集分别对其进行训练，当训练的模型在测试数据集上达到预期的精度，选择此模型作为最终模型，并保存网络模型训练后的参数；3)使用选取的最终模型计算测试集的预测精度。本专利技术进一步的改进在于，步骤2)所述的SeNet模块从输入层至输出层之间依次连接有第一全局池化层se_global_pool，第一卷积层se_1x1_down，第一激活函数层ReLU，第二卷基层se_1x1_up，第二激活函数层sigmoid，第一通道标注层scale。本专利技术进一步的改进在于，步骤2)的具体实现方法如下：201)判断VGG-16网络卷积层中特征类型对VGG-16网络分别进行前n个卷积层参数的冻结，得到n个深度网络模型，并利用训练测试数据集对冻结后的多个模型分别进行训练与测试，将多个模型预测结果依次与不冻结训练时的模型预测结果进行对比，预测精度开始出现下降的层以及后续所有层即确定为适用于图像质量评估任务的深度特征层，而之前的所有卷积层则确定为适用于多图像任务的一般特征层；202)确定SeNet加入VGG-16的最佳位置在上述步骤确定出深度特征层后，在VGG-16网络的各个深度特征对应的卷积层后分别加入SeNet模块，组成多个VGG*-SE网络模型，其中*代表将SeNet加入到VGG-16的第*个卷积层，并利用训练测试集对多个模型进行训练及测试，最终预测效果最好的模型——VGG5-SE4，即确定为最佳位置组合的模型；203)确定SeNet加入VGG-16的最佳参数；在上述确定出的最佳位置组合模型VGG*-SE后，设置VGG*-SE模型中SeNet第一个卷积层中不同数目的激活值压缩比组成多个不同参数下的网络模型VGG5-SE^，其中^代表SeNet的第一个卷积层的激活值压缩比r选取为^，并用训练测试集对不同参数下的VGG5-SE模型进行训练与测试；选取预测效果最好的激活值压缩比r＝4即为最佳位置组合及最佳参数下的VGG5-SE4模型，从而确定出最终的模型结构。本专利技术进一步的改进在于，步骤201)中，深度特征层为第五个卷积层及以后，一般特征层为第一个到第四个卷积层。本专利技术进一步的改进在于，步骤2)中所述所有训练环节，VGG-16架构部分的初始化参数选取的是RankIQA算法的预训练阶段在waterloo数据集下训练得到的网络参数，SeNet架构部分的初始化参数不做特别设置，从头开始训练。本专利技术具有如下有益的技术效果：本专利技术提供的一种基于深度网络特征间重要性的图像质量评估方法，弥补了之前图像质量评估中的深层神经网络没有考虑不同通道特征间重要性的问题。即通过搭建网络模型VGG5-SE4，将图像分类任务中的SeNet网络引入VGG-16网络中，并利用图像质量评估数据集对其进行训练，让SeNet模块在整个端到端的网络中自适应地学习当前卷积层不同通道特征间的重要性关系，为每个特征图分配不同的权重，从而突出对区分失真程度有利的特征，同时抑制不利于区分失真程度的特征，达到提升图像质量预测效果的目的。进一步，本专利技术对于具有排序能力的VGG-16网络卷积层特征类型的判断，进一步避免了将SENET加入一般特征层而破坏基础特征的平衡关系，导致结果下降；又实现了将SeNet加在深度特征层的最前端，使得SeNet的有利效果可以随着卷积层的后续传播达到最大化，而不利特征尽早的得到抑制。进一步，SENET参数的选择使得参数数目不至于过低而缺少非线性，从而不足以充分描述卷积层不同通道间的依赖性关系；又避免了参数数目过多带来的过拟合问题。进一步，通过对本专利技术与现有的卓越的图像质量评估算法在四个公开的图像质量评估数据集上进行比较，本专利技术搭建提出的模型预测精度优于传统的无参考凸显质量评估方法和大部分的基于深度学习的无参考图像质量评估方法。同时，与目前流行的全参考图像质量评估的方法产生强烈地竞争关系。此外，本专利技术方法也表现出较强的泛化能力。综上所述，本专利技术将图像分类任务中的SeNet模块引入到图像质量评估的神经网络中，在对具有排序能力的VGG-16不同卷积层的特征类型判断的基础上，从位置和参数两个角度综合考虑来搭建模型，使得最终的VGG5-SE4模型能够达到预测效果最大化。并在多个图像质量评估数据库中的表现也表明了此VGG5-SE4网络具有较强的泛化能力。附图说明图1：本专利技术一种基于深度网络特征间重要性的图像质量评估方法的流程图。图2：本专利技术设计的深度网络VGG5-SE4模型框架。图3：SeNet加入不同层后的预测精度曲线图。图4：不同本文档来自技高网...

【技术保护点】
1.一种基于深度网络特征间重要性的图像质量评估方法，其特征在于，包括以下步骤：1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；2)将SeNet模块加入VGG‑16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG

【技术特征摘要】
1.一种基于深度网络特征间重要性的图像质量评估方法，其特征在于，包括以下步骤：1)准备训练测试网络模型所用的图像质量评估数据集，将图像质量评估数据集按照图像内容随机划分为训练集和测试集；2)将SeNet模块加入VGG-16网络以搭建用于图像质量评估的多个不同组合方式的神经网络模型VGG*-SE，使用训练数据集分别对其进行训练，当训练的模型在测试数据集上达到预期的精度，选择此模型作为最终模型，并保存网络模型训练后的参数；3)使用选取的最终模型计算测试集的预测精度。2.根据权利要求1所述的一种基于深度网络特征间重要性的图像质量评估方法，其特征在于，步骤2)所述的SeNet模块从输入层至输出层之间依次连接有第一全局池化层se_global_pool，第一卷积层se_1x1_down，第一激活函数层ReLU，第二卷基层se_1x1_up，第二激活函数层sigmoid，第一通道标注层scale。3.根据权利要求1所述的一种基于深度网络特征间重要性的图像质量评估方法，其特征在于，步骤2)的具体实现方法如下：201)判断VGG-16网络卷积层中特征类型对VGG-16网络分别进行前n个卷积层参数的冻结，得到n个深度网络模型，并利用训练测试数据集对冻结后的多个模型分别进行训练与测试，将多个模型预测结果依次与不冻结训练时的模型预测结果进行对比，预测精度开始出现下降的层以及后续所有层即确定为适用于图像质量评估任务的深度特征层，而之前的所有卷积层则确定为适用于多图像任务...

【专利技术属性】
技术研发人员：李凡，李梦月，杨晓晗，张扬帆，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61