一种基于卷积神经网络的多目标优化图像质量评估方法技术

本发明专利技术涉及一种基于卷积神经网络的多目标优化图像质量评估方法，首先将待训练的图像有重叠地划分为图块，并进行数据增强；然后设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；接着训练基于多任务卷积神经网络的图像质量评估模型；最后利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。本发明专利技术有利于提高无参照图像质量评估性能。

A Multi-objective Optimal Image Quality Assessment Method Based on Convolutional Neural Network

The present invention relates to a multi-objective optimization image quality assessment method based on convolution neural network. Firstly, the images to be trained are overlapped and divided into blocks, and data enhancement is carried out. Secondly, the structure of multi-task convolution neural network is designed, and the quality assessment scores and distortion types of images are learned. Secondly, the image quality assessment model based on Multi-task convolution neural network is trained. Finally, the trained image quality assessment model is used to predict the quality assessment scores and distortion categories of all blocks of the image to be predicted, and the final distortion types and quality assessment scores of the image are calculated by majority voting method and selective weighting method respectively. The invention is advantageous to improving the performance of image quality evaluation without reference.

【技术实现步骤摘要】
一种基于卷积神经网络的多目标优化图像质量评估方法
本专利技术涉及图像处理领域，特别是一种基于卷积神经网络的多目标优化图像质量评估方法。
技术介绍
数字图像在采集、压缩、存储或其它图像处理过程中通常会受到不同程度的、不同类型的图像失真影响。人们希望能评估图像的失真情况，然后通过特定的图像恢复技术恢复图像，进而降低由于图像失真引起的对后续其他图像处理环节的影响。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。2014年Kang等人第一次提出基于卷积神经网络的图像质量评估算法，该算法没有像大多数传统的质量评估算法一样使用手工提取的特征，而是将图像划分成图块，使用卷积神经网络进行训练，用待预测图像对应的所有图块分数的均值作为的整体图像质量分数。2017年Kim等人提出一种改进的基于卷积神经网络的质量评估算法，包含两个阶段：首先将图像划分成图块来训练卷积神经网络，结合同一图像所有图块的特征来生成图像的特征向量；然后采用回归算法计算图像的质量评估分数。2018年Bosse等人提出了具有深层卷积结构的神经网络模型的用于图像质量评估，该网络包含10个卷积层和5个池化层以用于图像特征提取本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：包括以下步骤：步骤S1：将待训练的图像有重叠地划分为图块，并进行数据增强；步骤S2：设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；步骤S3：训练基于多任务卷积神经网络的图像质量评估模型；步骤S4：利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。

【技术特征摘要】
1.一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：包括以下步骤：步骤S1：将待训练的图像有重叠地划分为图块，并进行数据增强；步骤S2：设计多任务卷积神经网络的结构，同时学习图像的质量评估分数和失真类型；步骤S3：训练基于多任务卷积神经网络的图像质量评估模型；步骤S4：利用训练好的图像质量评估模型预测待预测图像的所有图块的质量评估分数和失真类别，分别通过多数表决方法和选择性加权计算方法计算图像最终的失真类型和质量评估分数。2.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S1中具体包括以下步骤：步骤S11：先有重叠地将失真图像划分成若干个n×n大小的图块；步骤S12：使用左右镜像和上下镜像操作对步骤S11划分后的图块进行数据增强，以增加数据量和数据多样性。3.根据权利要求1所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：设计一个具有5个层叠卷积结构的端到端的多任务深层卷积网络用于的图像质量评估；步骤S22：该多任务深层卷积网络使用5个层叠卷积对图像失真信息进行抽象和学习，然后通过两个全连接层提取图像特征，同时输入到一个回归子网络和一个分类子网络以实现对图像失真类型和质量评估分数的优化学习；分类子网络包含一个含有C个节点的全连接层和softmax分类层，C个节点分别对应着图像的C个失真类型，即该分类子网络最后的输出是C个失真类别的概率，取其中概率最大的所对应的失真类别为最后预测的失真类别。4.根据权利要求3所述的一种基于卷积神经网络的多目标优化图像质量评估方法，其特征在于：步骤S21中，所述具有5个层叠卷积结构的端到端的多任务深层卷积网络，前两个层叠卷积结构都是由2个卷积核大小为3×3的卷积层接着一个步长为1的2×2的池化层组成，后三个层叠卷积结构都是由3个卷积核大小为3×3的卷积层接着一个步长为2的2×2的池化层组成；所有的卷积层都是使用了步长为1且不进行填充的方式实现以保证卷积层的输入和输出的图像大小保持一致；该具有5个层叠卷积结构的端到端的多任务深层卷积网络的5个层叠卷积结构由13个卷积层和5个池化层组成，所有卷积层都由卷积、批标准化BN和ReLU非线性映射三部分组成；其中，批标准化BN处理计算公式如下：式中，m表示...

【专利技术属性】
技术研发人员：牛玉贞，黄栋，郭文忠，陈培坤，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35