基于多任务卷积神经网络的图像模糊与噪声评测方法技术

本发明专利技术公开了基于多任务卷积神经网络的图像模糊与噪声评测方法，所述方法包括：步骤1：收集失真和对应高质量的图片，对收集的图片进行标定包括：模糊类型标定，模糊程度标定，噪声水平标定，标定后的图片组成数据集；步骤2：融合多个卷积层得到全连接层，全连接层中包括三个特征层：模糊度估计特征层、模糊类型判定特征层、噪声水平估计特征层；步骤3：基于步骤2获得的全连接层对步骤1获得的数据集进行训练，获得图片的模糊类型判定信息、模糊度估计信息、噪声水平估计信息，实现了通过网络一次性得到图像的噪声水平、模糊度估计、模糊类型，简单且快速，方便集成到基于监控视频下的人脸识别系统中的技术效果。

【技术实现步骤摘要】
基于多任务卷积神经网络的图像模糊与噪声评测方法
本专利技术涉及图像处理领域，具体地，涉及一种基于多任务卷积神经网络的图像模糊与噪声评测方法。
技术介绍
图像质量评估：图像在获取、存储、处理和传输等各个过程中都非常容易发生各种不同类型的失真降质，视频监控系统下的人脸图片也存在失真问题，主要原因如下：1受成像器材、环境噪声、光照条件等客观因素的影响，导致从监控视频流中抓取的单中贞图像质量下降，在实际监控系统中这些因素我们都是不能避免的。2基于监控系统下的人脸识别与静态下的人脸识别相比，人是无意识、非配合的，所以多数情况下处于运动状态，由于目标运动会导致抓取的图片产生运动模糊。3在监控系统中人离摄像头的距离是不断变化的，一些较远的目标会对焦失败而产生失焦模糊。图像质量客观评价是通过建立数学模型或使用机器学习的方法，来衡量图像退化和失真程度，根据评价方法对原始图像信息的需要程度分为三类：全参考图像质量评价方法，半参考图像质量评价方法和无参考图像质量评价方法。全参考和半参考方法需要参考图像的全部或者部分信息，在很多时候，参考图像信息很难获取或者获得代价太高，而无参考图像质量评价不需要原始图像的任何信息，所以无参考评价方法更为重要。目前的无参考模糊图像质量评价算法大致分为三类：直接计算模糊图像质量的评价算法、基于构造参考图像的评价算法、基于机器学习和人工神经网络的评价算法。常规的模糊图像质量评价算法：1在空间域，用Sobel检测算法进行边缘检测，并通过寻找各个边缘两侧最近的局部极值点确定边缘宽度，最后将边缘宽度的均值作为图像的模糊分数。由于受到噪声的影响，对局部极值点的确定会存在较大的误差，这种图像模糊评价方法相对来说准确度不高。2在频域，由于图像模糊会导局部相干性结构的破坏，因此用局部相干性强度可作为特征量描述图像中模糊的强弱。3将频域和空域相结合，在频域利用图像局部幅度谱的梯度衡量模糊造成的高频能量衰减，同时在空域利用全变差描述局部对比度对模糊的影响。基于构造参考图像的评价算法：基于构造参考图像的模糊评价算法，主要应用结构相似度算法对参考图像和失真图像进行相关的计算，得出两者的亮度、对比度等图像信息，并加以对比分析，得到图像质量评价分数。基于机器学习和人工神经网络的评价算法：该类算法首先提取出特征向量，然后对其进行训练学习，得到一个基于机器学习或人工神经网络的图像质量评价模型。因为不同失真水平的图像特征和质量评分之间的复杂关系不能用一个单一的公式来表达，所以对图像频域或时域信息分析来评估图像质量只对某一种特定的失真类型效果好，泛化性差，也存在着计算复杂度较高的问题。当前提出的图像模糊评价方法主要利用图像的低层次特征，使其评测精度不高。图像模糊类型的判定：在自然场景下拍摄获取的两种最常见的模糊图像：场景的失焦和运动模糊。在图像处理过程中也会产生模糊如图像压缩、高斯低通滤波。不同的模糊类型会造成图像频谱中不同高频成分的丢失，在图像频谱中包含了描述图像特性的(如噪声、模糊等)的信息，因此，不同类型模糊图像的频谱图有较大差异，运动模糊图像的频谱图呈长条状，而散焦模糊图像的频谱图呈圆形由中心向四周发散，可以用它来鉴别一幅图像的模糊的类型。普通的图像模糊类型判定方法首先通过离散傅里叶变换得到频谱图，然后对频谱图进行了一系列的预处理，包括：平滑滤波、图像增强、数学形态学处理、二值化等，最后通过提取频谱图中的特征来分类。与本专利技术相关的现有技术一：现有技术技术一方案基于卷积神经网络的图像计量评估方法中，一篇文章提出一个卷积神经网络IQF-CNN，结构如图2所示，能自动学习有判别性的图像质量特征，并利用学习的特征进行图像质量评价。网络训练过程：在归一化后的图像上随机选取不重叠的大小为32*32的图像块；使用有监督学习方法训练IQF-CNN模型，优化模型参数。测试过程：先通过无重叠采样获得图像块先测试图像，给出每个小图块的质量评价分数，再通过对所有图像块分数求平均，即可估计出测试图像的视觉质量分数。现有技术技术一方案缺点：该方法算法能较准确地评估五种常用的图像失真，整体性能优于其他经典评价方法。由于输入图像需要切成32*32的图像块，不容易嵌入到人脸识别系统中。该方法使用的是一个单网络，预测出输入图片作综合质量评测分数。与本专利技术相关的现有技术二现有技术技术二方案基于概率神经网络的模糊类型鉴别方法。将二维图像频谱用“zigzag”法则抽样为一维输入矢量，作为网络的输入，由于离焦模糊和高斯模糊的频谱特性近似,因而采用两级神经网络对其分类。第二级神经网络仍采用概率神经网络，输出神经元数为2，用于对第一级鉴别为高斯/离焦的图像做进一步精确分类。现有技术技术二方案缺点：该方法把频谱图抽为一维向量，输入概率神经网络进行模糊分类。概率神经网络架构是按照贝叶斯判别函数来设置的，以实现错误率最小化。所以网络针对概率密度函数作了三个假设：1各分类的概率密度函数形态相同。2次共同的概率密度函数为高斯分布。3各分类的高斯分布概率密度函数的变异矩阵为对角矩阵，且各对角元素的值相同，值为σ。该方法对训练样本分布和代表性要求非常高，不能解决图像是否清晰与模糊类型判断的问题。
技术实现思路
由于不同模糊的图像特征和模糊类型判定的关系复杂，而神经网络所具有的学习能力可以使它抽取并逼近输入与输出之间的内在联系，且独特的深层结构可以学习更具判别性、准确性的特征，因此神经网络是一种理想的解决方案，基于深度学习的图像质量估计算法也不断涌现。多任务学习基本假设是多个任务之间具有相关性，利用任务之间的相关性互相促进，通过共享表示采用并行训练的方法学习多个任务，思想如图1所示，基本目标是提高泛化性能。单独训练的时候是无法利用这些信息，多任务学习则可以利用任务相关性联合提高多个属性分类的精度，相关文献实验表明多任务可以比单任务产生20％-30％的提升。影响图像质量由多个因素，如图像模糊、噪声等，可以用多任务网络来学习不同的属性。深度网络的层级表示从语义上从底层到高层不断递进，网络层数较浅的卷积层包含较多的细节、局部信息，对于层数较深的卷积层则包含较多的整体信息。表征图像模糊的边缘信息是局部特征，噪声水平需要全局特征，将多个卷积层特征融合成一个子块空间用作多任务学习的特征，通过中间层特征的利用和多任务学习，这两点相辅相成，往往比单任务学习可以取得更好的效果。本专利技术目的在于提供了一种基于多任务卷积神经网络的图像模糊与噪声评测方法，解决视频监控下人脸识别系统中检测出的人脸图像预判断问题，实现了通过网络一次性得到图像的噪声水平、模糊度估计、模糊类型，简单且快速，方便集成到基于监控视频下的人脸识别系统中的技术效果。视频监控图像会受成像器材、环境噪声、光照条件等客观因素及目标运动的影响而引入各种失真问题。通过实验表明，低质量的图片会使视频监控下的人脸识别精度下降，则有必要对图片进行预处理。模糊和噪声是影响图像质量最重要的两个因素，所以在人脸识别系统中，有图像去噪和去模糊等图像预处理模块。在对图片进行预处理前需要做一个判断：图片做什么样的预处理。比如图像存在模糊而且超过一定模糊程度，对图像进行去模糊操作。如果图像不仅存在模糊还有大量噪音，对图片先进行模糊操作，然后再进行去噪操作。因为不同本文档来自技高网...

【技术保护点】
基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，所述方法包括：步骤1：收集失真和对应高质的图片，对收集的图片进行人脸检测和对齐处理，然后再进行标定包括：模糊类型标定，模糊程度标定，噪声水平标定，标定后的图片组成数据集；步骤2：用步骤1生成的数据集样本训练多任务卷积神经网络，得到用于图像模糊与噪声评测的网络模型；该网络模型共有三个任务输出，分别对应：模糊类型判定、模糊度估计、噪声水平估算；步骤3：对一张已经检测和对齐的人脸图片，输入到步骤2得到的网络模型中，进行图像模糊类型判定、模糊度估计、噪声水平估计得到：模糊度估计值a，为最终模糊度评测值，得到运动模糊与失焦模糊概率pi，如果a小于阈值C，则判定结果为图像清晰，否则最终模糊类别判定结果为概率大的类别；得到噪声水平估计值b，为最终噪声水平估计值。

【技术特征摘要】
1.基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，所述方法包括：步骤1：收集失真和对应高质的图片，对收集的图片进行人脸检测和对齐处理，然后再进行标定包括：模糊类型标定，模糊程度标定，噪声水平标定，标定后的图片组成数据集；步骤2：用步骤1生成的数据集样本训练多任务卷积神经网络，得到用于图像模糊与噪声评测的网络模型；该网络模型共有三个任务输出，分别对应：模糊类型判定、模糊度估计、噪声水平估算；步骤3：对一张已经检测和对齐的人脸图片，输入到步骤2得到的网络模型中，进行图像模糊类型判定、模糊度估计、噪声水平估计得到：模糊度估计值a，为最终模糊度评测值，得到运动模糊与失焦模糊概率pi，如果a小于阈值C，则判定结果为图像清晰，否则最终模糊类别判定结果为概率大的类别；得到噪声水平估计值b，为最终噪声水平估计值。2.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，模糊类型包括：运动模糊和失焦模糊，模糊度为一个0至1的对图片整体模糊程度的主观评价值。3.根据权利要求1所述的基于多任务卷积神经网络的图像模糊与噪声评测方法，其特征在于，模糊类型判定的目标函数为：多任务卷积神经网络预测两个值，模糊类型包括：运动模糊和失焦模糊，设定若标定的图片模糊度大于阈值α，认为存在模糊，l＝1；若图片标定的模糊度小于α，认为图片不存在模糊，l＝0；使用softmax损失函数作为目标函数：loss1＝l(-(1-g)log(1-p1)-glog(p2))其中，loss1为模糊内...

【专利技术属性】
技术研发人员：段翰聪，文慧，赵子天，唐结玲，张帆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51