基于多任务全卷积神经网络的人脸网纹污迹去除方法技术

本发明专利技术请求保护一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，具体步骤如下：步骤一，利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，制作训练集与验证集；步骤二，将网纹图像、真实图像、网纹二值mask图像均裁剪成大小为64x64的图像块；步骤三，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；步骤四，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；步骤五，用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；步骤六，利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。本发明专利技术为人脸图像后续操作提供了高质量的图像。

A Face Network Contamination Removal Method Based on Multi-Task Full Convolution Neural Network

The invention requests to protect a method of removing facial reticular stains based on Multi-task full convolution neural network. The specific steps are as follows: first, using the clear face image of CelebA as the image data set without reticular pattern, the training set and verification set are made; second, the reticular image, real image and binary mask image are cut into 64x64 images. Image block; Step 3, using guided filtering to obtain the detail information of face reticulation image as model input; Step 4, designing full convolution neural network to output residual information and binary mask discriminant information; Step 5, optimizing the loss of real image, reticulation image and residual information with paired training data, and predicting the loss of reticulation mask and real mask tag. In step 6, the test image of real scene is predicted and the predicted decontamination image is obtained by using the model parameters obtained from the training. The invention provides a high quality image for the follow-up operation of face image.

【技术实现步骤摘要】
基于多任务全卷积神经网络的人脸网纹污迹去除方法
本专利技术属于卷积神经网络和图像污迹去除技术，尤其涉及基于卷积神经网络的多任务端到端的网纹类污迹去除方法。
技术介绍
图像修复是目前图像算法领域的重要问题之一，图像修复的效果在某些场景下极大的影响着图像识别结果。图像修复包括图像补全、图像污迹去除、图像超分辨率等。对于图像污迹处理，存在的污迹可能会影响整幅图像所代表的语义或者干扰图像局部存在的目标，那么，就需要对图像进行污迹去除，以确保之后的识别或者检测具有更高的准确性。随着2012年卷积神经网络的兴起，CNN再次掀起了深度学习和人工智能的浪潮。目前图像修复的主流研究方向仍然采用深度学习方法。比较经典的算法包括：图像超分辨率方法SRCNN及基于此改进的FSRCNN、ESPCN等，图像着色方法Colorization，缺失补全方法context-encoder等。污迹去除的难点在于去除过程中随之而来的模糊性以及强污迹的难处理性。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种能够有效地去除网纹污迹，还原真实图像，针对各类场景都有很好的鲁棒性的基于多任务全卷积神经网络的人脸网纹污迹去除方法。本专利技术的技术方案如下：一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其包含以下步骤：1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。进一步的，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括:：采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。进一步的，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。进一步的，所述步骤3)中，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入，具体包括：引导滤波定义某像素点的输出结果为：qi＝akIi+bk其中，q为输出图像像素值，I为输入图像像素值，i、k为像素索引，a和b是当窗口中心位于k时该线性函数的不变系数，即该方法假定：q与I在以像素k为中心的窗口中存在局部线性关系，具体步骤包括：(1)通过积分图来实现的boxFilter，计算各图像各窗口的均值，其中均值包括引导图像均值meanI、原始待滤波图像均值meanP、互相关均值corrrIP及自相关均值corrI；(2)根据均值计算相关系数参数，包括自相关方差varI，互相关协方差covIP；varI＝corrI-meanI*meanIcovIP＝corrIP-meanI*meanP(3)计算窗口线性变换参数系数a、b，ε表示调节因子，防止分母为0；a＝covIP/(vari+ε)b＝meanP-a*meanI(4)通过boxFilter计算参数a、b的均值meana，meanb；(5)利用参数得到引导滤波输出图像q＝meana*I+meanb。进一步的，所述步骤4)中，全卷积神经网络包括卷积层、批规范化层、激活函数层及残差模块，卷积层提取图像特征得到若干特征图，批规范化层克服神经网络随着深度加深而难以训练的弊病，激活函数层将线性结果做非线性映射，残差模块加快模型收敛速度、使网络更易于训练，其中激活函数层使用ReLU函数作为激活函数层，具体表达式如下：relu(x)＝max(0,x)；一个残差模块由两个Conv+BN+ReLU组成，包含两条链接路径：恒等链接与残差连接。进一步的，所述批规范化层具体包括：首先，在每一次迭代中的每一层输入都进行了归一化，即将输入数据的进行标准化为均值为0，方差为1的分布，如下式：其中，x(k)为输入数据的第k维，E[x(k)]表示该维度的平均值，Var[x(k)]表示该维度的方差；第二步中设置了两个可学习的变量γ和β，然后用这两个可学习的变量去还原上一层应该学到的数据分布，使得第一步的归一化破坏掉的特征通过学习的参数γ和β去纠正从而得到真正学习的特征，保持模型的表达能力进一步的，所述步骤5)中，利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型，具体包括：(1)根据步骤2)的训练数据和验证数据以及步骤4)设计的全卷积神经网络，将数据逐个batch输入到全卷积神经网络模型；(2)具体超参数设置如下：优化器使用Adam，batchsize大小为20；训练过程中，初始学习率为0.1，在每一轮迭代完之后，学习率乘0.1，总共训练3轮，即：第一个轮，学习率为0.1，第二个轮学习率为0.01，第三个轮，学习率为0.001；(3)训练优化的损失在于两个分支部分：真实图像输出分支与网纹判别分支，其中，真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，使用交叉熵损失loss2。两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如：其中，N为训练图片数量，f(·)为卷积神经网络，W,b为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，Xi,detail表示为第i张图片的细节层，通过引导滤波所得。模型的损失函数：loss＝loss1+loss2本专利技术的优点及有益效果如下：本专利技术使用引导滤波提取的细节信息作为网络的输入而不是带网纹的原图，减少了学习内容；CNN模型只学习图像残差信息，使得学习内容减少，易于训练，加快模型收敛速度；残差模块中充分利用了各层的特征信息；加入mask监督信息，相当于增加网纹判断分支，多任务训练使网络能够学得更多特征；该模型能够有效地去除网纹污迹，还原真实图像，针对各类场景都有很好的鲁棒性。附图说明图1是本专利技术提供优选实施例的流程图；图2是随机网纹样例；图3是ReLU激活函数图像；图4是残差模块结构图；图5是简单背景网纹去除结果样例；图6是复杂背景网纹去除结果样例。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施本文档来自技高网...

【技术保护点】
1.一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，包含以下步骤：1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。

【技术特征摘要】
1.一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，包含以下步骤：1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。2.根据权利要求1所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括:：采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。3.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。4.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤3)中，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入，具体包括：引导滤波定义某像素点的输出结果为：qi＝akIi+bk其中，q为输出图像像素值，I为输入图像像素值，i、k为像素索引，a和b是当窗口中心位于k时该线性函数的不变系数，即该方法假定：q与I在以像素k为中心的窗口中存在局部线性关系，具体步骤包括：(1)通过积分图来实现的boxFilter，计算各图像各窗口的均值，其中均值包括引导图像均值meanI、原始待滤波图像均值meanP、互相关均值corrrIP及自相关均值corrI；(2)根据均值计算相关系数参数，包括自相关方差varI，互相关协方差covIP；vari＝corrI-meanI*meanIcovIP＝corr...

【专利技术属性】
技术研发人员：陈乔松，申发海，陶亚，弓攀豪，曹依依，董广县，蒲柳，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50