一种去遮罩人脸恢复的方法、装置、计算机设备和介质制造方法及图纸

本申请涉及一种去遮罩人脸恢复的方法、装置、计算机设备和存储介质。所述方法包括：通过在去遮罩人脸恢复模型中设计空洞插值卷积模块，能够填补人脸遮罩模块像素，提高模型执行效率以及提高生成面部的多样性；通过使用动态选择卷积模块学习特征，通过注意力权重获取高权重特征信息，促进卷积块有效地学习图像特征；另外通过第二通路中的上下文注意力模块，可以有效地从遥远的空间位置借用信息来重建局部缺失的像素。通过训练集数据对去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型，用于对戴口罩等的被遮罩的人脸进行去遮罩处理。遮罩处理。遮罩处理。

【技术实现步骤摘要】
一种去遮罩人脸恢复的方法、装置、计算机设备和介质


[0001]本申请涉及深度学习
，特别是涉及一种去遮罩人脸恢复的方法、装置、计算机设备和存储介质。

技术介绍

[0002]口罩已成为减缓疾病传播的有效方式，在公共场合中，人们的面部被遮挡，因此，针对遮罩人脸的面部修复技术逐步发展起来。
[0003]面部修复作为计算机视觉(Computer Vision,CV)领域的一个小的方向，传统方法包括基于面片的方法和基于扩散模型的方法，基于面片的方法通过是搜索和扩展图像未受损区域中的像素，逐个面片填充缺失区域，基于扩散模型的方法通过内容填补缺失区域，两个方法恢复出的图像都很难保真，缺乏多样性。因此，现有技术存在效果和适应性不佳的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提升面部修复效果的去遮罩人脸恢复的方法、装置、计算机设备和存储介质。
[0005]一种去遮罩人脸恢复的方法，所述方法包括：
[0006]获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
[0007]将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
[0008]根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
[0009]获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
[0010]在其中一个实施例中，还包括：获取人脸图像的训练集数据；所述训练集数据从公开数据集celeba中随机采集；
[0011]对所述训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特
征点，确定方形遮罩范围，根据所述方形遮罩范围得到人脸遮罩图像；
[0012]进一步得到人脸遮罩集数据。
[0013]在其中一个实施例中，还包括：所述动态选择卷积模块对应的数学表示为：
[0014][0015]其中，Output为动态选择卷积模块的输出，表示卷积后的特征，σ(
·
)表示softmax函数得到的权重信息。
[0016]在其中一个实施例中，还包括：所述空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块，将所述噪声填入模块和所述变形卷积模块学习到的图像特征进行特征融合，对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补。
[0017]在其中一个实施例中，所述叠加噪声的卷积模块的处理流程包括：
[0018]对所述人脸遮罩集数据中的人脸遮罩图像按通道进行标准化；
[0019]在标准化后的图像上叠加噪声；
[0020]对叠加噪声后的图像进行3
×
3卷积；
[0021]对卷积后的图像上再次按通道进行标准化，得到所述噪声填入模块的输出。
[0022]在其中一个实施例中，还包括：通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练；所述去遮罩人脸恢复模型中生成器的损失函数包括L1损失函数、Ltv损失函数和L
content
损失函数；所述去遮罩人脸恢复模型所要优化的目标函数为WGAN损失。
[0023]在其中一个实施例中，还包括：所述训练集数据中的人脸图像为正面人脸图像。
[0024]一种去遮罩人脸恢复的装置，所述装置包括：
[0025]预处理模块，用于获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
[0026]训练数据输入模块，用于将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；
[0027]模型训练模块，用于根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；
[0028]模型应用模块，用于获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。
[0029]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0030]获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；
[0031]将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数获取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去遮罩人脸恢复的方法，其特征在于，所述方法包括：获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据；所述人脸遮罩集数据中人脸图像面部及嘴部被方形遮罩替代；将所述训练集数据和所述人脸遮罩集数据输入去遮罩人脸恢复模型中；所述去遮罩人脸恢复模型包括第一通路、第二通路、特征融合模块和图像输出模块；所述第一通路包括空洞插值卷积模块，多层动态选择卷积模块和多层空洞卷积模块；所述多层动态选择卷积模块和所述多层空洞卷积模块构成U型卷积网络；所述第二通路为U型卷积网络，包括多层动态选择卷积模块和上下文注意力模块；所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补；所述第一通路和所述第二通路中的动态选择卷积模块用于通过softmax函数提取高权重特征；所述空洞卷积模块用于进行扩大感受野的特征提取；所述上下文注意力模块用于借用有效空间像素进行孔洞填补；所述特征融合模块用于对所述第一通路和所述第二通路的输出进行特征融合；所述图像输出模块用于根据所述特征融合模块的输出激活得到人脸的生成图像；根据所述训练集数据中的真实图像和对应的生成图像，通过预先设置的损失函数对所述去遮罩人脸恢复模型进行训练，得到训练好的去遮罩人脸恢复模型；获取待处理的人脸遮罩图像，将所述人脸遮罩图像输入所述训练好的去遮罩人脸恢复模型，得到去遮罩的恢复人脸图像。2.根据权利要求1所述的方法，其特征在于，获取人脸图像的训练集数据，对所述训练集数据进行预处理，得到对应的人脸遮罩集数据，包括：获取人脸图像的训练集数据；所述训练集数据从公开数据集celeba中随机采集；对所述训练集数据中的每张人脸图像，通过训练完成的dlib网络获取人脸68个特征点，确定方形遮罩范围，根据所述方形遮罩范围得到人脸遮罩图像；进一步得到人脸遮罩集数据。3.根据权利要求2所述的方法，其特征在于，所述动态选择卷积模块对应的数学表示为：其中，Output为动态选择卷积模块的输出，表示卷积后的特征，σ(
·
)表示softmax函数得到的权重信息。4.根据权利要求3所述的方法，其特征在于，所述空洞插值卷积模块用于通过填入噪声对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补，包括：所述空洞插值卷积模块用于在变形卷积模块的基础上增加噪声填入模块，将所述噪声填入模块和所述变形卷积模块学习到的图像特征进行特征融合，对所述人脸遮罩集数据中的人脸遮罩图像进行孔洞填补。5.根据权利要求4所述的方法，其特征在于，所述噪声填入模块的处理流程包括：对所述人脸遮罩集数据中的人脸遮罩图像按通道进行标...

【专利技术属性】
技术研发人员：谢剑斌，高峰，谢昌颐，
申请(专利权)人：湖南中科助英智能科技研究院有限公司，
类型：发明
国别省市：