人脸口罩图像的合成模型的训练方法和装置制造方法及图纸

本发明专利技术提供一种人脸口罩图像的合成模型的训练方法和装置，该方法包括：获取未戴口罩人脸图像和口罩图像；基于生成器训练得到口罩图像的空间变换系数；基于空间变换系数，将口罩图像进行变形，将变形后的口罩图像和未戴口罩人脸图像进行图像融合，得到初步人脸口罩图像；通过判别器对初步人脸口罩图像进行判别以得到判别分数W；若判别分数W在预设的阈值范围内，则所述生成器与判别器中的网络参数合格，将所述生成器与判别器作为最终人脸口罩图像的合成模型。本申请中的合成模型能够快速、大量合成人脸口罩图像。量合成人脸口罩图像。量合成人脸口罩图像。

【技术实现步骤摘要】
人脸口罩图像的合成模型的训练方法和装置


[0001]本专利技术涉及图像处理
，尤其涉及一种人脸口罩图像的合成模型的训练方法和装置。

技术介绍

[0002]当前基于深度学习的人脸识别方法，在无遮挡物的人脸识别上取得很好的识别率，但是在大面积遮挡的人脸面前已经不再能够准确识别身份了。其主要原因之一，是在于训练人脸识别神经网络模型时，没有使用戴口罩的人脸数据进行训练，所以为了提高人脸识别系统面对口罩遮挡模式下人脸的识别率，需要一个具有大量样本的戴口罩的人脸数据集。

技术实现思路

[0003]基于此，本专利技术的目的在于提供一种融合特征提取的Re
‑
WGAN（Wasserstein Generative Adversarial Nets，生成对抗网络）的合成模型来实现人脸口罩图像的大量合成，该模型能有效的学习到遮挡人脸与未遮挡人脸之间特征的区别，从而生成大量精确的人脸口罩图像。
[0004]第一方面，本实施例提供一种人脸口罩图像的合成模型的训练方法，所述方法包括：步骤S102，获取未戴口罩人脸图像和口罩图像；步骤S104，构建生成器，并基于所述生成器训练得到口罩图像的空间变换系数；其中，生成器中设有生成器网络结构参数；步骤S106，基于所述空间变换系数，将口罩图像进行变形，将变形后的口罩图像和未戴口罩人脸图像进行图像融合，得到初步人脸口罩图像；步骤S108，构建判别器，并通过判别器对初步人脸口罩图像进行判别以得到判别分数W；其中，判别器中设有判别器网络结构参数；步骤S110，若判别分数W在预设的阈值范围内，则所述生成器与判别器中的网络参数合格，将所述生成器与判别器作为最终人脸口罩图像的合成模型；步骤S112，若判别分数W不在预设的阈值范围内，则调整生成器网络结构参数和判别器网络结构参数。
[0005]进一步地，步骤S104包括：构建生成器；将获取的未戴口罩人脸图像与口罩图像进行通道数叠加，得到叠加图像；将所述叠加图像输入初步构建完成的生成器进行特征提取，得到空间变换系数。
[0006]进一步地，将所述叠加图像输入初步构建完成的生成器进行特征提取，得到空间变换系数的步骤包括：叠加图像通过生成器网络结构参数中 7*7 的大卷积核提取叠加图像的特征，得到目标特征；通过生成器网络结构参数中的3*3中间卷积堆叠所述目标特征来实现信息的提取，得到叠加图像的初步特征信息；基于叠加图像的初步特征信息，通过生成器网络结构参数中的1*1全局自适应平滑池化，得到池化后特征。
[0007]进一步地，步骤S106包括：使用预设的人脸检测器来检测未戴口罩人脸图像的预设的人脸关键点和变形后的口罩的位置和姿态，并进行对齐；在对齐后的图像中，将口罩区域的像素值设为0，将非口罩区域的像素值设为1，得到掩码图像；将未戴口罩人脸图像和变
形后口罩图像分别乘以掩码图像，分别得到第一掩码图像、第二掩码图像；对第一掩码图像、第二掩码图像进行加权融合，得到初步人脸口罩图像。
[0008]进一步地，步骤S108包括：构建判别器；将预先获取的真实的佩戴口罩的人脸图像和所述生成器生成的初步人脸口罩图像输入至判别器，得到判别分数W、生成器的损失函数G和判别器的损失函数D。
[0009]进一步地，步骤S108还包括：将所述预先获取的真实的佩戴口罩的人脸图像和所述生成器生成的初步人脸口罩图像输入判别器，通过判别器网络结构参数中 7*7 的大卷积核分别提取的真实的佩戴口罩的人脸图像和所述生成器生成的初步人脸口罩图像特征，分别得到第一目标特征和第二目标特征；通过判别器网络结构参数的3*3中间卷积堆叠所述第一目标特征和第二目标特征来实现信息的提取，得到第一目标信息和第二目标信息；分别基于第一目标信息和第二目标信息通过1*1全局自适应平滑池化，得到第一池化后特征和第二池化后特征；对第一池化后特征通过3*3 的卷积得到5*5*1的特征矩阵Pr；同理，对第二池化后特征通过3*3 的卷积得到5*5*1的特征矩阵Pg；根据特征矩阵Pr、特征矩阵Pg计算判别分数W；当W（Pr，Pg）趋近于0时，得到生成器的损失函数G和判别器的损失函数D。
[0010]进一步地，步骤S112包括：通过计算损失函数G的梯度，用梯度上升算法优化生成器网络结构参数；同理，计算损失函数D的梯度，用梯度下降算法优化判别器网络结构参数；其中，生成器网络结构参数和判别器网络结构参数的调整是交替进行的。
[0011]第二方面，本专利技术实施例提供一种人脸口罩图像的合成模型的训练装置，所述训练装置包括：图像获取模块、空间变换系数确认模块、人脸口罩图像确认模块、判别分数计算模块、模型确认模块和参数调整模块。
[0012]本专利技术实施例的有益效果如下：本申请的目的是基于未戴口罩人脸图像和口罩图像，实现人脸口罩图像的合成；本技术能够加强合成图像的真实性，后续可以作为数据集加入口罩遮挡人脸识别训练模型，提高口罩遮挡人脸识别算法的正确率。
[0013]本专利技术的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术的上述技术即可得知。
[0014]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例提供的一种人脸口罩图像的合成模型的训练方法的流程图。
实施方式
[0017]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0018]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
实施例
[0019]本实施例提供一种人脸口罩图像的合成模型的训练方法，该方法基于Re
‑
WGAN网络来实现人脸口罩图像的合成，该方法包括以下步骤。
[0020]第一步：获取未戴口罩人脸图像和口罩图像。
[0021]其中，上述数据为Re_WGAN网络训练（即本申请的合成模型）所需的数据集，在本申请中Re_WGAN网络包括生成器和判别器。
[0022]第二步：构建生成器，并基于所述生成器训练得到口罩图像的空间变换系数；其中，生成器中设有生成器网络结构参数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸口罩图像的合成模型的训练方法，其特征在于，所述方法包括：步骤S102，获取未戴口罩人脸图像和口罩图像；步骤S104，构建生成器，并基于所述生成器训练得到口罩图像的空间变换系数；其中，生成器中设有生成器网络结构参数；步骤S106，基于所述空间变换系数，将口罩图像进行变形，将变形后的口罩图像和未戴口罩人脸图像进行图像融合，得到初步人脸口罩图像；步骤S108，构建判别器，并通过判别器对初步人脸口罩图像进行判别以得到判别分数W；其中，判别器中设有判别器网络结构参数；步骤S110，若判别分数W在预设的阈值范围内，则所述生成器与判别器中的网络参数合格，将所述生成器与判别器作为最终人脸口罩图像的合成模型；步骤S112，若判别分数W不在预设的阈值范围内，则调整生成器网络结构参数和判别器网络结构参数。2.根据权利要求1所述的方法，其特征在于，步骤S104包括：构建生成器；将获取的未戴口罩人脸图像与口罩图像进行通道数叠加，得到叠加图像；将所述叠加图像输入初步构建完成的生成器进行特征提取，得到空间变换系数。3.根据权利要求2所述的方法，其特征在于，将所述叠加图像输入初步构建完成的生成器进行特征提取，得到空间变换系数的步骤包括：叠加图像通过生成器网络结构参数中 7*7 的大卷积核提取叠加图像的特征，得到目标特征；通过生成器网络结构参数中的3*3中间卷积堆叠所述目标特征来实现信息的提取，得到所述叠加图像的初步特征信息；基于所述叠加图像的初步特征信息，通过生成器网络结构参数中的1*1全局自适应平滑池化，得到池化后特征。4.根据权利要求1所述的方法，其特征在于，步骤S106包括：使用预设的人脸检测器来检测未戴口罩人脸图像的预设的人脸关键点和变形后的口罩的位置和姿态，并进行对齐；在对齐后的图像中，将口罩区域的像素值设为0，将非口罩区域的像素值设为1，得到掩码图像；将未戴口罩人脸...

【专利技术属性】
技术研发人员：赵津津，江浩然，刘贯伟，高立军，张振彬，黄伟，
申请(专利权)人：恒银金融科技股份有限公司，
类型：发明
国别省市：