【技术实现步骤摘要】
本专利技术涉及深度学习、计算机视觉，具体涉及一种基于生成网络生成数据进行复杂环境人脸关键点检测方法。
技术介绍
1、人脸相关技术在过去几十年中已经成熟。然而，真实世界的训练数据不足，以及人脸应用造成的隐私侵犯或数据滥用等问题也引发了全球争议。但智能模型为了获得更高准确性，往往希望训练数据可以更加多样化、丰富化。现实中依靠人工收集训练数据和标注大数据越来越难以实现。人脸相关研究的不同应用对数据也有着不同的要求，而训练图像的要求也取决于场景的复杂性、项目类别的数量和准确性。目前人脸关键点检测任务在检测正面和近正面的人脸图像中都达到了很高的准确度。但基于复杂场景下的人脸数据集却面临训练数据标注任务难、数据不均衡、关键点模糊甚至不可见的挑战，导致现有的关键点检测任务无法解决平面大角度旋转的精确定位，也很难对其进行统一的模型训练。
2、随着图形成像的快速发展和进步，研究人员也使用一些3d模型来创建合成数据集。许多任务都在尝试使用合成数据集来最大限度地降低网络训练模型的成本和风险。合成数据集将有效降低计算机视觉应用程序的开发成本，同时达到隐私保护的目的。因为隐私限制了真实世界数据的可用性或规定了如何使用数据集。当真实世界的数据可能不存在或不满足特定条件或需求时，合成数据集弥补了手动收集和标记真实世界数据的许多缺点。但现有的合成技术面临训练不稳定、梯度消失、模式崩溃等挑战，尤其在面对小样本数据时，无法学习建模图像的全部特征，过于强调若干个图像特征,易导致伪影的漂移和产生。另外合成图像缺乏真实度，利用合成图像训练的模型泛化到实际测试
技术实现思路
1、为了解决上述问题，本专利技术提供一种基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，包括如下步骤：
2、步骤1，利用facegen modeller模型中自定义不同的人脸属性参数设置获取相应的三维合成人脸纹理结构信息文件，进而通过三维重建构建不同角度和遮挡条件下的二维合成人脸图像数据集，并统一裁剪成固定大小；
3、步骤2，对于真实人脸图像数据集，利用优化后的deeplab分割算法去除复杂背景干扰；
4、步骤3，借助基于ugatit生成网络结构优化后的转换模型s→r，把步骤1获取的二维合成人脸图像数据集转换为具有真实人脸特征信息的仿真合成人脸图像数据集；
5、步骤4，利用经过步骤2获取的去除复杂背景干扰的真实人脸图像数据集和经过步骤3获取的仿真合成人脸图像数据集作为模型训练数据集，对改进的hourglass人脸关键点检测模型进行训练。
6、进一步地，步骤1中，自定义人脸属性参数包括：年龄、种族、性别、发型、表情风格，通过调整上述属性参数来随机生成不同的人脸纹理结构信息文件。
7、进一步地，步骤2中，基于优化的deeplab分割算法去除背景干扰具体为：图像在特征编码阶段进行特征提取分别生成深层特征和浅层特征，深层特征通过空洞卷积网络来控制输出特征图的分辨率，使网络有不同特征的感受野，之后利用卷积层进行通道数调节；在特征解码阶段，将主干特征提取网络生成的浅层特征和经过特征编码的输出特征变换成相同的形状进行特征融合然后进行上采样逐步恢复空间信息。
8、进一步地，步骤3中，
9、基于ugatit生成网络结构优化后的转换模型s→r包含两个生成器(gx,gy)模型和两个判别器(dx,dy)模型，将步骤2中得到的真实人脸图像(x∈x)和步骤1中得到的合成人脸图像(y∈y)作为输入；
10、生成器(gx,gy)模型在其编码器前和解码器后采用了两个沙漏模块，在其编码器中的特征提取resnet模块中加入了注意力机制(se),在其编码器和解码器之间，引入类激活图(cam)；
11、生成器(gx,gy)模型中，解码器的设计与编码器对称；
12、在生成器和判别器的每一层都加入自适应层实例归一化(soft-adalin)对特征图进行归一化和调整；
13、判别器(dx,dy)的设计采用全局判别器和局部判别器的组合。
14、进一步地，更改成本函数以获得更好的优化目标来平衡基于ugatit生成网络结构优化后的转换模型s→r中生成模型和判别模型之间的损失。
15、进一步地，更改成本函数具体包括：
16、6.1把交叉熵损失函数换做基于最小二乘化(llsgan)的优化：
17、
18、其中，x表示合成人脸图像数据，表示x来自于合成人脸图像数据集分布的px概率，dx(x)表示对合成人脸图像数据进行判别，gx(x)表示利用生成器gx生成的合成人脸图像数据，dx(gx(x))表示对生成的合成人脸图像数据进行判别，表示合成人脸图像数据x来自于真实人脸图像数据集y分布的py概率；
19、6.2采用循环一致性损失函数(lcyc)来确保图像能转换回原目标域：
20、
21、其中，gy(gx(x))表示重建后的合成人脸图像数据，y表示真实人脸图像数据集,表示真实人脸图像数据来自于真实人脸图像数据集y分布的py概率，gx(gy(y))表示重建后的真实人脸图像数据集；
22、6.3利用本体隐射函数(lide)确保输入和输出图像的颜色分布相似：
23、
24、其中，gy(x)表示把合成人脸图像数据x输入到gy生成器中进行重建，gx(y)表示把真实人脸图像数据y输入到gx生成器中进行重建；
25、6.4cam损失是利用来自生成器辅助分类器ηx和判别器辅助分类器ηdx的信息：
26、
27、
28、其中,ηx(x)表示把合成人脸图像数据x输入到生成器辅助分类器中进行分类，得到生成图像的预测类别，log(·)是将分类模型的预测转换为概率分布形式；ηdx(x)表示利用判别器辅助分类器对输入的合成人脸图像数据x的类别进行判别，ηdx(gx(x))表示对利用生成器gx生成的合成人脸图像数据gx(x)的类别进行判别；
29、6.5人脸识别身份损失函数(lfaceid)是使用预先训练的人脸识别模型mobilefacenets，即m模型来提取输入和生成输出的人脸关键点特征：
30、
31、其中，cos(·)表示计算余弦，m(x),m(y)分别表示把x,y输入到m模型中输出对应人脸关键点特征，m(gx(x)),m(gy(y))分别表示把生成数据gx(x),gy(y)输入到m模型中输出对应人脸关键点特征；
32、6.6像素损失函数(lpixel)被用来在经过样式转换后能够保持较低级别的特征：
33、
34、进一步地，步骤4中，对hourglass人脸关键点检测模型的改进具体为：在hourglass模型的基础上，加入了采用注意力机制优化的残差块以缩减图像数据的维度，存储关于图像的重要信息；后面直接串联多个hourglass以利用特征之间的互补性；采本文档来自技高网...
【技术保护点】
1.一种基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤1中，自定义人脸属性参数包括：年龄、种族、性别、发型和表情风格，通过调整上述属性参数来随机生成不同的人脸纹理结构信息文件。
3.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤2中，基于优化的DeepLab分割算法去除背景干扰具体为：图像在特征编码阶段进行特征提取分别生成深层特征和浅层特征，深层特征通过空洞卷积网络来控制输出特征图的分辨率，使网络有不同特征的感受野，之后利用卷积层进行通道数调节；在特征解码阶段，将主干特征提取网络生成的浅层特征和经过特征编码的输出特征变换成相同的形状进行特征融合然后进行上采样逐步恢复空间信息。
4.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤3中，
5.如权利要求4所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，
6.如权利要求5所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，更改成本函数具体包括：
7.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤4中，对Hourglass人脸关键点检测模型的改进具体为：在Hourglass模型的基础上，加入了采用注意力机制优化的残差块以缩减图像数据的维度，存储关于图像的重要信息；后面直接串联多个Hourglass以利用特征之间的互补性；采用注意力机制优化的残差块的输出由如下公式获得：
...【技术特征摘要】
1.一种基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，该方法包括如下步骤：
2.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤1中，自定义人脸属性参数包括：年龄、种族、性别、发型和表情风格，通过调整上述属性参数来随机生成不同的人脸纹理结构信息文件。
3.如权利要求1所述的基于生成网络生成的数据进行复杂环境人脸关键点检测的方法，其特征在于，步骤2中，基于优化的deeplab分割算法去除背景干扰具体为：图像在特征编码阶段进行特征提取分别生成深层特征和浅层特征，深层特征通过空洞卷积网络来控制输出特征图的分辨率，使网络有不同特征的感受野，之后利用卷积层进行通道数调节；在特征解码阶段，将主干特征提取网络生成的浅层特征和经过特征编码的输出特征变换成相同的形状进行特征融合然后进行上采样逐步恢复空间信息。
4.如权利要求1...
【专利技术属性】
技术研发人员：高皓琪，杨星，许颢砾，王阳阳，穆华，梁振宇，左磊，王秉文，胡书隆，瞿斌，万语科，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。