【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于特征点和可变形混合注意力的对抗网络的面部修复方法。
技术介绍
1、现如今随着人类科技的不断发展，人脸识别技术得到了飞速的发展，但在人脸图像获取时，会存在人脸图像的信息缺失、污染和覆盖的问题，所以图像修复成为了重要的研究方向。图像修复是一种图像处理方法，通过计算机对图片的缺失或受损区域进行修复，使得修复后的结果与原始图接近，在视觉上难以感受到修补的痕迹。
2、图像修复技术经过多年的发展，修复后的图像质量在不断的提高。但对于人脸图像修复仍然存在很大的问题，人脸具有复杂的纹理，并且各个面部器官之间都有很强的拓扑结构，同时还有面部的表情等因素使其更加难以修复，并且修复出的人脸图像很难达到视觉逼真的效果。传统修复方法很难捕捉到人脸图像的语义信息和高级纹理特征，导致修复出来的图像具有纹理和结构不一致，并且存在边界模糊的问题。
3、随着深度学习的快速发展，基于生成对抗网络的方法在图像修复领域占据了主流。但是基于生成对抗网络的人脸修复方法仍存在局限性，随着人脸图像破损面积变大，图像中所能用到的有效信息变少，修复的难度也变得困难，并且不同的人五官的形状也不同，面部的表情也不同，很难使修复后的面部保持语义的连贯。
4、为解决上述问题，本专利技术提出一种基于特征点和可变形混合注意力的对抗网络的面部修复方法。首先，在基于对抗网络的基础上，引入了可变形混合注意力，该注意力可以动态的调整感受野的形状，使网络可以更准确地捕捉到图像中的细节信息。然后，基于mobilenetv3来建立特
技术实现思路
1、本专利技术的目的在于针对上述已有技术的不足，提供一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，来提高人脸图像的修复质量。
2、为了实现以上目的，本专利技术通过以下技术方案实现：
3、本专利技术提供的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，具体步骤包括：
4、步骤一：对原始人脸数据预处理；
5、对原始数据进行裁剪，将人脸图像数据才裁剪成统一大小；
6、步骤二：数据集增强处理；
7、由于数据集所给的人脸特征点不够，使用fan生成多个新特征点来作为人脸图像的特征点；
8、步骤三：特征点预测模型的构建；
9、构建基于mobilenetv3网络的人脸特征点预测模型，加入了改进的跳跃模块和自注意力模块，并采用可变形卷积来进行特征的提取；
10、步骤四：人脸修复模型的构建；
11、构建一个基于生成对抗网络的人脸图像重建模型，生成模型是一种加入了可变形混合注意力的u型网络结构，判别模型由深度卷积网络与一层全连接层组成；
12、步骤五：人脸特征点预测模型的训练；
13、将生成的新特征点作为人脸特征点预测模型的输入，利用反向传播算法和netadap优化算法使得损失函数最小来训练人脸特征点预测模型；
14、步骤六：人脸修复模型的训练；
15、将预处理后的人脸破损图像作为生成模型的输入，利用反向传播算法和adam优化算法使得复合损失函数最小来训练生成模型，将生成模型生成的人脸图像作为判别模型的输入，利用反向传播算法和adam优化算法来训练判别模型；
16、步骤七：对整体模型的测试；
17、将人脸特征点预测模型预测的人脸特征点和预处理后的人脸破损图像输入到训练好的人脸修复模型，经过正向传播，即可得到修复的人脸图像。
18、所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：
19、所述步骤一包括如下过程：
20、对原始数据进行裁剪，将人脸图像数据才裁剪成统一大小。
21、所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：
22、所述步骤二包括如下过程：
23、由于数据集所给的人脸特征点不够，使用fan生成多个新特征点来丰富数据集中的原特征点。
24、所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：
25、所述步骤三包括如下过程：
26、(1)特征点预测模型整体设计；
27、基于mobilenetv3网络模型来进行人脸特征点的预测，采用可变形卷积来替代原mobilenetv3网络中的深度卷积，从而帮助网络可以获取更过的细节特征，并且采用sa注意力来替换原网络中的se注意力，可以根据像素之间的相关性来调整特征的权重，使得重要的细节信息得到更多的关注和保留，最后加入了一种跳跃模块；
28、(2)跳跃模块的设计；
29、跳跃模块由池化和可变形卷积组成，首先为了保持关键特征和减小空间大小，采用自适应平均池化，然后采用三个可变形卷积层来进行特征的提取，批处理归一化(bn)和relu激活函数应用在每个可变形卷积层之后，除了最后一个没有使用relu激活函数,最后在第一个relu激活函数前引入通道注意力来增强特征图中不同通道之间的关联性，在第二个激活函数前引入sa注意力来捕捉图像各个区域之间的长距离关系。从而建立起全局依赖关系，有助于网络理解图像结构和纹理信息。
30、所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤四包括如下过程：
31、(1)修复模型整体结构设计；
32、基于生成对抗网络模型来进行人脸图像的修复，模型的整体结构包括生成模型和判别模型，其中生成模型是一种加了可变形混合注意力的u型结构，判别模型由深度卷积网络与一层全连接层组成；
33、(2)可变形混合注意力u型生成模型结构设计；
34、设计一种基于u型生成模型结构，在u型生成模型中加入可变形混合注意力模块，使模型能够更加精确地感知每个像素的注意力权重，可以更准确地捕捉到图像中的细节信息，从而提高图像修复的效果，生成模型接受破损人脸图像，以修复出与未破损人脸图像相似的图像。u型生成模型的整体结构包含3个卷积模块和接卷积模块两部分，每个卷积模块与其相对称的解卷积模块通过跳跃连接，把卷积路径上提取出来的特征图与之相对称解卷积路径上产生的特征图融合起来，作为下一个解卷积模块的输入；最大程度的保留了浅层卷积过程提取的原始图像特征图信息，可变形混合注意力模块是将可变形卷积与深度卷积和softmax激活函数并联，然后将两个分支提取到的特征融合后传入到ca注意力模块中，最后通过跳转连接将初始输入特征与ca注意力输出特征进行融合；
35、(3)判别模型的设计；
36、判别模型由5层卷积层、一层全连接层和一个可变形混合注意力模块组成，每层卷积后都跟一个批量标准化层、leakyrelu激活函数层；在判别模型的本文档来自技高网...
【技术保护点】
1.一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于该方法包括以下步骤：
2.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤二具体实现方法：
3.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤三具体实现方法：
4.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤四具体可实现方法：
5.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：步骤四中模型采用训练NetAdap优化算法，参数设置：初始学习率：0.0001；动量：0.5；批次尺寸：10；模型训练采用提前停止的策略来防止发生过拟合。
6.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：步骤四中模型采用训练adam优化算法，参数设置：初始学习率：0.0001；动量：0.5；批次尺寸：10；模型训练采用提前停止
...【技术特征摘要】
1.一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于该方法包括以下步骤：
2.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤二具体实现方法：
3.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤三具体实现方法：
4.根据权利要求1中所述的一种基于特征点和可变形混合注意力的对抗网络的面部修复方法，其特征在于：所述步骤四具体可实现方法：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。