【技术实现步骤摘要】
本专利技术属于低光照图像增强，具体涉及一种基于car编码器和人脸生成先验知识的人脸修复方法。
技术介绍
1、在真实世界的交通监控场景下，由于天气和时间等影响因素，交通视频监控中的人脸往往会出现严重的退化，其特点往往表现为较低的可见度和对比度、严重的色彩失真以及难以预见的图像噪声。这些低质量人脸图像的辨识度低，其图像本身所包含信息也存在偏差和缺失。因此进行人脸修复能够帮助用户更好的了解交通驾驶员的人脸身份信息，从而完成相关的调查工作。
2、目前人脸修复的方法主要针对单一退化和多重退化两种问题。其中针对单一退化的人脸修复方法泛化性较差，而针对多重退化的人脸修复方法存在修复细节度差，图像细节失真和鲁棒性差等问题。考虑到人脸是一个结构性的修复对象，目前的算法工作者引入了地标先验信息、热力图先验信息与生成先验信息等先验知识来辅助完成人脸图像的修复。本专利技术所针对的交通监控场景属于多重退化问题，同时采用了人脸生成先验知识与transformer自注意力机制，有效解决了多重退化问题中人脸细节修复度差的问题。
技术实现思路
1、本专利技术正是针对现有技术的问题，提供一种基于car编码器和人脸生成先验知识的人脸修复方法，首先进行数据获取，对训练集ffhq进行图像退化处理；然后构建car编码器和stylegan2生成器，以构建依赖人脸生成先验知识的人脸修复网络。在对该网络进行训练后，进一步测试低质量人脸图像，得到人脸修复图像。其中，car编码器输出的特征有两种，分别是仿射特征αi和βi以
2、为了实现上述目的，本专利技术采取的技术方案是：一种基于car编码器和人脸生成先验信息的人脸修复网络，包含car编码器和预训练的stylegan2生成器，步骤如下：
3、步骤s1：训练集获取及处理；
4、获取高清人脸图像ffhq，将高清人脸图像ffhq进行多重手工退化，得到退化后的图像ffhq-m；
5、步骤s2：构建car编码器与预训练stylegan2生成器并训练；
6、所述car编码器和预训练stylegan2生成器构成人脸修复模型，采用生成对抗网络的训练模式，将退化后的图像ffhq-m与高清人脸图像ffhq配对进行人脸修复模型训练；
7、步骤s3：结果输出；
8、将低质量人脸图像输入car编码器，得到相应仿射特征和潜在码，再经过stylegan2生成器的图像生成人脸修复图像。
9、作为本专利技术的一种改进，所述car编码器，包括3层car下采样层，3层car上采样层和1层car特征细化层。每级car下/上采样层由若干个car模块、1个卷积层conv和1个pixelunshuffle下采样/上采样模块依次连接构成。特别地，car下/上采样层-1、car下/上采样层-2、car下/上采样层-3和car中间层的car模块数量对应为[2，3，3，4]，注意力头的数量对应为[1，2，4，8]，对应通道数量为[16，32，64，128]。特征细化层的设置与car下/上采样层-1保持一致。
10、所述car下采样层由若干个car模块、1个卷积层convd3与1个pixelunshuffle下采样模块依次连接构成；所述car上采样层由拼接操作、卷积层convp1、若干个car模块、1个卷积层convd4与1个pixelunshuffle上采样模块依次连接构成；所述car特征细化层由若干个car模块依次连接构成；
11、作为本专利技术的一种改进，仿射网络由4层仿射变换aft模块和3层双重下采样dds模块构成，用于连接car编码器和stylegan2生成器；
12、所述仿射变换aft模块由卷积层convd10、leakyrelu激活层和卷积层convd11依次连接构成；
13、所述双重下采样dds模块的一条支路由卷积层convd13、pixelunshuffle下采样模块依次连接构成，另一条支路由bilinear双线性下采样模块和卷积层convd12依次连接构成，两条支路并联构成双重下采样模块。
14、作为本专利技术的一种改进，所述car模块由三个模块依次连接构成，分别为多头换位自注意力模块mdta、门控前馈网络gdfn与通道高度和宽度轴自注意力模块chwa。
15、所述stylegan2生成器：分为1～7级，由1到7级分别对应像素值为5122、2562、1282、642、322、162和82大小的中间特征。每级由一个torgb模块和两个串联的styleconv模块所并联构成。
16、作为本专利技术的一种改进，所述car编码器引入了transformer自注意力网络，构建了car模块，从而增强了网络捕捉长距离特征交互的能力，弥补了卷积网络固有的缺陷。所述car模块由多头换位自注意力模块mdta、门控前馈网络gdfn与通道高度和宽度轴注意力模块chwa依次连接构成。
17、作为本专利技术的一种改进，所述通道高度和宽度轴自注意力模块chwa依次由平均池化层avgpool、非线性模块lrls、广播操作和残差操作级联构成，其中非线性模块lrls由线性层linear、函数激活层relu、线性层linear和函数激活层sigmoid依次级联构成。
18、作为本专利技术的一种改进，所述通道高度和宽度轴注意力模块chwa包含两个依次连接的子模块，分别为宽度注意力模块wam和高度注意力模块ham。基于通道注意力机制，本专利技术将通道维度的注意力图拓展为通道维度+宽度维度的注意力图和通道维度+高度维度的注意力图，进一步增加了注意力模块对空间特征的学习能力。
19、作为本专利技术的一种改进，双重下采样模块与仿射变换模块结合生成stylegan2生成器所需的7级仿射变换参数αi和βi，它们分别表示缩放scale和偏置shift。所述仿射变换aft模块由卷积层convd10、函数激活层leakyrelu和卷积层convd11依次连接构成；所述双重下采样dds模块的一条支路由双线性下采样模块bilinear和卷积层convd12依次级联构成，另一条支路由卷积层convd13和下采样模块pixelunshuffle依次级联构成。两条支路并联，最后进行元素级相加操作，得到最后输出。
20、作为本专利技术的一种改进，我们提出了监督损失函数促进car编码器的收敛，加快网络的训练速度。所述监督损失函数为：
21、
22、表示监督损失，y表示高清图像，yu表示car编码器人脸修复图像，λl1表示损失函数权重。
23、作为本专利技术的一种改进，使用四本文档来自技高网...
【技术保护点】
1.一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，
3.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，
4.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述CAR模块由三个模块依次连接构成，分别为多头换位自注意力模块MDTA、门控前馈网络GDFN与通道高度和宽度轴自注意力模块CHWA。
5.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述通道高度和宽度轴自注意力模块CHWA依次由平均池化层Avgpool、非线性模块LRLS、广播操作和残差操作级联构成，其中非线性模块LRLS由线性层Linear、函数激活层ReLU、线性层Linear和函数激活层Sigmoid依次级联构成。
6.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，使用四
...【技术特征摘要】
1.一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，
3.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，
4.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述car模块由三个模块依次连接构成，分别为多头换位自注意力模块mdta、门控前馈网络gdfn与通道高度和宽度轴自注意力模块chwa。
5.根据权利要求1所述的一种基于ca...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。