一种基于CAR编码器和人脸生成先验知识的人脸修复方法技术

本发明专利技术公开了一种基于CAR编码器和人脸生成先验知识的人脸修复方法，属于人脸修复领域。该方法包括：(1)获取高清人脸图像FFHQ；(2)对高清人脸图像FFHQ进行多重手工退化；(3)将退化后的图像与高清图像配对训练模型，从而使该人脸修复模型能够增强待修复人脸的细节特征和五官特征。其中，修复模型由编码器和生成器组成，编码器为基于Transformer自注意力机制的CAR编码器，生成器为预训练的StyleGAN2生成器，即人脸生成先验知识。本发明专利技术平衡了人脸修复模型保真度和细节修复度的关系，在增强视觉效果的同时显著提升了峰值信噪比(PSNR)。

【技术实现步骤摘要】

本专利技术属于低光照图像增强，具体涉及一种基于car编码器和人脸生成先验知识的人脸修复方法。

技术介绍

1、在真实世界的交通监控场景下，由于天气和时间等影响因素，交通视频监控中的人脸往往会出现严重的退化，其特点往往表现为较低的可见度和对比度、严重的色彩失真以及难以预见的图像噪声。这些低质量人脸图像的辨识度低，其图像本身所包含信息也存在偏差和缺失。因此进行人脸修复能够帮助用户更好的了解交通驾驶员的人脸身份信息，从而完成相关的调查工作。

2、目前人脸修复的方法主要针对单一退化和多重退化两种问题。其中针对单一退化的人脸修复方法泛化性较差，而针对多重退化的人脸修复方法存在修复细节度差，图像细节失真和鲁棒性差等问题。考虑到人脸是一个结构性的修复对象，目前的算法工作者引入了地标先验信息、热力图先验信息与生成先验信息等先验知识来辅助完成人脸图像的修复。本专利技术所针对的交通监控场景属于多重退化问题，同时采用了人脸生成先验知识与transformer自注意力机制，有效解决了多重退化问题中人脸细节修复度差的问题。

技术实现思路本文档来自技高网...

【技术保护点】

1.一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，

3.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，

4.根据权利要求1所述的一种基于CAR编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述CAR模块由三个模块依次连接构成，分别为多头换位自注意力模块MDTA、门控前馈网络GDFN与通道高度和宽度轴自注意力模块CHWA。

5.根据权利要求1所述的一种基于CAR编码...

【技术特征摘要】

1.一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，

3.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，

4.根据权利要求1所述的一种基于car编码器和人脸生成先验知识的人脸修复方法，其特征在于，所述car模块由三个模块依次连接构成，分别为多头换位自注意力模块mdta、门控前馈网络gdfn与通道高度和宽度轴自注意力模块chwa。

5.根据权利要求1所述的一种基于ca...

【专利技术属性】
技术研发人员：胡长晖，祝炜鸿，徐霖涛，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：