【技术实现步骤摘要】
用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
本专利技术属于数字图像处理
，具体涉及一种图像修复方法，更具体的说，涉及一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法。
技术介绍
人脸识别因其在信息安全、监控执法、访问控制等领域有着广阔的应用场景，一直是社会各界关注的热点。虽然已有许多方法取得了很好的业绩，但是它们只能在受约束的条件下工作良好。它们中的大多数都需要使用完整的脸部图像来识别人物。图库图像和查询图像必须经过严格的对齐。在实际情况中，摄像机中拍摄的脸部图像常常被不同的物体遮挡。对于不受控制或控制程度较低的情景中的人脸识别，仍然有许多问题需要解决。此外，在人脸识别的应用中，图库中通常只有非常有限的训练样本。单样本人脸识别问题非常具有挑战性，因为单个样本库集合中只能提供非常有限的信息，导致库集无法预测查询样本中存在的各种面部变化。因此，如何克服小样本部分遮挡情况下的人脸识别是非常有价值的工作。Weng等人提出了一种用于部分人脸识别的鲁棒点集匹配方法[1]。由于遮挡区域与图库人脸相似性相差很大，...
【技术保护点】
1.一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法，其特征在于，包括针对人脸被部分遮挡的情况，构造深度神经网络作为图像生成器，同时引入全局-局部判别器和人脸特征提取网络来辅助图像生成器学习人脸修复任务，使得图像生成器可以产生自然的人脸图像，同时更好地保持人物的身份信息；/n所述深度神经网络由一个生成器、一个全局-局部判别器和一个身份信息保留模块组成；生成器包括一个特征学习模块、一个空间镜像变换模块和一个解码器；其中，特征学习模块包含一个编码器和一个转换器；空间镜像变换模块包含一个镜像对称网络和一个空间变换网络；输入图像与掩码一起发送到深度神经网络中，由编码器构造出初...
【技术特征摘要】
1.一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法，其特征在于，包括针对人脸被部分遮挡的情况，构造深度神经网络作为图像生成器，同时引入全局-局部判别器和人脸特征提取网络来辅助图像生成器学习人脸修复任务，使得图像生成器可以产生自然的人脸图像，同时更好地保持人物的身份信息；
所述深度神经网络由一个生成器、一个全局-局部判别器和一个身份信息保留模块组成；生成器包括一个特征学习模块、一个空间镜像变换模块和一个解码器；其中，特征学习模块包含一个编码器和一个转换器；空间镜像变换模块包含一个镜像对称网络和一个空间变换网络；输入图像与掩码一起发送到深度神经网络中，由编码器构造出初步的人脸特征，然后再发送到空间镜像变换模块进行特征重排；最后，网络输出一张干净的人脸；所述身份信息保留模块由一个预先训练好的人脸特征提取网络构成，在网络训练中，引入全局-局部判别器和人脸特征提取网络，帮助生成器更好地保留人的身份。
2.根据权利要求1所述的镜像特征重排修复方法，其特征在于，具体步骤如下：
(1)从待修复图像中标记出局部遮挡区域
针对部分遮挡下的人脸修复，构建一个与输入图像X大小相同的全零矩阵M，将遮挡区域对应位置的矩阵M像素点置为1；
(2)将输入图像和对应的遮挡区域标记共同载入编码器
通过编码器，网络构建初步的人脸特征，从输入图像中提取特征，将图像压缩成256个64×64的特征向量；
(3)将初步特征送入空间镜像变换模块进行特征重排
空间镜像变换模块包含一个镜像对称网络和一个空间变换网络，输入为编码器的输出特征，输出为经过特征适应重排后的新特征层；首先，镜像对称网络根据人脸的中轴线做对称，输出为带有遮挡区域参考信息的新特征层，通过镜像对称操作给遮挡区域提供对应的参考；随后，空间变换网络将已有的人脸特征进行自适应重排，参考特征移动到合适的位置；
为解决训练中变换参数消失的问题，引入变换损失，控制空间变换网络每次的输出相近；
(4)生成修复的人脸图像
将初步特征和镜像特征送入转换器和解码器，生成修复的人脸图像；
(5)通过优化损失函数更新生成器、判别器的参数
在网络的训练中引入全局判别器、局部判别器和人脸特征提取网络来辅助生成器学习人脸修复任务；采用判别器作为二值分类器来区分真实图像和假图像；其中，全局判别器输出为整个图像的分类结果，使得整个图像尽可能真实；局部判别...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。