一种基于多列门控卷积网络的人脸图像修复方法技术

本发明专利技术公开了一种基于多列门控卷积网络的人脸图像修复方法，获取待修复人脸图像和掩码，并将所述待修复人脸图像输入带有门控卷积的生成器中进行修复，得到生成图像；基于感知损失法，利用隐式多元马尔可夫随机场计算出所述生成图像和原始图像之间的特征损失值；将所述生成图像中的像素的置信度进行赋值，并根据所述特征损失值和计算得到的两种损失值，得到联合损失值，由三个并行的编解码器分支组成，每个分支设置不同尺寸的卷积核，分别提取人脸不同层次的语义信息，提高全局语义结构一致性；融入一种门控卷积，提高了不规则缺失区域的修复能力；并使用多尺度神经块匹配方法，增强脸部的细节纹理，提高修复能力。

【技术实现步骤摘要】
一种基于多列门控卷积网络的人脸图像修复方法
本专利技术涉及图像处理
，尤其涉及一种基于多列门控卷积网络的人脸图像修复方法。
技术介绍
图像修复(Imageinpainting)，又称图像补全(Imagecompletion)，目的是推测合适的像素信息来修复图像中的缺失区域，其核心问题是保持全局语义结构的一致性，并为缺失区域生成逼真的纹理细节。人脸修复(Faceinpainting)作为图像修复的一个分支，用于修复人脸缺失的区域，是一项具有挑战性的任务。传统的图像修复方法主要有两类:一类是基于纹理合成的方法。这类方法仅用到低级像素特征，难以捕获图像的全局结构和语义信息，不能修复像人脸这样复杂的非重复性图像。另一类是基于外部数据库的搜索方法，在大量数据集中搜索背景信息最相似的图片后，将其前景信息提取并融合到缺失区域。如果在数据集中没有很好的匹配项时，这种方法会出现修复错误。近年来，随着生成对抗网络的快速发展，利用大规模数据集学习图像的高级语义信息，以端到端方式合成噪声图像内容的方法成为主流趋势。这些方法将图像修复视为条件生成问题，即通本文档来自技高网...

【技术保护点】
1.一种基于多列门控卷积网络的人脸图像修复方法，其特征在于，包括以下步骤：/n获取待修复人脸图像和掩码，并将所述待修复人脸图像输入带有门控卷积的生成器中进行修复，得到生成图像；/n基于感知损失法，利用隐式多元马尔可夫随机场计算出所述生成图像和原始图像之间的特征损失值；/n将所述生成图像中的像素的置信度进行赋值，并根据所述特征损失值和计算得到的两种损失值，得到联合损失值，完成修复。/n

【技术特征摘要】
1.一种基于多列门控卷积网络的人脸图像修复方法，其特征在于，包括以下步骤：
获取待修复人脸图像和掩码，并将所述待修复人脸图像输入带有门控卷积的生成器中进行修复，得到生成图像；
基于感知损失法，利用隐式多元马尔可夫随机场计算出所述生成图像和原始图像之间的特征损失值；
将所述生成图像中的像素的置信度进行赋值，并根据所述特征损失值和计算得到的两种损失值，得到联合损失值，完成修复。


2.如权利要求1所述的基于多列门控卷积网络的人脸图像修复方法，其特征在于，获取待修复人脸图像和掩码，并将所述待修复人脸图像输入带有门控卷积的生成器中进行修复，得到生成图像，包括：
获取待修复图像和掩码，并利用生成器的多个门控卷积分支提取所述待修复图像和所述掩码的多个图像特征和掩码特征，其中，利用所述掩码对获取的人脸图像训练集进行标记得到所述待修复图像；
对所述待修复图像进行下采样，并利用扩张卷积进行处理；
对多个所述图像特征进行上采样，并利用带有门控卷积的解码器进行多次卷积，得到对应的生成图像。


3.如权利要求2所述的基于多列门控卷积网络的人脸图像修复方法，其特征在于，对多个所述图像特征进行上采样，并利用带有门控卷积的解码器进行多次卷积，得到对应的生成图像，包括：
对多个所述图像特征进行上采样，并在空间分量上对得到的原始分辨率进行合并，得到特征矩阵；
利...

【专利技术属性】
技术研发人员：杨有，李可森，杨学森，刘思汛，姚露，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：重庆;50