【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于向量量化生成和全局局部上下文细化的人脸图像修复方法。
技术介绍
1、图像修复是一种通过推测图像破损区域的内容，使图像破损区域重建的技术。对于图像修复这项工作来说，最早可以追溯到文艺复兴时期，当时的艺术家修复师会修复一些中世纪图片的艺术品。如今，在摄影和电影业中，使用这一技术来修复电影、还原变质恶化的胶片。同时，还可用来消除相机带来的红眼、照片上的日期、水印等，甚至还可以实现某些特效。现在，图像修复的技术在不断的进步，图像修复的应用也越来越广泛，不仅仅局限于艺术品的修复。对于图像修复，发展到今天已经成为计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视制作、壁画修复以及去水印等方面都有重大的应用价值。图像修复面临的挑战是难以修复出和原来客观图像一样的图像。所以对于图像修复任务，它的目标是能够修复出语义合理并且结构和纹理逼真的图像。
2、早期的传统的图像修复工作是基于扩散或者基于面片的方法去完成修复。这些方法主要依赖于低层信息，因此无法为大量缺失区域生成语义正确的结果。同时，这些方...
【技术保护点】
1.基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤S1中图像进行预处理的过程为：利用计算机生成任意形状的掩码以及常用的不规则掩码，将所述掩码与训练集中的任意的人脸图像按像素相乘，得到破损的图像。
3.根据权利要求2所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤S2中构建的向量量化生成对抗网络，一共分为三个部分，首先是一个编码器，后面紧接着是一个学习用于图像离散表示的码本，最后是一个部分是解码器；在编码器中...
【技术特征摘要】
1.基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤s1中图像进行预处理的过程为：利用计算机生成任意形状的掩码以及常用的不规则掩码，将所述掩码与训练集中的任意的人脸图像按像素相乘，得到破损的图像。
3.根据权利要求2所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤s2中构建的向量量化生成对抗网络，一共分为三个部分，首先是一个编码器，后面紧接着是一个学习用于图像离散表示的码本，最后是一个部分是解码器；在编码器中，首先经过一个3×3卷积，将输入的图像通道变为128维，接着经过5次的残差模块和下采样模块的变换，其中残差模块的数量为2个，在最后一次变换的时候去掉下采样模块，增加一个注意力模块，然后经过2个残差模块和1个注意力模块，最后经过一个3×3卷积将特征维度变到256维，将由编码器得到的特征通过1个1×1的卷积得到1024维的特征送到码本中；码本对输入的特征拉平，再经过1个embedding层得到特征向量的量化表示，再进行permute变换成大小为16×16，通道数为256维的特征，将得到的这个特征送到解码器中；解码器结构和编码器结构相似，首先将输入的特征经过经过一个3×3卷积层变换通道数，再经过2个残差块和1个注意力块，接着经过反复5次的残差块和上采样块的变换，其中第一次不经过上采样块，增加了一个注意力块，最后经过1个3×3卷积将特征变为3通道的图像，得到一张粗修复的人脸图像。
4.根据权利要求3所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤s2中构建的全局局部上下文细化网络分为两个部分，分别是：
5.根据权利要求4所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，步骤s2中网络训练的损失函数，在全局局部上下文细化网络中分为四种，分别是掩码内像素重建损失lhole、掩码外像素重建损失lvalid、感知损失lperc和风格损失lstyle，如下所示：
6.根据权利要求5所述的基于向量量化生成和上下文细化的人脸图像修复方法，其特征在于，在全局上下文细化网络中，分成全局编码器和全局解码器；在全局编码器中，将粗修复的人脸图像和掩码连接起来，变成的4通道的输入，经过4层gate卷积模块和4层ffc模块，其中gat...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。