一种基于多注意力机制的人脸属性编辑网络制造技术

本申请提出了一种基于多注意力机制的人脸属性编辑网络。在生成器的跳跃连接中引入了加性注意力机制，并提出基于注意力机制的U型网络连接，用于筛选与属性无关的细节特征，使之与解码器特征互补。同时采用互补自注意力机制，帮助模型区分属性编辑区域和非属性编辑区域，以保证模型的属性编辑能力和细节保留能力。此外，互补自注意机制能增加生成图像中对长程依赖的建模能力，增加图像的几何约束。该人脸属性编辑网络能够平衡生成对抗网络的属性操控能力和细节保留能力，同时能对相干属性进行解耦，并且在感官质量、属性分类准确率和重建图像质量上有着巨大的提升。

Face attribute editing network based on multi attention mechanism

【技术实现步骤摘要】
一种基于多注意力机制的人脸属性编辑网络
本申请属于图像领域，尤其涉及一种基于多注意力机制的人脸属性编辑网络。
技术介绍
随着互联网的快速发展，图像成为人们传递信息、获取信息的重要载体，图像数量迅速增长，如何对图像进行快速、有效的分析和处理显得越来越重要。在图像处理领域中，人脸图像包含了丰富的个人信息，例如情绪、年龄和身份信息等。面部属性的排列组合构成了每个人独特的人脸信息，面部属性在人的社会交往中起到了基础性作用，因此人脸图像的研究一直是机器学习领域的研究热点。人脸属性编辑技术成为了实现仿生代理、进行人机情感交互过程中不可或缺的重要工具。在人机交互、人脸重建、数据集扩增、智能摄影、市场营销等多个智能领域存在广阔的应用前景。人脸属性编辑的目标即生成具有目标属性人脸的同时保留其与目标属性无关的面部细节。在现有技术中，人脸属性编辑模型的生成器(Generator)大都采用了编解码器结构(encoder-decoder)，对原图像信息进行压缩提取，并在属性向量的指导下对人脸图像进行编辑，从而实现人脸属性编辑。在先前的工作中，为了提取不同尺度的图像属性信息，需要用堆叠的卷积层对原图像进行多次空间合并或者下采样。残差结构的编/解码器，瓶颈层的引入增加了下采样次数，使特征潜空间高度压缩，导致了模糊的属性编辑结果和严重的内容缺失问题。图像经过编解码器结构的压缩后不可避免地会有细节损失，潜空间的特征向量只包含了图像的主要信息，而忽视了细节信息，而细节信息的保存是图像真实度和质量的保证。研究人员试图采用在编解码器中添加跳跃连接，以融合编码器潜空间特征，为解码器支路补充细节信息。然而生成器通过跳跃连接获得细节保留能力的同时需要付出降低属性操控能力的代价。如何平衡人脸属性编辑网络的细节保留能力和属性编辑能力仍然是亟待解决的问题。申请内容为了解决上述技术问题，为了解决申请人发现的上述技术问题，本申请提出了一种人脸属性编辑方法，记为(Multi-attentionU-NetGenerativeAdversarialNetwork，MU-GAN)。主要是提出了一种基于多注意力机制的人脸属性编辑网络。本申请首先针对细节保留问题，在基于编解码器的生成对抗网络(GenerativeAdversarialNetwork，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，解决因为解码器通道数骤减而导致的潜空间信息丢失。而后在U-Net结构中，在原有的跳跃直连中加入加性注意力机制(AdditiveAttentionMechanism，AAM)构建基于注意力机制的U型网络连接(AttentionU-NetConnection，AUC)模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力。也就是说，在注意力机制的指导下选择性传递细节信息的同时又防止信息冗余带来的属性编辑能力下降的问题。一种基于多注意力机制的人脸属性编辑网络，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，所述网络结构为：在基于编解码器的生成对抗网络(GenerativeAdversarialNetwork，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；在U-Net结构中，在原有的跳跃直连中加入加性注意力机制构建基于注意力机制的U型网络连接模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力；在编解码器的卷积层之间加入互补自注意力(ComplementarySelfAttention，CSA)层，CSA层是卷积层的补充，分别利用了自注意系数的掩膜β′ji和反掩膜(1-β′ji)，将属性编辑区域与非编辑区域进行分割，有助于分割属性相关/无关区域，以针对性地加强属性编辑能力和细节保留能力。其中，所述在基于编解码器的生成对抗网络中采用对称的U型网络结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；在U-Net结构中，在原有的跳跃直连中加入加性注意力机制构建基于注意力机制的U型网络连接模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力，在网络中的具体表示如下：第l层的编/解码器特征el/dl∈C×W×H，首先经过两个相互独立的线性转换wq和wk，被映射到两个线性空间q和其中N＝W×H。此处用i代表向量中的第i个位置的元素，AUC中的线性转换可由以下公式表示：接着将和做矩阵加法并经过ReLU函数，获得加性相似度系数最后，经过另一个先行转换Wt和Sigmoid函数得到了注意力图α。其中注意力系数αi∈[0,1]代表了相应位置的图像特征的显著性，以选择性地传递细节信息，作为解码器特征的补充。让属性编辑和特征保留各取所需。AUC模块的输出表示特征如下：最后将AUC模块的输出特征与解码器特征进行合并，选择性地增加模型的细节保留能力：其中，所述在编解码器的卷积层之间加入互补自注意力层，CSA层是卷积层的补充，分别利用了自注意系数的掩膜β′ji和反掩膜(1-β′ji)，将属性编辑区域与非编辑区域进行分割，有助于分割属性相关/无关区域，以针对性地加强属性编辑能力和细节保留能力，在网络中的具体表示如下：对两路特征进行矩阵相乘并经过softmax函数，注意力系数矩阵β'计算如下:本申请中分别利用了自注意系数的掩膜β′ji和反掩膜(1-β′ji)，将属性编辑区域与非编辑区域进行分割，并对两路特征进行通道合并，此处的输出特征尺寸为将属性编辑相关的信息与属性无关信息分离，且保存在不同通道，有利于后续解码过程中各取所需，以兼顾属性编辑能力和细节保留能力：其中，是两个独立的线性变换。本申请具有的优点如下：本申请所述的人脸属性编辑方法采用了基于注意力机制的U型网络连接(AUC)编解码器两端，代替了原有的跳跃连接，在注意力机制的指导下选择性传递细节信息的同时又防止信息冗余带来的属性编辑能力下降的问题。本申请构建互补自注意力模块，将其引入传统的生成器全卷积编解码结构中。通过互补自注意力模块区分属性编辑/非编辑区域，并对其分别进行信息增强，以同时加强属性编辑和细节保留能力。本申请受益于AAM和CSAM机制这两种注意力机制，即多注意力机制，模型拥有强大的属性解耦能力，能有效防止目标属性之间的相互干扰，仅改变需要被改变的人脸图像区域。附图说明图1是基于多注意力机制的人本文档来自技高网...

【技术保护点】
1.一种基于多注意力机制的人脸属性编辑网络，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，其特征在于，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，所述网络结构为：/n在基于编解码器的生成对抗网络(Generative Adversarial Network，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；/n在U-Net结构中，在原有的跳跃直连中加入加性注意力机制(Additive AttentionMechanism，AAM)构建基于注意力机制的U型网络连接(Attention U-Net Connection，AUC)模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力；/n在编解码器的卷积层之间加入互补自注意力(Complementary Self Attention，CSA)层，CSA层是卷积层的补充，分别利用了自注意系数的掩膜β'

【技术特征摘要】
1.一种基于多注意力机制的人脸属性编辑网络，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，其特征在于，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，所述网络结构为：
在基于编解码器的生成对抗网络(GenerativeAdversarialNetwork，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；
在U-Net结构中，在原有的跳跃直连中加入加性注意力机制(AdditiveAttentionMechanism，AAM)构建基于注意力机制的U型网络连接(AttentionU-NetConnection，AUC)模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力；
在编解码器的卷积层之间加入互补自注意力(ComplementarySelfAttention，CSA)层，CSA层是卷积层的补充，分别利用了自注意系数的掩膜β'ji和反掩膜(1-β'ji)，将属性编辑区域与非编辑区域进行分割，有助于分割属性相关/无关区域，以针对性地加强属性编辑能力和细节保留能力。


2.根据权利要求1所述的人脸属性编辑网络，其特征在于，所述在基于编解码器的生成对抗网络中采用对称的U型网络结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；
在U-Net结构中，在原有的跳跃直连中加入加性注意力机制构建基于注意力机制的U型网络连接模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能...

【专利技术属性】
技术研发人员：张珂，苏昱坤，何颖宣，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：河北;13