一种基于多注意力机制的人脸属性编辑网络制造技术

本申请提出了一种基于多注意力机制的人脸属性编辑网络。在生成器的跳跃连接中引入了加性注意力机制，并提出基于注意力机制的U型网络连接，用于筛选与属性无关的细节特征，使之与解码器特征互补。同时采用互补自注意力机制，帮助模型区分属性编辑区域和非属性编辑区域，以保证模型的属性编辑能力和细节保留能力。此外，互补自注意机制能增加生成图像中对长程依赖的建模能力，增加图像的几何约束。该人脸属性编辑网络能够平衡生成对抗网络的属性操控能力和细节保留能力，同时能对相干属性进行解耦，并且在感官质量、属性分类准确率和重建图像质量上有着巨大的提升。

Face attribute editing network based on multi attention mechanism

【技术实现步骤摘要】
一种基于多注意力机制的人脸属性编辑网络
本申请属于图像领域，尤其涉及一种基于多注意力机制的人脸属性编辑网络。
技术介绍
随着互联网的快速发展，图像成为人们传递信息、获取信息的重要载体，图像数量迅速增长，如何对图像进行快速、有效的分析和处理显得越来越重要。在图像处理领域中，人脸图像包含了丰富的个人信息，例如情绪、年龄和身份信息等。面部属性的排列组合构成了每个人独特的人脸信息，面部属性在人的社会交往中起到了基础性作用，因此人脸图像的研究一直是机器学习领域的研究热点。人脸属性编辑技术成为了实现仿生代理、进行人机情感交互过程中不可或缺的重要工具。在人机交互、人脸重建、数据集扩增、智能摄影、市场营销等多个智能领域存在广阔的应用前景。人脸属性编辑的目标即生成具有目标属性人脸的同时保留其与目标属性无关的面部细节。在现有技术中，人脸属性编辑模型的生成器(Generator)大都采用了编解码器结构(encoder-decoder)，对原图像信息进行压缩提取，并在属性向量的指导下对人脸图像进行编辑，从而实现人脸属性编辑。在先前的工作中，为了提取不同尺度的图本文档来自技高网...

【技术保护点】
1.一种基于多注意力机制的人脸属性编辑网络，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，其特征在于，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，所述网络结构为：/n在基于编解码器的生成对抗网络(Generative Adversarial Network，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；/n在U-Net结构中，在原有的跳跃直连中加入加性注意力机制(Additive AttentionMechanism，AAM)构建基于注意力机制的...

【技术特征摘要】
1.一种基于多注意力机制的人脸属性编辑网络，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，其特征在于，包括基于编解码器结构的生成器和共享权值的真伪/属性分类鉴别器，所述网络结构为：
在基于编解码器的生成对抗网络(GenerativeAdversarialNetwork，GAN)中采用对称的U型网络(U-Net)结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；
在U-Net结构中，在原有的跳跃直连中加入加性注意力机制(AdditiveAttentionMechanism，AAM)构建基于注意力机制的U型网络连接(AttentionU-NetConnection，AUC)模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能力；
在编解码器的卷积层之间加入互补自注意力(ComplementarySelfAttention，CSA)层，CSA层是卷积层的补充，分别利用了自注意系数的掩膜β'ji和反掩膜(1-β'ji)，将属性编辑区域与非编辑区域进行分割，有助于分割属性相关/无关区域，以针对性地加强属性编辑能力和细节保留能力。


2.根据权利要求1所述的人脸属性编辑网络，其特征在于，所述在基于编解码器的生成对抗网络中采用对称的U型网络结构代替原有的非对称编解码器结构，保证编解码两端的潜空间信息容量对等，以解决因为解码器通道数骤减而导致的潜空间信息丢失；
在U-Net结构中，在原有的跳跃直连中加入加性注意力机制构建基于注意力机制的U型网络连接模块，该模块对编码器特征进行选择性的传递，在获得各层级的细节信息同时防止信息冗余，进而平衡GAN的细节保留和人脸属性编辑能...

【专利技术属性】
技术研发人员：张珂，苏昱坤，何颖宣，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：河北;13