基于双重注意力机制的轻量级人脸老化方法技术

本发明专利技术提供了一种基于双重注意力机制的轻量级人脸老化方法，包括以下步骤：对输入的人脸图像进行预处理；对输入的目标老化年龄进行编码，转换为多维年龄向量；对预处理后的人脸图像进行身份特征提取，获得高维身份特征；将多维年龄向量输入至多层感知器映射为年龄相关的高维年龄特征；将高维身份特征和高维年龄特征通过自适应实例规范化层获得融合特征向量；对融合特征向量使用跳跃连接、上采样和多尺度传统卷积，得到纹理注意力图和色彩注意力图；通过纹理注意力图、色彩注意力图和输入原始图像，三者融合得到最终老化至目标年龄的人脸老化图像。本发明专利技术能够得到最终老化至目标年龄的人脸高分辨率图像。年龄的人脸高分辨率图像。年龄的人脸高分辨率图像。

【技术实现步骤摘要】
基于双重注意力机制的轻量级人脸老化方法


[0001]本专利技术属于数字图像处理
，具体涉及一种基于双重注意力机制的轻量级人脸老化方法。

技术介绍

[0002]伴随着生活水平的提升，人民群众对社交娱乐品质的追求也日渐提升，短视频已成为当下最火热的社交娱乐方式。而在拍摄短视频的过程中，实现人脸老化和年轻化的特效模拟，因其自身的真实性和趣味性，收到了广大用户的一致好评。但是，人脸老化是一个十分复杂的过程，需要综合考虑各方面因素，传统算法为了实现老化效果的真实性，算法结构设计较为复杂，尤其是在实现高分辨率人脸老化的过程中，单张图像计算量较为庞大，不利于在手机等嵌入式设备部署。
[0003]为了解决人脸老化算法在嵌入式设备部署困难的问题，研究学者考虑将深度学习应用到人脸老化当中，已有的人脸老化算法通常设计一个结构相对简单的神经网络模型来实现人脸老化，尽管一定程度上能实现人脸老化，但效果不尽人意，真实性大打折扣。
[0004]目前，轻量化网络设计在深度学习领域已经取得了巨大的成功，在图像处理研究中也应用广泛，但人脸老化这一特定领域应用相对较少，还需要更深入研究，存在较大的进步空间。

技术实现思路

[0005]本专利技术的目的就是为了解决上述
技术介绍
存在的不足，提供一种基于双重注意力机制的轻量级人脸老化方法，使用传统卷积、深度可分离卷积、倒瓶颈残差、混合域注意力对输入人脸图像进行身份特征提取，并将目标老化年龄作为图像属性编辑的输入，使用自适应实例规范化层实现身份特征与老化年龄特征的融合，通过对融合特征进行跳跃连接、上采样、卷积运算，生成双重注意力机制的纹理注意力图和色彩注意力图；最后，将纹理注意力图、色彩注意力图和原始输入图像三者结合，能够得到最终老化至目标年龄的人脸高分辨率图像，并且能够在无监督学习的情况完成网络训练。
[0006]本专利技术采用的技术方案是：一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：包括以下步骤：
[0007]S1，对输入的人脸图像进行预处理，实现像素归一化；
[0008]S2，对输入的目标老化年龄进行编码，转换为多维年龄向量；
[0009]S3，对预处理后的人脸图像采用编码网络进行身份特征提取，获得高维身份特征；
[0010]S4，将多维年龄向量输入至多层感知器，逐步升高维度，映射为年龄相关的高维年龄特征；
[0011]S5，将高维身份特征和高维年龄特征通过自适应实例规范化层实现特征融合，获得融合特征向量；
[0012]S6，对融合特征向量使用由跳跃连接、上采样和多尺度传统卷积构建的解码网络，
得到纹理注意力图和色彩注意力图；通过纹理注意力图、色彩注意力图和输入原始图像，三者融合得到最终老化至目标年龄的人脸老化图像。
[0013]上述技术方案中，步骤S1中，对原始输入图像x
i
预处理，其原始年龄为i，按照[0.5,0.5,0.5]的均值和[0.5,0.5,0.5]的标准差进行归一化处理，且仅在网络训练过程中引入拉伸、裁剪、加噪，以防止网络训练过拟合。
[0014]上述技术方案中，针对常见的编码方式对于相邻年龄的关联性弱的问题，在步骤S2中，设计一种结合分类与回归的编码方式，首先确认目标老化年龄所在的年龄区间，通过线性计算的方式得到目标老化年龄与年龄区间边界的关联性作为编码结果，得到多维年龄向量，从而实现编码结果保留一定的年龄关联性。
[0015]上述技术方案中，步骤S2中，按照年龄区间宽度N＝10，将0
‑
100岁划分为0
‑
1,1
‑
2,2
‑3…9‑
10共10个年龄区间，获取输入的目标老化年龄j，进行年龄区间判定，即j所在的年龄区间为j/N的下整数A和j/N+1的下整数B；
[0016]根据确定的年龄区间，通过如下公式组计算目标年龄与年龄区间的关联系，可得关联系数p，q：
[0017]p+q＝1
[0018]A
×
p+B
×
q＝j
[0019]则目标老化年龄j的编码结果为11维向量T
j
：
[0020]m取整数
[0021]上述技术方案中，针对传统卷积方式计算量与参数量较大的问题，在步骤S3中，编码网络包括传统卷积模块、步长为2的深度可分离卷积模块、倒瓶颈残差模块、混合域注意力模块；对预处理后的人脸图像采用编码网络中传统卷积模块和步长为2深度可分离卷积模块进行下采样和特征提取，采用编码网络中倒瓶颈残差模块加深对于身份提取的采样深度，使用混合域注意力模块增强编码网络对于身份特征的重要区域提取能力。采用上述方法能有效地降低编码网络的参数量和计算量。
[0022]优选地，使用1个步长为1的7
×
7传统卷积模块和2个步长为2的3
×
3深度可分离卷积模块实现下采样和特征提取，使用4个步长为1的3
×
3倒瓶颈残差模块加深卷积深度，使用1个混合域注意力模块指导网络对于特征的重要区域提取，最终提取图像到128维n
×
n身份特征Z。
[0023]上述技术方案中，步骤S4中，将步骤S2中多为年龄向量输入到[11,64,128,256]的多层感知器，逐步提高特征维度，得到256维1
×
1年龄向量L。
[0024]上述技术方案中，为了使两种特征向量得到合理充分的融合，在步骤S5中，将高维年龄特征格式转换为与高维身份特征维度相同的2个年龄特征向量；使用自适应实例规范化层(AdaIN)对高维身份特征和2个年龄特征向量进行特征融合，得到与高维身份特征维度相同的融合特征向量AdaIN(Z,L)，
[0025][0026]其中，Z表示身份特征，L表示年龄特征；μ(Z)和σ(Z)分别表示身份特征的均值和标准差，通过现有技术中的数学公式计算获得；α(L)和β(L)分别表示年龄特征格式转换过后的2个年龄特征向量。
[0027]优选地，将所得的128维身份特征和256维年龄特征进行融合，首先将256维特征压缩为2个128维1
×
1的特征向量，然后使用自适应实例规范化层(AdaIN)进行特征融合，得到128维n
×
n的融合特征向量。
[0028]上述技术方案中，针对解码过程中跳跃连接层会弱化融合特征所包含的年龄信息作用的问题，在步骤S6中，使用结合注意力门机制的跳跃连接层、上采样模块、传统卷积模块构建解码网络，加强年龄信息在解码过程中的作用，使得生成的图像更接近与目标年龄；采用解码网络对融合特征向量进行特征维度降低和尺度扩张后，使用2个独立的传统卷积模块对解码网络的输出图像进行处理，分别生成与输入图像尺度一致的纹理注意力图R和色彩注意力图C；未处理的原始人脸图像x
i
和纹理注意力图R和色彩注意力图C按照如下公式融合，最终得到目标年龄j对应的老化人脸图像x
ij
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：包括以下步骤：S1，对输入的人脸图像进行预处理，实现像素归一化；S2，对输入的目标老化年龄进行编码，转换为多维年龄向量；S3，对预处理后的人脸图像采用编码网络进行身份特征提取，获得高维身份特征；S4，将多维年龄向量输入至多层感知器，逐步升高维度，映射为年龄相关的高维年龄特征；S5，将高维身份特征和高维年龄特征通过自适应实例规范化层实现特征融合，获得融合特征向量；S6，对融合特征向量使用由跳跃连接、上采样和多尺度传统卷积构建的解码网络，得到纹理注意力图和色彩注意力图；通过纹理注意力图、色彩注意力图和输入原始图像，三者融合得到最终老化至目标年龄的人脸老化图像。2.根据权利要求1所述的一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：步骤S2中，结合分类与回归的编码方式，首先确认目标老化年龄所在的年龄区间，通过线性计算的方式得到目标老化年龄与年龄区间边界的关联系数作为编码结果，得到多维年龄向量。3.根据权利要求1所述的一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：步骤S3中，编码网络包括传统卷积模块、步长为2的深度可分离卷积模块、倒瓶颈残差模块、混合域注意力模块；对预处理后的人脸图像采用传统卷积模块和步长为2深度可分离卷积模块进行下采样和身份特征提取，采用倒瓶颈残差模块加深对于身份特征提取的采样深度，使用混合域注意力模块增强编码网络对于身份特征的重要区域提取能力。4.根据权利要求1所述的一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：步骤S5中，将单个高维年龄特征格式拆分为与高维身份特征维度相同的2个年龄特征向量；使用自适应实例规范化层对高维身份特征和2个年龄特征向量进行特征融合，得到与高维身份特征维度相同的融合特征向量AdaIN(Z,L)，其中，Z表示身份特征，L表示年龄特征，μ(Z)和σ(Z)分别表示身份特征的均值和标准差，通过现有技术中的数学公式计算获得；α(L)和β(L)分别表示年龄特征格式转换过后的2个年龄特征向量。5.根据权利要求1所述的一种基于双重注意力机制的轻量级人脸老化方法，其特征在于：步骤S6中，使用结合注意力门机制的跳跃连接层、上采样模块、传统卷积模块构建解码网络；采用解码网络对融合特征向量进行特征维度降低和尺度扩张后，使用2个独立的传统卷积模块对解码网络的输出图像进行处理，分别生成与输入图像尺度一致的纹理注意力图R和色彩注意力图C；未处理的原始人脸图像x
i
和纹理注意力图R和色彩注意力图C按照如下公式融合，最终得到目标年龄j对应的老化人脸图像x
ij
:x
ij
＝R
×
x
i
+(1
...

【专利技术属性】
技术研发人员：马小林，郭翔，张家亮，旷海兰，刘新华，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：