【技术实现步骤摘要】
一种人脸任意属性编辑模型构建方法及系统
[0001]本专利技术属于人脸属性编辑相关
,涉及一种基于独立选择转换单元和自注意力机制的人脸任意属性编辑网络。
技术介绍
[0002]人脸属性编辑是对一张人脸图像的人脸属性进行操作。人脸属性编辑的目的是使经过属性操作后的图像具有目标属性,且未更改的属性表示与源图像保持一致。它在医学美容、刑侦以及娱乐领域有很大的应用前景。
[0003]人脸属性编辑可以分为单属性人脸编辑和任意属性人脸编辑。单属性人脸编辑旨在解决人脸图像的某一个属性的转换,但无法很好地应对现实生活中的一个模型改变任意属性的需求。虽然可以通过训练多个单属性编辑模型来编辑任意人脸属性,但这样不能够有效的利用整个数据集,且需要训练的模型数与要编辑的属性呈正相关关系,随着要编辑属性的增多,模型的参数量大大增加。因此,一些只要单个模型就能够实现任意属性人脸编辑的方法出现了,这些方法都依赖于CGAN(Conditional Generative Adversarial Networks),将目标标签作为条件来对图像进行 ...
【技术保护点】
【技术特征摘要】
1.一种人脸任意属性编辑模型的构建方法,其特征在于,包括以下步骤:(1)构建人脸图像集,所述人脸图像集中的每幅图像存有原属性;(2)采用人脸图像集对改进的生成对抗网络进行训练:所述改进的生成对抗网络包括生成器和判别器,所述生成器包括编码器、独立选择转换模块和解码器,所述编码器包括L层卷积层,L≥4,所述独立选择转换模块包括R层独立选择转换单元,R=L
‑
1,所述解码器包括L层反卷积层,并且第2层至第L
‑
1层反卷积层中均嵌入有自注意力机制;所述第1层卷积层的输入为任一原始图像x,输出为图像x的第1层卷积层尺度上的语义信息f
e1
;中间任一层卷积层或最后一层卷积层的输入为上一层卷积层的输出,输出为相应层卷积层尺度上的语义信息f
el
,l=2,3,
…
,L;所述第1层独立选择转换单元的输入为第L层卷积层的输出、图像x的差分属性值att和第L
‑
1层卷积层的输出,输出为第1层独立选择转换单元的隐藏状态1、隐藏状态2和该层的输出结果output1;所述图像x的差分属性值att为图像x的原属性值与目标属性值的差,所述目标属性值为用户指定或为人脸图像集中其他任一图像的原属性值;第r层独立选择转换单元输入为上一次独立选择转换单元的隐藏状态1、隐藏状态2、差分属性值att和第L
‑
r层卷积层输出的语义信息,输出为第r层独立选择转换单元的隐藏状态1、隐藏状态2和该层的输出结果output
r
,r=2,3,
…
,R;,R;,R;,R;,R;,R;,R;,R;,R;c
r
表示第r层独立选择转换单元的隐藏状态2;c0表示初始的隐藏状态2,取f
e5
;input
r
表示第r层独立选择转换单元的输入门;info
r
表示第r层独立选择转换单元的当前信息;forget
r
表示第r层独立选择转换单元的忘记门;表示第r
‑
1层独立选择转换单元的最终隐藏状态2,
c
r
‑1表示第r
‑
1层独立选择转换单元的隐藏状态2;σ表示sigmoid激活函数;*表示卷积操作;W
reset
,W
forget
和W
input
均代表卷积核;表示第r
‑
1层独立选择转换单元的最终隐藏状态1;h
r
‑1表示第r
‑
1层独立选择转换单元的隐藏状态1;h0表示初始的隐藏状态1,取f
e5
;h
r
表示第r层独立选择转换单元的隐藏状态1;reset
r
表示第r层独立选择转换单元的重置门;tanh指代tanh激活函数;W
info
表示计算当前信息的卷积核;表示第l层编码器层的语义信息,l=L
‑
r;表示哈达玛乘积;W
h
和W
c
均表示反卷积核;*
T
表示反卷积操作;[,]表示在通道维度上的连接操作;第1层反卷积层的输入为第L层卷积层的输出和差分属性值att,输出为第1层反卷积层尺度上图像包含属性编辑信息的特征图;第2层中注意力机制的输入为上一层反卷积层的输出,输出为图像自注意特征图;第2层反卷积层的输入为该层所嵌入注意力机制的输出,output1和...
【专利技术属性】
技术研发人员:刘晓宁,江雨,蒋艺,林芃樾,冯龙,
申请(专利权)人:西北大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。