一种基于代价敏感学习的人脸属性编辑方法技术

该发明专利技术公开了一种基于代价敏感学习的人脸属性编辑方法，属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架，在训练生成对抗网络时结合代价敏感学习的思想，分别为判别器和生成器的引入了具有代价敏感的损失函数，其中包含错分代价和错误编辑代价。引入错分代价的目的是为了让判别器能够不受不平衡的数据集的影响，公平的去区分每一个人脸属性，从而能够更好的指导生成器编辑人脸属性的效果。在训练好生成对抗网络后，通过往生成器中输入原始人脸图像和属性编辑向量即可得到编辑后的人脸图像。从训练公平性的角度出发，本发明专利技术充分利用了代价敏感学习和生成对抗网络的优势，提高了现有人脸属性编辑模型的属性编辑成功率。性编辑成功率。性编辑成功率。

【技术实现步骤摘要】
一种基于代价敏感学习的人脸属性编辑方法


[0001]本专利技术属于计算机视觉领域，主要涉及真实世界中的人脸属性编辑的问题；主要应用于影视娱乐产业，人机交互以及机器视觉理解等方面。

技术介绍

[0002]目前，影视娱乐，人机交互，计算机视觉等领域，对图像的生成与属性编辑的需求越来越大。例如：在角色扮演游戏中，玩家可以根据喜好控制参数生成人物头像；在早期教育中，可以根据文本生成匹配的图像，利用图像引导幼儿认识世界的多彩多样；在目前流行的短视频平台中，用户可以使用平台提供的图像编辑技术来修改视频中人脸的头发颜色，眼睛大小等属性，获得更有趣味性的使用体验。其中，人脸属性编辑的目的是操作给定人脸上的单个或多个属性，在保留其他细节的同时生成具有所需属性的新人脸图像。生成对抗网络(GAN,Generative Adversarial Networks)由于具有计算量小，生成图像质量高，模型构造简单等优点，通常被引用到人脸属性编辑任务当中。
[0003]近年来，许多基于GAN的人脸属性编辑模型被提出。AttGAN在GAN的基础上引入了编码器
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于代价敏感学习的人脸属性编辑方法，该方法包括：步骤1：对数据集进行预处理；获取真实人脸图像，并将这些真实图像按照其中人脸显示的属性进行标注，对所有图片像素值进行归一化；步骤2：构建生成对抗网络的判别器网络和生成器网络；1)判别器网络构建判别器网络输入为图片，输出为一个标量和一个向量；判别器网络D分为三个模块：特征提取模块D
e
、对抗损失模块D
adv
和属性分类模块D
cls
；特征提取模块D
e
的输入为图片，输出为图片的特征向量，特征提取模块D
e
由5层卷积网络块依次连接而成；对抗损失模块D
adv
的输入为特征提取模块D
e
提取的特征，输出为标量，值越大表示图像越真实，对抗损失模块D2采用两层线性网络块构成；属性分类模块D
cls
的输入为特征提取模块D
e
的提取的特征，输出为属性分类向量，属性分类模块D
cls
由两层线性网络块构成；2)生成器网络构建生成器网络输入为原始图像和图像的属性编辑向量，输出为属性编辑后图像；生成器网络G主要由三个部分构成：编码器模块G
enc
、解码器模块G
dec
、滤波模块G
F
；其中编码器模块G
enc
的输入原始图像，输出为图像特征，由5层卷积网络块依次连接而成；解码器模块G
dec
的输入为图像特征和图像的过滤特征，输出为编辑后人脸图像，由5层转置卷积网络块依次连接而成，并且编码器和解码器之间采用了Unet网络中的对称跳跃连接；滤波模块G
F
的输入为图像特征，输出为图像的过滤特征，采用STU结构构成，主要用于选择性过滤编码器和解码器之间的对称跳跃连接中传递的图像特征；步骤3：设计人脸属性编辑模型训练过程中的属性编辑操作；本发明采取小批量梯度下降算法对模型进行优化，分批次向模型输入数据集中的N个图像样本
‑
属性标签对：(x，l)，属性标签l是一个长度为M二进制向量，每一位的0或1分别表示对应属性的无或有；属性编辑向量构造方式如下：以图像样本x本身的属性标签作为它的原始标签l
s
，并为每个图像样本x随机挑取其他图像样本的属性标签作为目标属性标签l
t
，以保证属性编辑操作不会存在冲突，以Δl＝l
t
‑
l
s
作为图像x的属性编辑向量；当Δl
i
＝1时，表示为图像x增加第i个属性；当Δl
i
＝0时，表示不改变图像x的第i个属性；当Δl
i
＝
‑
1时，表示为图像x去掉第i个属性；步骤4：设计错分代价和错误编辑代价1)首先统计数据集中的人脸属性分布概率P＝[p
1 p2ꢀ…ꢀ
p
M
]，其中M为人脸属性个数，第i个属性在数据集中的分布概率为其中表示第i个属性在数据集中出现的次数，N
data
为数据集的样本数量；然后根据人脸属性的分布概率P可以计算得到训练过程中第i个属性发生编辑的概率为2p
i
(1
‑
p
i
)；2)计算错分代价其中将第i个属性由1分类为0的代价为C
i1
＝1/p
i
；将第i个属性由0分类为1的代价为C
i2
＝1/(1
‑
p
i
)；即可得3)计算错误编辑代价当未对图像的第i个属性进行编辑时，而发生了错误编辑的代价为A
i1
＝1/(1
‑
2p
i
(1
‑
p
i
))；当对图像的第i个属性进行编辑时，而未发生编辑的代
价为A
i2
＝1/(2p
i
(1
‑
p
i
))；即可得到步骤5：设计损失函数；1)从训练公平性角度出发，针对判别器网络设计损失函数，以均衡不平衡数据集的影响：设由生成器编辑后的图像x
g
～p
g
，p
g
为生成器拟合的图像分布；设真实图像——属性标签对(x
r
，l
r
)～p
data
，p
data
为真实图像数据集的分布；利用判别器的特征提取模块D
e
来提取查询图像x
r
的图像特征：f
r
＝D
e
(x
r
)，将真实图像的特征f
r
送到判别器的对抗损失模块D
adv
中计算图像的真实度估计：D
adv
(xr)；按照上述过程，可以得到生成图像x
g
的真实度估计D
adv
(x
g
)；这样可以构造生成对抗网络的判别器的对抗损失：其中，D
adv
(x
g
)表示判别器的对抗损失模块对编辑图像的输出值，输出值越大表明编辑图像越真实，表示对该输出值的期望，D
adv
(x
r
)表示判别...

【专利技术属性】
技术研发人员：张亮，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：