图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取待处理的人脸图像；对人脸图像进行编码处理，得到人脸图像的第一隐变量；响应于针对人脸属性的属性编辑程度的设置操作，根据设置的属性编辑程度以及人脸属性对应的属性编辑方向，编辑第一隐变量，得到编辑后的第二隐变量，其中，属性编辑方向表征人脸属性的增强方向或削弱方向，不同人脸属性对应的属性编辑方向不同，属性编辑程度表征人脸属性的增强程度或削弱程度；对第二隐变量进行解码处理，得到目标人脸图像，目标人脸图像与人脸图像中人脸属性的显示效果不同。本公开实施例可实现精准地对用户指定的人脸属性进行编辑。脸属性进行编辑。脸属性进行编辑。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

技术介绍

[0002]人脸属性编辑指的是对人脸图像中的人脸属性进行操控、改变。在深度学习领域中，人脸属性编辑不再限于人脸的形变，而是可以对任意人脸属性进行编辑，例如，增加眼镜、添加胡子、改变眼睛颜色、改变人脸表情等。
[0003]而目前的相关技术中无法针对某一指定人脸属性进行编辑的同时不影响其它人脸属性，比如说用户想要添加眼镜，相关技术虽然可以增加眼睛，但同时可能产生人脸变形。

技术实现思路

[0004]本公开提出了一种图像处理技术方案。
[0005]根据本公开的一方面，提供了一种图像处理方法，包括：获取待处理的人脸图像；对所述人脸图像进行编码处理，得到所述人脸图像的第一隐变量；响应于针对人脸属性的属性编辑程度的设置操作，根据设置的属性编辑程度以及所述人脸属性对应的属性编辑方向，编辑所述第一隐变量，得到编辑后的第二隐变量，其中，所述属性编辑方向表征所述人脸属性的增强方向或削弱方向，不同人脸属性对应的属性编辑方向不同，所述属性编辑程度表征所述人脸属性的增强程度或削弱程度；对所述第二隐变量进行解码处理，得到目标人脸图像，所述目标人脸图像与所述人脸图像中所述人脸属性的显示效果不同。
[0006]在一种可能的实现方式中，所述人脸属性对应的属性编辑方向是利用属性分类器对样本人脸图像进行二分类得到的；其中，所述利用属性分类器对样本人脸图像进行二分类，包括：利用所述人脸属性对应的属性分类器，对所述样本人脸图像进行二分类，得到所述样本人脸图像在隐空间里的属性分类边界，所述隐空间表征所述样本人脸图像对应的样本隐变量分布的样本分布空间；将所述属性分类边界面向所述人脸属性的正样本属性的方向，确定为所述属性编辑方向。
[0007]在一种可能的实现方式中，所述第一隐变量表示为M个第一N维向量，所述属性编辑方向表示为第二N维向量，N与M为正整数，所述根据设置的属性编辑程度以及所述人脸属性对应的属性编辑方向，编辑所述第一隐变量，得到编辑后的第二隐变量，包括：根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量； 计算所述第二N维向量与所述属性编辑程度之间的乘积，得到第三N维向量；将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，所述第二隐变量表示为所述M个第四N维向量。
[0008]在一种可能的实现方式中，所述人脸属性的属性种类包括第一类人脸属性、第二类人脸属性与第三类人脸属性中的至少一种；所述第一类人脸属性的属性编辑方向作用于
第1个第一N维向量至第i个第一N维向量；所述第二类人脸属性的属性编辑方向作用于第i+1个第一N维向量至第j个第一N维向量；所述第三类人脸属性的属性编辑方向作用于第j+1个第一N维向量至第M个第一N维向量；其中，i∈[1,M]，j∈[2,M]。
[0009]在一种可能的实现方式中，所述第一类人脸属性包括：人脸的脸型、位姿，以及人脸表征出的性别、年龄、情绪中的至少一种；所述第二类人脸属性包括人脸上的胡须、眼镜、口罩中的至少一种；所述第三类人脸属性包括瞳孔颜色、头发颜色、妆容颜色、滤镜颜色中的至少一种。
[0010]在一种可能的实现方式中，所述属性种类包括第一类人脸属性，所述根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量，包括：在所述人脸属性包括所述第一类人脸属性的情况下，确定所述属性编辑方向作用于第1个第一N维向量至第i个第一N维向量；其中，所述将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，包括：将所述M个第一N维向量中的第1个第一N维向量至第i个第一N维向量分别与所述第三N维向量相加，得到所述M个第四N维向量。
[0011]在一种可能的实现方式中，所述属性种类包括第二类人脸属性，所述根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量，包括：在所述人脸属性包括所述第二类人脸属性的情况下，确定所述属性编辑方向作用于第i+1个第一N维向量至第j个第一N维向量，i∈[1,M]，j∈[2,M]；其中，所述将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，包括：将所述M个第一N维向量中的第i+1个第一N维向量至第j个第一N维向量分别与所述第三N维向量相加，得到所述M个第四N维向量。
[0012]在一种可能的实现方式中，所述属性种类包括第三类人脸属性，所述根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量，包括：在所述人脸属性包括所述第三类人脸属性的情况下，确定所述属性编辑方向作用于第j+1个第一N维向量至第M个第一N维向量，j∈[2,M]；其中，所述将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，包括：将所述M个第一N维向量中的第j+1个第一N维向量至第M个第一N维向量分别与所述第三N维向量相加，得到所述M个第四N维向量。
[0013]在一种可能的实现方式中，所述对所述第二隐变量进行解码处理，得到目标人脸图像，包括：利用生成网络对所述第二隐变量进行解码处理，得到目标人脸图像；所述生成网络包括多个不同分辨率的网络层，不同分辨率的网络层分别用于处理不同人脸属性对应的第二隐变量。
[0014]在一种可能的实现方式中，所述生成网络包括M层网络层，所述第二隐变量表示为M个第四N维向量，所述利用生成网络对所述第二隐变量进行解码处理，得到目标人脸图像，包括：将第1个第四N维向量输入至所述生成网络的第1层网络层，得到所述第1层网络层输出的第1个中间图；将第m个第四N维向量以及第m
‑
1个中间图输入至所述生成网络的第m层网络层，得到所述第m层网络层输出的第m个中间图，m∈[2,M)；将第M个第四N维向量以及第M
‑
1个中间图输入至所述生成网络的第M层网络层，得到所述第M层网络层输出的所述目标人脸图像。
[0015]在一种可能的实现方式中，在所述属性编辑方向与所述属性编辑程度的乘积为正值的情况下，基于所述第二隐变量得到的所述目标人脸图像，相对于所述人脸图像的所述人脸属性的显示效果增强；在所述属性编辑方向与所述属性编辑程度的乘积为负值的情况下，基于所述第二隐变量得到的所述目标人脸图像，相对于所述人脸图像的所述人脸属性的显示效果削弱。
[0016]根据本公开的一方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理的人脸图像；编码模块，用于对所述人脸图像进行编码处理，得到所述人脸图像的第一隐变量；编辑模块，用于响应于针对人脸属性的属性编辑程度的设置操作，根据设置的属性编辑程度以及所述人脸属性对应的属性编辑方向，编辑所述第一隐变量，得到编辑后的第二隐变量，其中，所述属性编辑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理的人脸图像；对所述人脸图像进行编码处理，得到所述人脸图像的第一隐变量；响应于针对人脸属性的属性编辑程度的设置操作，根据设置的属性编辑程度以及所述人脸属性对应的属性编辑方向，编辑所述第一隐变量，得到编辑后的第二隐变量，其中，所述属性编辑方向表征所述人脸属性的增强方向或削弱方向，不同人脸属性对应的属性编辑方向不同，所述属性编辑程度表征所述人脸属性的增强程度或削弱程度；对所述第二隐变量进行解码处理，得到目标人脸图像，所述目标人脸图像与所述人脸图像中所述人脸属性的显示效果不同。2.根据权利要求1所述的方法，其特征在于，所述人脸属性对应的属性编辑方向是利用属性分类器对样本人脸图像进行二分类得到的；其中，所述利用属性分类器对样本人脸图像进行二分类，包括：利用所述人脸属性对应的属性分类器，对所述样本人脸图像进行二分类，得到所述样本人脸图像在隐空间里的属性分类边界，所述隐空间表征所述样本人脸图像对应的样本隐变量分布的样本分布空间；将所述属性分类边界面向所述人脸属性的正样本属性的方向，确定为所述属性编辑方向。3.根据权利要求1所述的方法，其特征在于，所述第一隐变量表示为M个第一N维向量，所述属性编辑方向表示为第二N维向量，N与M为正整数，所述根据设置的属性编辑程度以及所述人脸属性对应的属性编辑方向，编辑所述第一隐变量，得到编辑后的第二隐变量，包括：根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量；计算所述第二N维向量与所述属性编辑程度之间的乘积，得到第三N维向量；将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，所述第二隐变量表示为所述M个第四N维向量。4.根据权利要求3所述的方法，其特征在于，所述人脸属性对应的属性种类包括第一类人脸属性、第二类人脸属性与第三类人脸属性中的至少一种；所述第一隐变量表示为M个第一N维向量；所述第一类人脸属性的属性编辑方向作用于第1个第一N维向量至第i个第一N维向量；所述第二类人脸属性的属性编辑方向作用于第i+1个第一N维向量至第j个第一N维向量；所述第三类人脸属性的属性编辑方向作用于第j+1个第一N维向量至第M个第一N维向量；其中，i∈[1,M]，j∈[2,M]。5.根据权利要求4所述的方法，其特征在于，所述第一类人脸属性包括：人脸的脸型、位姿，以及人脸表征出的性别、年龄、情绪中的至少一种；所述第二类人脸属性包括人脸上的胡须、眼镜、口罩中的至少一种；所述第三类人脸属性包括瞳孔颜色、头发颜色、妆容颜色、滤镜颜色中的至少一种。6.根据权利要求3
‑
5任一项所述的方法，其特征在于，所述属性种类包括第一类人脸属性，所述根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第
一N维向量，包括：在所述人脸属性包括所述第一类人脸属性的情况下，确定所述属性编辑方向作用于第1个第一N维向量至第i个第一N维向量；其中，所述将所述M个第一N维向量中的所述至少一个第一N维向量分别与所述第三N维向量相加，得到M个第四N维向量，包括：将所述M个第一N维向量中的第1个第一N维向量至第i个第一N维向量分别与所述第三N维向量相加，得到所述M个第四N维向量。7.根据权利要求3
‑
5任一项所述的方法，其特征在于，所述属性种类包括第二类人脸属性，所述根据所述人脸属性对应的属性种类，确定所述属性编辑方向作用于的至少一个第一N维向量，包括：在所述人脸属性包括所述第二类人脸属性的情况下，确定所述属性编辑方向作用于第i+1个第一N维向...

【专利技术属性】
技术研发人员：林纯泽，王权，钱晨，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：