当前位置: 首页 > 专利查询>常州大学专利>正文

基于不平衡域间特征的跨模态人脸属性编辑方法及系统技术方案

技术编号:41739135 阅读:25 留言:0更新日期:2024-06-19 12:58
本发明专利技术涉及图像处理技术领域,尤其涉及基于不平衡域间特征的跨模态人脸属性编辑方法及系统,包括将公开数据集中的图像按不同面部属性分为源域和目标域;利用模态编码器为每个源域图像生成有意义的风格表示,利用模态解码器对所有源域图像进行聚类,得到聚类后的源域图像的不同模态;利用风格编码器对聚类后的源域图像和对应的源域图像进行风格编码,得到风格编码图像;并将风格编码图像和参考图像输入风格转换器中得到目标风格图像;利用生成器将目标风格图像和聚类后的源域图像转为目标图;将目标图送入判别器进行图像真假判别。本发明专利技术解决现有深度生成模型的源域和目标域需要成对图像,在质量和鲁棒性方面受到领域差异影响的问题。

【技术实现步骤摘要】

本专利技术涉及图像处理,尤其涉及基于不平衡域间特征的跨模态人脸属性编辑方法及系统


技术介绍

1、人脸属性编辑是指对真实人脸图像进行语义属性处理,在计算机视觉领域有着广泛的应用。

2、深度生成模型在编辑人脸属性方面取得了显著的成功,其中许多模型都是基于生成对抗网络;由于和目标域之间通常很难或不可能获得有标记的图像对,无监督方法应运而生;然而,这些方法在质量和鲁棒性方面往往受到领域差异的影响;在许多无监督方法中,往往有一个隐含的“近似对称”假设,即在编辑域之间将源域和目标域视为一个整体,而没有充分利用两个域的多样性;这种假设通常是基于数据量或变化的考虑。

3、事实上,大多数数据集都存在不同类别之间的不平衡;例如,celeba-hq数据集中包含的年轻人图像明显多于老年人图像,而现有的人脸属性编辑方法往往没有意识到深度学习中普遍存在的“数据短缺”问题。

4、公开号为cn111666588a的一种基于生成对抗网络的情绪差分隐私保护方法尽管实现了对人脸情绪面部属性的编辑,但却忽略了数据集中属性的域不平衡问题,导致精度不高;

本文档来自技高网...

【技术保护点】

1.基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,利用总体损失函数对生成器和判别器进行训练,总体损失函数的公式为:

3.根据权利要求2所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,感知损失的公式为:

4.根据权利要求2所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,身份损失的公式为:

5.根据权利要求1所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,在BALAFT网络的推理过程中,通过计算训练...

【技术特征摘要】

1.基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,利用总体损失函数对生成器和判别器进行训练,总体损失函数的公式为:

3.根据权利要求2所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,感知损失的公式为:

4.根据权利要求2所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,身份损失的公式为:

5.根据权利要求1所述的基于不平衡域间特征的跨模态人脸属性编辑方法,其特征在于,在balaft网络的推理过程中,通过计算训练集和测试集中每两种模态的聚类中心之间的欧氏距离,选择两个最相似的模态,并将测试集中模态的标签改为训练集中相匹配的标签。

6.根据权利要求1所述的基于不平衡域间特征的跨模...

【专利技术属性】
技术研发人员:梁久祯朱淑琦
申请(专利权)人:常州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1