基于文本引导的细粒度活体人脸属性编辑方法及系统技术方案

技术编号:43477166 阅读:13 留言:0更新日期:2024-11-29 16:51
本发明专利技术公开了一种基于文本引导的细粒度活体人脸属性编辑方法及系统,该方法包括下述步骤:获取人脸图像数据集和文本数据集,并进行数据预处理;基于人脸身份特征提取模块、面部关键点特征提取模块分别提取人脸图像的多尺度人脸身份特征和多尺度面部关键点特征;基于多尺度特征混合模块将多尺度人脸身份特征和多尺度面部关键点特征进行特征拼接,并加权平均得到人脸身份结构特征;分别将人脸图像和原始文本嵌入分别作为图像模态和文本模态注入到条件扩散模型中;进行两阶段的训练;基于原始文本和引导文本获得最终的文本条件向量,输入训练后的条件扩散模型,生成细粒度的人脸属性编辑图片。本发明专利技术实现人脸属性编辑的精细化和多样化。

【技术实现步骤摘要】

本专利技术涉及人脸属性编辑,具体涉及一种基于文本引导的细粒度活体人脸属性编辑方法及系统


技术介绍

1、人脸属性编辑技术可以根据已有的现实人脸生成多样化的图像,例如预测人脸逐渐老化过程、模拟人脸表情、发型的变化过程等。通过对人脸面部属性的编辑,使得人脸活体检测模型在训练过程中可以接触到同一人脸在不同场景下的大量面部数据。一方面可以极大地提升目前人脸活体检测模型的泛化性和鲁棒性,避免对未知场景下人脸身份的误判,另一方面可以减少人工采集面部数据较大的工作量,也可以保护人脸面部数据的不被泄露,解决隐私安全问题。此外,通过控制人脸某个面部属性的变化,可以模拟出在不同面部属性差异下的人脸面部情形,有助于更好地解释人脸活体检测模型的工作机制,例如人脸识别系统对面部属性的敏感性、特定的面部编辑对识别结果的影响等。因此人脸属性编辑技术具有重要的现实意义,主要应用场景包括门禁识别系统、银行和移动支付验证系统、城市监控系统等。

2、早期的人脸属性编辑利用gan或vae等生成对抗网络,结合属性标签或文本描述在隐空间中修改特定的风格向量实现特定属性的编辑,现有研究方法本文档来自技高网...

【技术保护点】

1.一种基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述人脸身份特征提取模块包括多尺度编码器和预训练的人脸身份特征提取器;

3.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述面部关键点特征提取模块包括预训练的人脸关键点提取网络PFLD和面部关键点调整网络;

4.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述人脸身份结构特征表示为:

5.根据权利要求1所述的基于文本引导的细粒度...

【技术特征摘要】

1.一种基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述人脸身份特征提取模块包括多尺度编码器和预训练的人脸身份特征提取器;

3.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述面部关键点特征提取模块包括预训练的人脸关键点提取网络pfld和面部关键点调整网络;

4.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,所述人脸身份结构特征表示为:

5.根据权利要求1所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,分别将人脸图像和原始文本嵌入分别作为图像模态和文本模态注入到条件扩散模型中,对条件扩散模型进行训练,具体包括:

6.根据权利要求5所述的基于文本引导的细粒度活体人脸属性编辑方法,其特征在于,给定原始文本嵌入和人脸身份结构特征,通过全连接线性网络分别生成索引矩阵、内容矩阵、查询矩阵,具体表...

【专利技术属性】
技术研发人员:龚照隆李纪成胡永健佘惠敏刘琲贝
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1