一种基于多模态交互模块的涂鸦人脸图像编辑方法技术

本发明专利技术涉及人脸图像编辑的技术领域，尤其是指一种基于多模态交互模块的涂鸦人脸图像编辑方法。通过双路多模态交互模块，分别从位置维度和通道维度两方面计算交叉注意力图，使用得到的交叉注意力图和涂鸦向量通过对人脸图像隐向量迭代修改进行隐空间隐射，完成涂鸦和图像目标编辑位置的语义内容对齐，并将涂鸦嵌入到对应的隐空间中；通过单路多模态交互模块保存编辑后原始人脸身份特征，得到的纹理补充向量对人脸图像隐向量迭代修改进行隐空间隐射，最终生成人脸图像编辑结果。本发明专利技术能够更加直观、充分地表达用户的编辑意图，实现符合用户预期的真实感编辑效果，本发明专利技术在人脸图像编辑的编辑效果、编辑真实感以及人脸身份信息保存上具有优越性。

【技术实现步骤摘要】

本专利技术涉及人脸图像编辑的，尤其是指一种基于多模态交互模块的涂鸦人脸图像编辑方法。

技术介绍

1、作为涵盖了人类重要信息的人脸图像，人脸图像在社会交往中占据极为重要的地位。得益于互联网技术的迅猛发展，以及许多社交媒体和短视频内容平台广泛流行，对于人脸图像的编辑与分享成为大多数人社交的重要组成部分。而在深度学习领域，生成对抗性网络在图像生成方面取得了令人瞩目的成就。特别是近年来有学者提出了一种新的生成对抗网络结构——stylegan，其闻名于强大而丰富的图像生成能力和语义丰富的解耦隐空间。因此，许多研究对使用预先训练好的stylegan进行图像编辑越来越感兴趣。

2、人脸图像编辑是指对人脸图像按照目标属性进行可解释性的编辑，属性是指人脸图像中各个部位的形状、样式。可解释性的编辑是指对人脸图像的属性进行修改，修改带来的变化能被人类所解释，例如改变头发的颜色、眼睛的形状等。人脸图像编辑任务目的是满足用户的编辑意图，对于给定的人脸图像实现符合用户预期的编辑效果，其重难点在于实现预期编辑效果的同时，要保证编辑效果的逼真度以及保存原始人脸身份特征。...

【技术保护点】

1.一种基于多模态交互模块的涂鸦人脸图像编辑方法，其特征在于：包括涂鸦纹理信息处理、涂鸦编辑、纹理补充以及编辑生成；

2.根据权利要求1所述的一种基于多模态交互模块的涂鸦人脸图像编辑方法，其特征在于包括如下步骤：

【技术特征摘要】

1.一种基于多模态交互模块的涂鸦人脸图像编辑方法，其特征在于：包括涂鸦纹理信息处理、涂鸦编辑、纹理补充以及编辑生...

【专利技术属性】
技术研发人员：蒋斌，胡昊天，
申请(专利权)人：湖南大学，
类型：发明
国别省市：