【技术实现步骤摘要】
一种基于分布独立性的3D人脸解耦表示学习方法
本专利技术涉及一种学习方法,具体涉及一种基于分布独立性的3D人脸解耦表示学习方法。
技术介绍
人脸的形状主要由身份及表情决定,由于人脸的表情丰富并且多变,易造成复杂的非线性形变,因此建立鲁棒的3D人脸模型是一项具有挑战性的任务。而学习身份、表情解耦的3D人脸模型对于人脸属性迁移、人脸重建、识别以及人脸动画等具有重要意义。目前3D人脸解耦表示学习的方法主要分为两类:3D人脸的线性解耦表示;3D人脸的非线性解耦表示。3D人脸线性解耦表示方法一般基于3D可形变模型(3DMM),其通过主成分分析(PCA)分别学习一组3D人脸身份基底和表情基底后,可以优化3DMM参数以拟合任意3D人脸的形状。然而,这类方法局限于其线性性,PCA学习的基底表示能力有限,难以表达3D人脸细节以及夸张的表情。现有的3D人脸非线性解耦表示方法多采用现将3D人脸映射成2D几何图像,再使用深度卷积神经网络实现解耦表示学习,而将3D人脸映射成2D图像的过程势必会造成信息损失。
技术实现思路
...
【技术保护点】
1.一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,包括以下步骤:/n步骤1:收集3D人脸数据集,将数据集分为训练集和测试集;/n步骤2:根据训练目标对数据集全体数据进行预处理及配准;/n步骤3:构造用于解耦表示学习的图卷积神经网络模型;/n步骤4:使用训练集训练用于解耦表示学习的图卷积神经网络模型;/n步骤5:训练完成后,用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。/n
【技术特征摘要】
1.一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,包括以下步骤:
步骤1:收集3D人脸数据集,将数据集分为训练集和测试集;
步骤2:根据训练目标对数据集全体数据进行预处理及配准;
步骤3:构造用于解耦表示学习的图卷积神经网络模型;
步骤4:使用训练集训练用于解耦表示学习的图卷积神经网络模型;
步骤5:训练完成后,用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。
2.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,步骤2中,配准后,每个3D人脸样本用若干节点和边构成的网格M={V,A}表示;|V|=n代表3D欧氏空间中的n个节点,V∈Rn×3;稀疏邻接矩阵A∈{0,1}n×n表示节点之间的连接关系,Aij=0表示节点vi和vj之间没有连接,反之,Aij=1表示节点vi和vj之间有连接。
3.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,步骤3中,用于解耦表示学习的图卷积神经网络模型包括三个部分,分别为编码器、解码器和判别器;编码器输入3D人脸网格,输出对应的身份表示和表情表示,解码器的输入层为编码器的输出层的结果,解码器将身份表示和表情表示重建出3D人脸,判别器的输入层也连接编码器的输出层,用于判别身份表示与表情表示是否分布独立。
4.根据权利要求3所述的一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,根据需求分析,编码器将3D人脸编码为身份表示以及表情表示,编码器结构为6层图卷积神经网络及全连接层组合而成,第一个卷积层为GCN(3,16),输入3通道的3D人脸网格,输出为16通道,第二个卷积层为GCN(16,64),输入16通道,输出64通道,第三、四、五个卷积层均为GCN(64,64),输入与输出都是64通道,第6个卷积层为GCN(64,32),输入64通道,输出32通道,最后一个卷积层同时连接两个各有4个神经元的全连接层FC(4),分别输出3D人脸的身份和表情在特征空间分布的均值μid,μexp和方差σid,σexp,从身份分布中采样得到zid=uid×ε+σid作为3D人脸的身份表示,从表情分布采样得到zexp=uexp×ε+σexp作为表情表示,ε~N(0,1)。
5.根据权利要求3所述的一种基于分布独立性的3D人脸解耦表示学习方法,其...
【专利技术属性】
技术研发人员:余璀璨,张子辉,李慧斌,孙剑,
申请(专利权)人:西安交通大学,
类型:发明
国别省市:陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。