本发明专利技术涉及图像处理技术领域，且公开了基于双分支特征融合三维人脸重建方法，获取待进行重建的人脸图像，采用双分支网络对人脸图像进行特征提取，并将双分支输出的特征图进行融合，接着将特征图进行解码并输出VW位置图，接着通过损失函数进行回归运算，根据VW位置图渲染人脸模型，并进行评估。该基于双分支特征融合三维人脸重建方法通过双分支网络充分发挥卷积和TRANSFORMER的优点，卷积运算擅长提取局部特征，而TRANSFORMER可以捕获长距离的特征依赖，融合模块将双分支的输出融合优势互补，解决了卷积层的缺点，捕获全局特征表示的局限性，解决了TRANSFORMER的缺点，提高了对无约束环境下人脸重建的准确性。
【技术实现步骤摘要】
本专利技术涉及图像处理，具体为基于双分支特征融合三维人脸重建方法。
技术介绍
1、单视图图像的 3d 人脸重建在生物识别领域、商业领域发挥着重要作用，目的在于欺骗人脸识别系统以及增强人脸识别系统的反欺骗能力。商业领域可以通过快速获取个性化的人脸模型，加速游戏、动画等内容的创作过程。这有助于提高内容的个性化程度，满足用户多样化的需求。3d 人脸模型的快速获取对于虚拟现实和增强现实应用具有重要意义。它可以改善虚拟体验的真实感，为用户提供更加沉浸式的体验。3d 人脸重建技术也可以在艺术创作中发挥作用，为艺术家提供创作工具，同时也有助于数字化保存和传承文化遗产。
2、传统的基于cnn的方法直接输出vw图，该方法强调人脸重建速度，这可能导致网络学习尺度信息和深度信息不足，影响了输出的人脸模型的精度
技术实现思路
1、（一）解决的技术问题
2、针对现有技术的不足，本专利技术提供了基于双分支特征融合三维人脸重建方法，具备无约束环境下人脸重建的准确性等优点，解决了上述技术问题。
3、（二）技术方案
4、为实现上述目的，本专利技术提供如下技术方案：一种基于双分支特征融合三维人脸重建方法，包括以下步骤：
5、s1、获取待进行重建的人脸图像，包括输入任意尺寸大小的图片，获取图片中人脸位置中心，以人脸位置中心裁剪出人脸图像；
6、s2、采用双分支网络对人脸图像进行特征提取，双分支网络包括resnet分支和transformer分支；</p>7、s3、对步骤s2中双分支输出的特征图进行进行自注意力交互后进行交叉注意力交互；
8、s4、将步骤s3中的特征图进行解码并输出vw位置图，接着通过损失函数进行回归运算；
9、s5、根据步骤s4中的vw位置图渲染人脸模型，并进行评估。
10、作为本专利技术的优选技术方案，所述步骤s1中的获取的人脸图像的具体过程如下：
11、s1.1、输入任意尺寸大小的图片；
12、s1.2、获取图片中人脸位置中心；
13、s1.3、以人脸位置中心裁剪出人脸图像。
14、作为本专利技术的优选技术方案，所述步骤s2的具体过程如下：
15、s2.1、建立一个具有resnet分支和transformer分支的双分支网络；
16、s2.2、接收步骤s1获取的人脸图像，通过resnet分支对其进行下采样和升维；
17、s2.3、将升维后的特征图通过多次不同的下采样倍数升维输入到transformer分支中；
18、s2.4、根据步骤s2.3中的采样倍数的次数构建特征金字塔，沿通道方向排列并对特征进行输出。
19、作为本专利技术的优选技术方案，所述transformer分支通过注意力机制先对特征图进行横向分割，之后对每个子区域分别输入到全连接层内，并通过注意力交互，得到横向输出，并将输出重新拼接，得到水平方向自注意力交互的输出，具体表达式如下：
20、
21、
22、
23、其中，表示的是横向的第个子区域，且，、和分别表示对应、、的三个注意力权值矩阵，（）表示自注意力交互，表示对子区域的输出进行拼接。
24、作为本专利技术的优选技术方案，接着所述transformer分支通过注意力机制先对特征图进行纵向分割，之后对每个子区域分别输入到全连接层内，并通过注意力交互，得到纵向输出，并将输出重新拼接，得到水平方向自注意力交互的输出，具体表达式如下：
25、
26、
27、
28、其中，表示的是纵向的第个子区域，、别表示对应、、的三个注意力权值矩阵，（）表示自注意力交互，表示对子区域的输出进行拼接。
29、作为本专利技术的优选技术方案，所述步骤s3具体步骤如下：
30、s3.1、对transformer分支输出的特征进行自注意力交互；
31、s3.2、将resnet分支的输出特征和步骤s2.4输出特征做交叉注意力；
32、s3.3、将特征按照步骤s2.4的金字塔特征还原为（512,64,64)(512,32,32)(512,16,16)(512,8,8)，并将还原的特征图进行拼接，并进行降维。
33、作为本专利技术的优选技术方案，所述步骤s4中的损失函数表达式如下：
34、
35、其中，表示是指输出的vw图中，点的xyz三个通道的值，真实的vw图点的xyz三个通道的值，表示256*256*1的权重图，表示点的权重。
36、作为本专利技术的优选技术方案，所述步骤s4中的vw图记录了三维人脸各点的坐标。
37、作为本专利技术的优选技术方案，所述步骤s5中vw像素点与其对应在三维空间上的点对应的表达式如下：
38、
39、其中，是三维空间中点的三维坐标，表示vw图，表示点对应的二维vw坐标。
40、作为本专利技术的优选技术方案，所述步骤s5中的评估函数表达式如下：
41、
42、其中，表示的是和的差值平方和，表示预测结果中的对应点，表示实况点，表示样本大小为的数据集中第个样本的预测结果的归一化平均欧几里得距离。
43、与现有技术相比，本专利技术提供了基于双分支特征融合三维人脸重建方法，具备以下有益效果：
44、本专利技术通过双分支网络充分发挥卷积和transformer的优点，卷积运算擅长提取局部特征，而transformer可以捕获长距离的特征依赖，融合模块将双分支的输出融合优势互补，解决了卷积层的缺点，捕获全局特征表示的局限性，解决了transformer的缺点，提高了对无约束环境下人脸重建的准确性。
本文档来自技高网...
【技术保护点】
1.一种基于双分支特征融合三维人脸重建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤S3具体步骤如下：
3.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤S4中的损失函数表达式如下：
4.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤S4中的VW图记录了三维人脸各点的坐标。
5.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤S5中VW像素点与其对应在三维空间上的点对应的表达式如下：
6.根据权利要求5所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤S5中的评估函数表达式如下：
【技术特征摘要】
1.一种基于双分支特征融合三维人脸重建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤s3具体步骤如下：
3.根据权利要求1所述的基于双分支特征融合三维人脸重建方法，其特征在于：所述步骤s4中的损失函数表达式如下：
4.根据权利要求1所述的基于双分支特征...
【专利技术属性】
技术研发人员：潘志轩，刘俊晖，廖赟，段清，吴旭宁，刘沛瑜，邸一得，周豪，朱开军，钱旭，靳方伟，李沄朋，滕荣睿，吕佳依，陈楠，胡宗潇，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。