【技术实现步骤摘要】
本专利技术涉及三维重建，具体涉及一种基于单张图像的个性化人手几何重建方法。
技术介绍
1、当前大多数研究主要集中在虚拟手的动态行为上，例如手势预测等方面，而对于手形的精细化建模较少。三维几何重建是虚拟人手建模的重要阶段，逼真的人手模型重建是建立在高还原的人手模型轮廓的基础上的，但是，在实践中存在以下问题：
2、(1)基于视觉的三维人手重建方法主要分为两类：一类是基于模型的方法，另一类是无模型的方法。其中，基于参数化模型的三维人手重建方法可以确保生成的人手模型具有合理性，但是由于从图像到模型参数空间的映射存在高度非线性，直接准确地估计模型参数面临较大挑战。无模型的三维人手重建方法能进行直接且准确的网格拟合。然而，重建的网格容易出现伪影，从而产生不合理的手形；
3、(2)由于人手结构的复杂性，基于单张图像的人手重建方法在构建人手的几何模型时，往往无法精准地呈现目标人手的形状细节，从而导致模型的还原度不高。
技术实现思路
1、本专利技术提出一种基于单张图像的个性化人手几何重建方法，目的是解决
技术介绍
中(1)、(2)所述的的问题。
2、为实现上述目的，本专利技术的技术方案是：
3、一种基于单张图像的个性化人手几何重建方法，包括以下步骤：
4、(1)利用神经网络预测相机参数和目标人手的三维模型；
5、(2)获得模型和人手图像的二值掩膜；
6、(3)对模型和图像进行轮廓点的检测与匹配；
7、(4)利
8、优选的，所述的步骤(1)包括如下具体步骤：
9、(11)使用卷积神经网络提取单张人手图像的特征，并将其嵌入到隐空间中，然后使用螺旋卷积算子进行解码；利用mano模型监督预测结果，使预测的三维顶点顺序遵循mano顶点顺序；
10、(12)在网络训练过程中引入对相机参数的预测模块，将相机参数预测和三维顶点预测耦合起来，实现联合训练，最终网络输出预测人手模型的三维顶点坐标以及相机参数。
11、优选的，所述的步骤(11)包括如下具体步骤：
12、步骤a：输入224×224分辨率的目标人手的背面图像，进行随机中心裁剪并施加随机旋转；对图像进行加噪处理以模拟真实世界的干扰；
13、步骤b：将处理后的数据输入到图像编码器eimage中，其中编码器的结构是resnet50残差网络，回归得到人手图像的特征向量z；
14、步骤c：使用螺旋算子解码器dspiral从编码的特征中恢复人手网格坐标，预测的人手网格符合mano模型的顶点顺序和拓扑结构；
15、步骤d：将解码器的结果输入到全连接层的相机预测模块，进一步回归透视相机参数cam；
16、步骤e：输入对应的人手图像基于mano的人手模型真值，其中包括若干手部关节点的二维和三维坐标以及基于mano的三维手姿态标注；将预测的人手网格中顶点坐标与其对应真值计算三维顶点损失；将预测的顶点根据mano模型的顺序提取顶点中的关节点，利用关节点与对应真值计算三维关节点损失；将预测得到的三维人手关节点坐标投影到二维平面上，从而获取对应的二维关节点的坐标，然后将其与二维关节点坐标的真值计算二维关节点损失；将预测得到的三维人手模型网格的每个三角面片的边与模型真值中对应的边计算模型网格边缘损失；将预测模型网格中的三角面片的法向量与模型真值中对应的面片法向量计算模型网格法线损失：
17、步骤f：将上述各损失进行加权求和得到总的损失函数，进行反向传播；
18、所述的步骤(12)包括如下具体步骤：
19、步骤a：输入一张长宽相同的目标人手的背面图像，进行以人手为中心的裁剪处理，并进行整体放缩，使得网络输入图像的尺寸统一为224×224；
20、步骤b：将处理后的数据输入到训练好的图像编码器eimage中，其中编码器的结构是resnet50残差网络，回归得到人手图像的特征向量z；
21、步骤c：使用预训练好的螺旋算子解码器dspiral从编码的特征中恢复人手网格坐标，预测的人手网格符合mano模型的顶点顺序和拓扑结构；
22、步骤d：将解码器的结果输入到全连接层的相机预测模块，进一步回归透视相机参数cam。
23、优选的，所述的步骤(2)包括如下具体步骤：
24、(21)利用sam(segment anything model)算法进行图像分割，获得目标人手的二值掩膜以及人手前景；
25、(22)利用透视投影变换获得模型二维投影点坐标，然后根据二维投影点坐标绘制三维人手网格模型的投影图像，经过深度值填充和二值化得到投影图像的二值掩膜。
26、优选的，所述的步骤(21)包括如下具体步骤：
27、所述的步骤(21)中，利用sam(segment anything model)模型作为图像分割模型，获取到输入人手图像的二值掩膜时，同时遍历二值掩膜图像和原始人手图像中的所有像素点，将二值掩膜中判别为白色的像素点的部分填充为原始人手图像中对应位置处的像素值，获取输入图像的人手前景；
28、所述的步骤(22)包括如下具体步骤：
29、步骤a：确定人手网格模型f上各顶点在世界坐标系下的坐标(xw,yw,zw)；
30、步骤b：计算人手网格模型各顶点(xw,yw,zw)经过透视投影变换后在图像中的二维坐标；
31、步骤c：根据每个投影变换后的二维点绘制三维人手网格模型的投影图像并用深度值填充像素；
32、步骤d：由于投影图像的背景像素值为零，人手部分像素值非零，通过设定阈值，将掩膜图像作二值化。
33、优选的，所述的步骤(3)包括如下具体步骤：
34、(31)利用三维人手网格模型投影图像的二值掩膜和目标人手图像的二值掩膜，根据轮廓点的一阶邻域一定存在零值像素的特性，获得模型轮廓的边缘点和图像的轮廓点；
35、(32)在最近点迭代算法的基础上引入向量约束，实现模型轮廓的边缘点与图像轮廓点的配对。
36、优选的，所述的步骤(31)包括如下具体步骤：
37、步骤a：设定3×3的滑动窗口遍历人手图像的二值掩膜中像素值为1的点；
38、步骤b：利用二值掩膜中轮廓点的一阶邻域一定存在零值像素的特性，判别3×3的滑动窗口内像素值是否全部为1实现轮廓点的检测，得到人手图像的轮廓点集；
39、所述的步骤b包括如下具体步骤：
40、步骤a1：获取步骤(1)中预测的目标三维人手模型的投影图像以及模型顶点的二维像素坐标，对投影图像作二值化获得投影图像的二值掩膜；
41、步骤b1：在模型投影图像的二值掩膜上，设定3×3的滑动窗口遍历模型顶点的二维投影点；
42、步骤c1：利用二值掩膜中轮廓点的一阶邻域一定存在零值像素的特性，判别3×3的本文档来自技高网...
【技术保护点】
1.一种基于单张图像的个性化人手几何重建方法，其特征为，包括以下步骤：
2.如权利要求1所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(1)包括如下具体步骤：
3.如权利要求2所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(11)包括如下具体步骤：
4.如权利要求3所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(2)包括如下具体步骤：
5.如权利要求4所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(21)包括如下具体步骤：
6.如权利要求5所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(3)包括如下具体步骤：
7.如权利要求6所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(31)包括如下具体步骤：
8.如权利要求7所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(4)包括如下具体步骤：
9.如权利要求8所述的一种基于单张图像的个性化人手
...【技术特征摘要】
1.一种基于单张图像的个性化人手几何重建方法，其特征为，包括以下步骤：
2.如权利要求1所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(1)包括如下具体步骤：
3.如权利要求2所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(11)包括如下具体步骤：
4.如权利要求3所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所述的步骤(2)包括如下具体步骤：
5.如权利要求4所述的一种基于单张图像的个性化人手几何重建方法，其特征为，所...
【专利技术属性】
技术研发人员：刘诗雅，樊养余，谷颖颖，
申请(专利权)人：星鲨信息技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。