【技术实现步骤摘要】
本专利技术涉及手部网格重建领域,具体地,涉及一种基于参数化模型的轻量化手部网格重建方法、系统、介质及终端。
技术介绍
1、手部网格重建是一种具有广泛应用前景的3d重建技术,在游戏、动画制作等领域、沉浸式的手势追踪和交互都具有重要意义。现有的手部网格重建,主要可分为以下两种重建方式:对网格直接重建;利用参数化模型进行重建。从重建精度来看对网格直接重建具有更好的重建性能,但在实际应用中获得手部的形状动作参数更具备应用价值。在手部模型中,参数化手部模型mano模型是最为常见的手部网格模型,mano模型包括778个顶点和16个关节点,通过形状参数和姿态参数控制。
2、目前,在手部重建具体应用中主要可分为以下几类技术:(1)单目3d手部姿态估计,3d手部姿态估计能够用于手部模型的驱动,相比使用动作捕捉手套来说,基于参数化模型的手部姿态估计具有成本低,效率高的优势;(2)直接手部建模,通过隐式函数,神经辐射场等直接对手部建模,相比于参数化模型有更好的纹理表现。但现有方法大多难以在轻量化的设备上进行部署,对部署机器性能具有较高的要求,因此
...【技术保护点】
1.一种基于参数化模型的轻量化手部网格重建方法,其特征在于,包括:
2.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述获取手部数据集,确定所述手部数据集的参数化手部模型参数和手部网格,包括:
3.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述根据轻量化编码器,确定所述手部数据集中手部图片的全局特征和热点图,包括:
4.根据权利要求3所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将所述全局特征和热力图进行处理,确定所述手部图片的关节点和表面特征点,
...
【技术特征摘要】
1.一种基于参数化模型的轻量化手部网格重建方法,其特征在于,包括:
2.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述获取手部数据集,确定所述手部数据集的参数化手部模型参数和手部网格,包括:
3.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述根据轻量化编码器,确定所述手部数据集中手部图片的全局特征和热点图,包括:
4.根据权利要求3所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将所述全局特征和热力图进行处理,确定所述手部图片的关节点和表面特征点,包括:
5.根据权利要求4所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将较小分辨率特征图与2d坐标相融合,通过卷积网络对手部表面特征点进行预测,包括:
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。