当前位置: 首页 > 专利查询>上海大学专利>正文

一种基于参数化模型的轻量化手部网格重建方法和系统技术方案

技术编号:41833225 阅读:43 留言:0更新日期:2024-06-27 18:17
本发明专利技术提供一种基于参数化模型的轻量化手部网格重建方法和系统,包括:获取手部数据集,确定手部数据集的参数化手部模型参数和手部网格,训练时作为groundtruth使用;其中,手部数据集包括手部图片和手部3D关节点坐标;根据轻量化编码器,确定手部数据集中手部图片的全局特征和热点图;将全局特征和热力图进行处理,确定手部图片的关节点和表面特征点;将关节点和表面特征点进行融合处理后输入预设的解码网络,确定参数化手部模型参数。本发明专利技术利用轻量化编码器提供多分辨特征分支的能力,利用3D关节点和表面特征点的融合,实现对单视点手部整体感知提升,在保持较好量化指标与可视化指标的同时具有较小的网络参数量和计算量。

【技术实现步骤摘要】

本专利技术涉及手部网格重建领域,具体地,涉及一种基于参数化模型的轻量化手部网格重建方法、系统、介质及终端。


技术介绍

1、手部网格重建是一种具有广泛应用前景的3d重建技术,在游戏、动画制作等领域、沉浸式的手势追踪和交互都具有重要意义。现有的手部网格重建,主要可分为以下两种重建方式:对网格直接重建;利用参数化模型进行重建。从重建精度来看对网格直接重建具有更好的重建性能,但在实际应用中获得手部的形状动作参数更具备应用价值。在手部模型中,参数化手部模型mano模型是最为常见的手部网格模型,mano模型包括778个顶点和16个关节点,通过形状参数和姿态参数控制。

2、目前,在手部重建具体应用中主要可分为以下几类技术:(1)单目3d手部姿态估计,3d手部姿态估计能够用于手部模型的驱动,相比使用动作捕捉手套来说,基于参数化模型的手部姿态估计具有成本低,效率高的优势;(2)直接手部建模,通过隐式函数,神经辐射场等直接对手部建模,相比于参数化模型有更好的纹理表现。但现有方法大多难以在轻量化的设备上进行部署,对部署机器性能具有较高的要求,因此研究一种可以在低性能本文档来自技高网...

【技术保护点】

1.一种基于参数化模型的轻量化手部网格重建方法,其特征在于,包括:

2.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述获取手部数据集,确定所述手部数据集的参数化手部模型参数和手部网格,包括:

3.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述根据轻量化编码器,确定所述手部数据集中手部图片的全局特征和热点图,包括:

4.根据权利要求3所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将所述全局特征和热力图进行处理,确定所述手部图片的关节点和表面特征点,包括:

...

【技术特征摘要】

1.一种基于参数化模型的轻量化手部网格重建方法,其特征在于,包括:

2.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述获取手部数据集,确定所述手部数据集的参数化手部模型参数和手部网格,包括:

3.根据权利要求1所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述根据轻量化编码器,确定所述手部数据集中手部图片的全局特征和热点图,包括:

4.根据权利要求3所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将所述全局特征和热力图进行处理,确定所述手部图片的关节点和表面特征点,包括:

5.根据权利要求4所述的一种基于参数化模型的轻量化手部网格重建方法,其特征在于,所述将较小分辨率特征图与2d坐标相融合,通过卷积网络对手部表面特征点进行预测,包括:

6...

【专利技术属性】
技术研发人员:安平刘熠尧黄新彭杨超
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1