一种结合MANO模型和3DGS的手部新视角图像生成方法技术

本发明专利技术涉及一种根据手部多视角图像生成新视角图像的方法，属于计算机视觉领域，其目的是解决现有手部新视角图像生成速度慢且图像质量不高的问题。在已知手部多视角图像的情况下，本发明专利技术方法首先利用卷积神经网络从手部图像获取手部形状参数和姿态参数，接着利用这些参数按照MANO模型计算得到手部三维网格，通过三维网格指引手部点云初始化，然后采用3DGS方法根据初始化点云以及给定的手部多视角图像，建立手部3DGS模型，最后根据手部3DGS模型渲染生成任意新视角下的高质量手部图像。本发明专利技术方法不仅通过三维网格指引的点云初始化使生成的手部图像更接近真实情况，还利用3DGS的并行渲染技术实现了新视角图像的快速生成。

【技术实现步骤摘要】

本专利技术涉及一种根据手部多视角图像生成新视角图像的方法，特别涉及一种结合mano模型和3dgs的手部新视角图像生成方法，属于计算机视觉领域。

技术介绍

1、新视角图像生成是指在已知物体多个视角图像的情况下，根据这些图像提供的信息，生成该物体的新视角图像。新视角图像生成在现代虚拟现实
有着广泛的应用。其中一个比较典型的应用就是手部多视角图像生成。因为手势是现代虚拟现实应用的基本人机交互手段，实现任意视角下逼真的手部图像渲染，有助于提升虚拟现实应用的沉浸感。然而，由于手部的关节结构和运动变形都比较复杂，渲染逼真的手部图像难度很大。目前已有一些针对手部新视角图像生成问题的方法被提出，但这些方法存在手部细节模糊、渲染速度慢等问题。

2、mano(hand model with articulated and non-rigid deformations)模型是romero j等人于2017年提出的一种带关节的、参数化的、手部姿态估计模型(romero j,tzionas d,black m j.embodied hands:modeling a本文档来自技高网...

【技术保护点】

1.一种结合MANO模型和3DGS的手部新视角图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种结合MANO模型和3DGS的手部新视角图像生成方法，其特征在于，步骤2中网格指引的表面点云采样采用表面积加权和特征曲率加权相结合的采样方式，具体采样过程是：首先针对手部三维网格的每个三角面片i，依次计算三角面片i的面积Ai、特征曲率Ti、综合权重wi以及采样概率pi，然后根据采样概率pi在三角面片i内随机采样ni点；

3.根据权利要求1所述的一种结合MANO模型和3DGS的手部新视角图像生成方法，其特征在于，步骤2所涉及的在投射光线的两个交点之间选取...

【技术特征摘要】

1.一种结合mano模型和3dgs的手部新视角图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种结合mano模型和3dgs的手部新视角图像生成方法，其特征在于，步骤2中网格指引的表面点云采样采用表面积加权和特征曲率加权相结合的采样方式，具体采样过程是：首先针对手部三维网格的每个三角面片i，依次计算三角面片i的面积ai、特征曲率ti、综合权重wi以及采样概率pi，然后根据采样概率pi在三角面片i内随机采样ni点；

3.根据权利要求1所述的一种结合mano模...

【专利技术属性】
技术研发人员：张文耀，刘佳琪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：