一种基于表面法线图的人体网格拟合方法技术

本发明专利技术公开了一种基于表面法线图的人体网格拟合方法，包括：对经过预处理后的图像进行特征提取，提取出相应的二维关键点、轮廓图像和表面法线图像，以及所需的优化初始值作为拟合目标；根据拟合目标，设计对应的能量函数，最小化能量损失值；利用两阶段的优化拟合方式，先拟合相机参数的焦距，再拟合人物的姿态和形状参数，利用预定义的形状参数序列，间隔修改形状参数；将生成的人体网格渲染到图像上，与输入图像进行可视化比较，生成多视角图像，检验网格质量。本发明专利技术能够合理利用法向量这类三维信息，再结合二维的关键点和轮廓信息的基础上，加强了二维和三维信息的交互，提升拟合质量，从而改善重建结果的质量。

【技术实现步骤摘要】

本专利技术涉及图像处理和三维重建的，尤其是指一种基于表面法线图的人体网格拟合方法。

技术介绍

1、从单目rgb图像估计三维人体形状和姿态是一个具有挑战性的计算机视觉问题，在计算机动画和增强现实中有着广泛的应用。尽管在姿势预测准确性方面在该领域中取得了很大进展，但是绝大多数的方法通常预测不准确的身体形状。这个情况主要是由于缺乏具有准确体型信息的数据。

2、在三维人体网格重建中，一般有两种解决方式。一是利用大量的合成数据，即对人工制作的场景和人物进行渲染得到与标签匹配的虚拟图像，使用这些合成数据作为训练集，训练一个回归人体形状的神经网络模型。由于这个方法需要的训练数据制作非常复杂，需要大量人力和美术资源，同时因为合成的图像与真实世界的图像具有一定的数据分布差异，将在合成数据训练的形状回归模型用于真实图像的估计，准确度往往较低。二是采用拟合优化的方式，利用现有工具获取目标2d关键点和轮廓图，用生成的人体网格再做重投影的方式，与目标数据进行误差比较，从而迭代地优化得到最终网格。由于目标数据的表示都是二维空间的，容易出现从二维到三维的模糊性问题，导致整个本文档来自技高网...

【技术保护点】

1.一种基于表面法线图的人体网格拟合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，在步骤S2中，对于二维关键点使用二维检测工具OpenPose提取，对于轮廓图像使用PaddleSeg图像分割工具提取，而对于表面法线图像使用PIFuHD神经网络提取。

3.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，所述步骤S3的具体操作步骤如下：

4.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，在步骤S4中，拟合过程分为两个阶段：相机焦距拟合阶段、人物姿态和...

【技术特征摘要】

1.一种基于表面法线图的人体网格拟合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，在步骤s2中，对于二维关键点使用二维检测工具openpose提取，对于轮廓图像使用paddleseg图像分割工具提取，而对于表面法线图像使用pifuhd神经网络提取。

3.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，所述步骤s3的具体操作步骤如下：

4.根据权利要求1所述的一种基于表面法线图的人体网格拟合方法，其特征在于，在步骤s4中，拟合过程分...

【专利技术属性】
技术研发人员：李桂清，姚晨豪，邝碧霞，曾俊城，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：