一种可驱动的隐式三维人体表示方法技术

本发明专利技术公开了一种可驱动的隐式三维人体表示方法，通过从输入的多视角视频中优化可驱动模型的三维表示进行动态重建。本发明专利技术提供的方法包括：构造用于表示动态人体的隐函数；提出用神经网络表示的神经蒙皮混合权重场，实现了在从视频中学习得到可驱动隐函数，从视频中优化得到可驱动三维模型的方法；本发明专利技术在每一视频帧学习一个神经蒙皮混合权重场，将每一视频帧的三维点变换回标准坐标系，以此整合了视频的时序信息，增加了对目标的观测，用于优化标准坐标系下的三维模型；本发明专利技术同时在标准坐标系下学习一个神经蒙皮混合权重场，使得三维模型可被驱动生成新姿势下的三维模型。

【技术实现步骤摘要】
一种可驱动的隐式三维人体表示方法
本专利技术属于三维重建领域，尤其涉及到一种可驱动的隐式三维人体表示方法。
技术介绍
本专利技术提出一个可驱动隐函数来表示动态人体，可以从多视角视频中重建可驱动三维模型，用于三维模型的生成和自由视角合成。在相关技术中，传统方法重建可驱动三维模型往往需要很高的成本和大量的时间。这些方法需要复杂硬件设备进行模型重建，后期需要设计师给三维模型绑定骨架进行操控并且设计蒙皮混合权重，需要大量的时间。近期一些工作将动态人体表示为基于神经网络的隐函数。但这些方法很难只从视频中优化得到最优的隐函数，需要额外的约束条件。而且这些方法无法得到可驱动的三维模型。本专利技术致力于提出新的动态人体表示方法，使得从视频中学习隐函数表示可解，并且可以输出可驱动三维模型。
技术实现思路
本专利技术目的在于针对现有技术的不足，提出了一种可驱动的隐式三维人体表示方法，基于可驱动隐函数来表示人体几何和外观，并通过可微分渲染重建这一动态人体表示。本专利技术的目的是通过以下技术方案来实现的：一种可驱动的隐式三维人体表示方法，所本文档来自技高网...

【技术保护点】
1.一种可驱动的隐式三维人体表示方法，其特征在于，所述方法包括：/n(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体。/n(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：/n(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像。通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示。/n(2.2)最小化标准坐...

【技术特征摘要】
1.一种可驱动的隐式三维人体表示方法，其特征在于，所述方法包括：
(1)在标准坐标系构造一个神经网络隐函数来表示人体几何和外观，在每一个视频帧坐标系用神经网络隐函数生成任意三维点的蒙皮混合权重，构造神经蒙皮混合权重场，将视频帧的三维点变换回标准坐标系，用于表示动态人体。
(2)在标准坐标系下学习神经蒙皮混合权重场，优化神经网络隐函数，使得标准坐标系下的神经网络隐函数可被驱动生成新状态下的三维人体；具体学习过程如下：
(2.1)基于可微分体积渲染器，将神经网络隐函数渲染为二维图像。通过最小化渲染后的二维图像和多视角视频中对应图像之间的误差，优化神经网络隐函数表示。
(2.2)最小化标准坐标系和视频帧坐标系对应三维点的蒙皮混合权重的差别，优化蒙皮混合权重的神经网络隐函数表示。
(3)基于步骤(2)优化后的神经网络隐函数，进行人体的三维模型生成和视角合成。


2.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(1)中，将构造的神经蒙皮混合权重场与一组人体的三维关键点相结合，通过线性混合蒙皮算法将视频帧坐标系下的三维点变换回标准坐标系。


3.根据权利要求1所述的一种可驱动的隐式三维人体表示方法，其特征在于，步骤(2)中，在标准坐标系下学习完成神经蒙皮混合权重...

【专利技术属性】
技术研发人员：周晓巍，鲍虎军，彭思达，董峻廷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33