一种基于深度图修复的带遮挡三维人体重建方法技术

本发明专利技术涉及一种基于深度图修复的带遮挡三维人体重建方法，用于解决由单张包含遮挡物的RGB人体图像恢复三维人体模型姿态、体型、表面细节的问题。包括基础模型构建阶段，通过现有SMPL模型构建方法构建基础三维人体模型；体型姿态优化阶段，通过Joint编码器网络，优化三维人体关节点位置，通过Anchor编码器网络，优化三维人体体型特征；表面细节优化阶段，提出了DHDNet网络结构，通过重建完整人体深度图像，恢复三维人体表面细节。同时，本发明专利技术构建了包含大量人体RGB图像与合成人体深度图像的DepthHuman数据集。达到了仅通过单张包含遮挡物的RGB人体图像重建完整并且包含丰富细节的三维人体模型的效果。三维人体模型的效果。三维人体模型的效果。

【技术实现步骤摘要】
一种基于深度图修复的带遮挡三维人体重建方法

：
[0001]本专利技术涉及计算机图像处理领域、计算机图形学领域，具体涉及一种基于深度图修复的带遮挡单视图三维人体重建方法。

技术介绍
：
[0002]近年来，单目相机的三维人体重建技术是一个十分热门的话题，这项技术在VR/AR领域有着广泛的应用场景，例如VR换装，VR聊天室等。同时，在影视制作、游戏研发领域也有巨大的应用前景。现有的单视图三维人体重建技术存在重建模型缺乏细节，受遮挡区域人体表面纹理信息完全丢失的问题。这导致无法通过一张部分人体受到遮挡的输入图像，重建出完整的包含丰富细节的三维人体模型。实际应用场景中，受遮挡的人体图像是十分常见的，现有方法无法满足应用需求。
[0003]目前，单视图三维人体重建工作已经取得了一些进展，主要分为如下两类：基于模板适应的方法和基于特征匹配的方法。基于模板适应的方法依赖于预先训练好的参数化人体模型，例如SMPL(skinned multi
‑
person linear model)模型和SCAPE模型。Bogo等人提出的SMPLify使用卷积神经网络以及三维空间人体关节点信息最小化二维空间人体关节点的误差距离。Kanazawa等人提出了一个端到端系统HMR(Human Mesh Recovery)，HMR仅通过二维标注就可以通过一个对抗损失函数有效地控制住重建人体模型的姿态。以HMR为基础，Zhu等人对基础模型进行三阶段的形变操作，使其拥有更多衣服细节，更准确的体型和姿态。Alldieck等人通过UV贴图将人体表面细节展开到二维图像上。从而在UV空间进行法线贴图和顶点位移量的回归，取代在三维网格空间上进行这些操作。基于特征匹配的方法直接从单个RGB图像回归三维拓扑结构，而非从一个标准的人体模型上优化而来。典型的方法有DoubleFusion以及HybridFusion，这两种方法使用单目深度传感器实时捕捉人体运动信息，后者添加了稀疏的IMUs(inertial measurement units)作为辅助手段。DeepHuman通过体特征转换技术将图像信息融入三维模型中，然后使用一个法线细化网络优化模型表面的细节。
[0004]综上，现有的单视图三维人体重建方法所得到的模型大部分缺少表面细节，并且现有方法没有考虑输入图像中存在遮挡物的情况，而存在遮挡物在实际应用场景中是十分常见的。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术的缺点，提供一种质量高的单视图三维人体重建方法，该方法以单张包含遮挡物的RBG图像作为输入，输出包含丰富细节的完整三维人体模型。
[0006]本专利技术的单视图三维人体重建方法，采用从粗糙到细致分阶段优化的策略，构建了一个完整的端到端系统。首先通过现有的基于SMPL模型的方法获取一个低质量的标准三维人体模型，然后根据从输入图像中提取的特征信息分阶段选取人体“关节点”、均匀分布
在人体模型上的若干“锚点”以及四倍细分下三维空间内的“所有点”进行形变，从而获得高质量的重建结果。端到端系统的流程图见图1，对于三阶段操作点的定义见图6，上述方法的步骤如下：
[0007]包括基础模型构建阶段、体型姿态优化阶段、以及表面细节优化阶段：
[0008]所述的基础模型构建阶段，用于获得待重构原始图像的基础三维人体模型，具体如下：
[0009]步骤一：使用SMPL模型构建方法，输入单张待重构原始图像，得到待重构原始图像的基础三维人体模型，所述基础三维人体模型包括人体基础关节点、人体基础锚点和所有点；所述的待重构图像为受遮挡的RGB图像；
[0010]所述的体型姿态优化阶段，用于优化基础三维人体模型，具体如下：
[0011]步骤二：使用两个编码器网络分别获取关节点位移向量和锚点位移向量，所述的两个编码器网络即Joint编码器网络和Anchor编码器网络，
[0012]其中，Joint编码器网络用于提取原始图像中的人体姿态特征，即输出关节点位移向量，其输入为原始图像和人体轮廓信息，具体的，人体轮廓信息由上一步得到的三维人体模型投影所得，使用人体轮廓信息对原始图像进行剪裁，将原始图像中人体轮廓之外的颜色信息剔除，得到输入数据；
[0013]Anchor编码器网络用于提取原始图像中的人体体型特征，即输出为锚点位移向量，其输入与Joint编码器网络的输入相同；
[0014]步骤三：利用关节点位移向量移动基础关节点，得到优化后的关节点；同理，利用锚点位移向量移动基础锚点，得到优化后的锚点，完成体型姿态优化；
[0015]表面细节优化阶段，用于得到包含丰富表面细节的三维人体模型，具体如下：
[0016]步骤四：构建并训练DHDNet网络，DHDNet网络用于从包含遮挡物的RGB图像生成完整的人体深度信息；
[0017]步骤五：使用训练好的DHDNet，输入待重构原始图像，输出完整的人体深度信息；
[0018]步骤六：利用步骤五得到的人体深度信息，对优化后的基础三维人体模型的所有点进行形变，最终得到包含丰富表面细节的三维人体模型。
[0019]有益效果
[0020]与现有技术相比，本专利技术通过使用DHDNet建立了受遮挡的RGB图像到完整深度信息的映射关系。DHDNet可以较好的预测出受遮挡区域的深度信息，融入到完整的端到端系统后，可以得到完整且包含丰富细节的三维人体模型。现有方法在输入图像包含遮挡物时，一些方法能做到保证人体模型的完整性，但是往往表面缺乏细节；另一些方法虽然处理理想化输入图像时可以获得包含丰富细节的三维人体模型，但是在有遮挡物的前提下重建结果会出现严重的截断或者凹陷。本方法在此非理想条件下的重建结果是有显著性提升的。
附图说明：
[0021]图1受遮挡RGB图像到三维人体模型的端到端系统框架图
[0022]图2DHDNet的生成器部分网络结构图
[0023]图3DepthHuman数据集
[0024]图4与现有方法的主观比对结果
[0025]图5与现有方法的量化比对结果
[0026]图6三阶段操作点定义，其中，从左至右依次为：“关节点”，“锚点”以及“所有点”具体实施方式：
[0027]为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实例来进一步的描述：
[0028]本专利技术的端到端系统框架图如图1所示，可以看到具体实施过程可以分为三个阶段，基础模型构建阶段，体型姿态优化阶段以及最终的表面细节优化阶段。
[0029]一、基础模型构建阶段
[0030]对应前文步骤一，使用HMR提供的预训练模型，输入原始图像可以得到体型、姿态大致准确，表面缺乏细节的标准模型。
[0031]步骤一的具体操作：HMR是构建SMPL模型的一种现有具体方法，使用HMR的预训练模型构建基础三维人体模型。HMR工作原理如下：首先，输入的RGB图像I经过编码器网络和三维回归模块生成构建SMPL模型所需要的体型参数β、姿态参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图修复的带遮挡三维人体重建方法，用于对有遮挡的RGB图像进行三维重构，其特征在于包括基础模型构建阶段、体型姿态优化阶段、以及表面细节优化阶段：所述的基础模型构建阶段，用于获得待重构原始图像的基础三维人体模型，具体如下：步骤一：使用SMPL模型构建方法，输入单张待重构原始图像，得到待重构原始图像的基础三维人体模型，所述基础三维人体模型包括人体基础关节点、人体基础锚点和所有点；所述的待重构图像为受遮挡的RGB图像；所述的体型姿态优化阶段，用于优化基础三维人体模型，具体如下：步骤二：使用两个编码器网络分别获取关节点位移向量和锚点位移向量，所述的两个编码器网络即Joint编码器网络和Anchor编码器网络，其中，Joint编码器网络用于提取原始图像中的人体姿态特征，即输出关节点位移向量，其输入为原始图像和人体轮廓信息，具体的，人体轮廓信息由上一步得到的三维人体模型投影所得，使用人体轮廓信息对原始图像进行剪裁，将原始图像中人体轮廓之外的颜色信息剔除，得到输入数据；Anchor编码器网络用于提取原始图像中的人体体型特征，即输出为锚点位移向量，其输入与Joint编码器网络的输入相同；步骤三：利用关节点位移向量移动基础关节点，得到优化后的关节点；同理，利用锚点位移向量移动基础锚点，得到优化后的锚点，完成体型姿态优化；表面细节优化阶段，用于得到包含丰富表面细节的三维人体模型，具体如下：步骤四：构建并训练DHDNet网络，DHDNet网络用于从包含遮挡物的RGB图像生成完整的人体深度信息；步骤五：利用步骤二得到的人体轮廓信息对待重构原始图像进行剪裁，将裁剪后的图像输入训练好的DHDNet，输出完整的人体深度信息；步骤六：利用步骤五得到的人体深度信息，对优化后的基础三维人体模型的所有点进行形变，最终得到包含丰富表面细节的三维人体模型。2.根据权利要求1所述的一种基于深度图修复的带遮挡三维人体重建方法，其特征在于：DHDNet中的生成器网络结构以U
‑
Net网络结构为基础，输入为RGB三通道原始图像加一维的遮罩层，输出为一维的深度信息，中间经历了五次由卷积操作和池化操作组成的下采样操作，然后五次由反卷积操作组成的上采样操作，每次上采样会合并下采样路径中同层的特征图，且在神经网络的第四层引入了Shift
‑
Layer，用于更好的得到完整深度信息。3.根据权利要求1所述的一种基于深度图修复的带遮挡三维人体重建方法，其特征在于：步骤四进一步包括：(4.1)构建训练数据集，包括标记了2d关节点位置的原始图像，原始图像对应的人体轮廓信息，以及原始图像对应的人体深度信息，其中，原始图像的中心区域有四分之一图像边长的正方形遮罩用来模拟图像中的遮挡物；(4.2)构建DHDNet网络，DHDNet采用对抗神经网络结构，由生成器与辨别器...

【专利技术属性】
技术研发人员：王瑾，张天意，朱青，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：