基于单张制造技术

本发明专利技术公开了一种基于单张

【技术实现步骤摘要】
基于单张RGB图像实现不同人体重建模型的融合方法


[0001]本专利技术涉及计算机视觉处理领域，尤其涉及一种基于单张
RGB
图像实现不同人体重建模型的融合方法
。

技术介绍

[0002]人体三维重建是三维重建领域中的的重要细分领域
。
低成本
、
便捷的获取人体三维模型有广泛的应用空间和应用价值
。
传统的方法耗时长
、
设备昂贵
、
获取难度高
、
难以应用到日常场景中
。
当前，深度学习可以利用神经网络强大的拟合能力从图像中学出合理映射，但也存在着显著的缺点；由于学习信息的限制，不同的单张图重建方法难以兼顾多方面的重建优势，一方面蒙皮多人线性模型
(SMPL
：
Skinned Multi
‑
person Linear Model)
系列方法可以发挥重建的姿态和人体结构优势，但难以兼顾优良完整的衣物重建；另一方面隐式表达系列方法具有重建精度高和表达复杂高维三维结构能力强的优势，但难以兼顾合理的人体结构
。
在单张图人体三维重建中，发挥模型自由表达能力与利用参数化先验做姿态规范是一个天平的两端，重建方法侧重于某一端时，另一端的重建优势就会受到限制
。

技术实现思路

[0003]本专利技术的目的是为了提供基于单张
RGB
图像实现不同人体重建模型的融合方法，提高重建精度
>。
[0004]为解决以上技术问题，本专利技术的技术方案为：基于单张
RGB
图像实现不同人体重建模型的融合方法，包括：
[0005]步骤
S100
：标定模型迁移与融合区域：将两个不同重建方法得到的隐式表达网络通过
Marching Cubs
算法网格化，获得空间及空间分辨率对齐的三维人体重建模型；基于单张
RGB
图输入两个三维人体隐式重建模型；通过渲染方式获得每个模型像素对齐的空间深度图，并计算对应的空间厚度图，通过厚度图对比获得两个模型的相同区域和不同区域；
[0006]步骤
S200
：基于预测深度图的模型厚度放缩和空间对齐：基于人体模型数据集渲染出的单张
RGB
图片和对应的空间深度图，训练得到人物可见面和不可见面的深度图网络，使用
RGB
图像输入网络得到预测的可见面深度图和不可见面深度图；确定
z
空间位置并使用厚度放缩算法对齐不同重建模型的
z
空间厚度；
[0007]步骤
S300
：模型融合：将两个重建模型的相同区域和不同区域在边界处进行插值融合；
[0008]步骤
S400
：后处理：将模型进行离散三角形裁剪以及法向优化
。
[0009]进一步地，步骤
S100
包括：
[0010]步骤
S110
：使用同一张人物
RGB
图片进行裁剪和去除背景后，用于两种三维人体隐式重建模型的输入，得到两个模型重建出的空间对齐的
Marching Cubes
立方体空间；两种三维人体隐式重建模型包括第一模型和第二模型；
[0011]步骤
S120
：遍历已获得的两个
Marching Cubes
立方体空间，获取每个点的数值，统
计
x
‑
y
二维空间上每个
cubes[z][x][y]＞
V
的点到相机视角的距离得到第一空间深度图和第二空间深度图；其中，
V
值表示采样点经过计算后是否在重建模型表面的概率值；
[0012]步骤
S130
：基于第一空间深度图和第二空间深度图计算对应的第一空间厚度图和第二空间厚度图；
[0013]步骤
S140
：基于第一空间厚度图和第二空间厚度图进行逐像素对比，得到两个重建模型在
Marching Cubes
立方体的
x
‑
y
二维空间上的重合点和未重合点，得到两个立方体空间中的差异和重合信息，判定第一模型的保留区域和第二模型迁移区域；
[0014]步骤
S150
：基于边缘距离标记算法标记第一模型的保留区域和第二模型的迁移区域的边缘点
。
[0015]进一步地，步骤
S110
中，第一模型为
ICON
重建方法获得的三维人体隐式重建模型；第二模型为基于
PIFU
重建方法获得的三维人体隐式重建模型
。
[0016]进一步地，步骤
S120
中，
V
值采用
0.5
；
0.5
作为重建表面，大于
0.5
视为在重建表面外，小于
0.5
视为在重建人体表面的内部
。
[0017]进一步地，其中，步骤
S150
包括：
[0018]步骤
S151
：遍历所有共同点，标记与共同点相邻的不同点，标记为距离1，之后遍历距离1点，再标记所有未被标记且与之相邻的不同点，标记为距离2，以此类推，通过反复标记将所有可达的不同点标记为与最近相同点的距离；
[0019]步骤
S152
：设定一个阈值
x
，将距离大于阈值
x
的点均标记为迁移部分的点集，对于不同部分的迁移点集的相邻点，反复标记直到距离1被加入迁移点集；这时所有的标记点均为需要迁移拼接的点集；在得到迁移拼接点集合之后，对模型表面距离为1的点向第一模型保留点集合中继续拓展
n
个像素，通过判断距离为1的点的相邻点是否为相同点，若是则加入新的集合，作为相同区域的插值融合部分；
[0020]步骤
S153
：通过步骤
S151
和步骤
S152
反复递归，得到第一模型保留区域和第二模型迁移区域分别距离两部分边缘
n
个像素的插值区域
。
[0021]进一步地，步骤
S200
包括：
[0022]步骤
S210
：使用人体模型数据集渲染出的单张
RGB
图片，与对应的深度图作为训练对，通过神经网络
ResNet
构成的图像生成网络分别训练与
RGB
图像对应的可见面深度图网络与不可见面深度图网络，得到
RGB
图与图像角度增加
180
度的深度图网络其中，
G
D
表示训练完成的深度图网络，表示生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于单张
RGB
图像实现不同人体重建模型的融合方法，其特征在于：包括步骤
S100
：标定模型迁移与融合区域：将两个不同重建方法得到的隐式表达网络通过
Marching Cubes
算法网格化，获得空间及空间分辨率对齐的三维人体重建模型；基于单张
RGB
图输入两个三维人体隐式重建模型；通过渲染方式获得每个模型像素对齐的空间深度图，并计算对应的空间厚度图，通过厚度图对比获得两个模型的相同区域和不同区域；步骤
S200
：基于预测深度图的模型厚度放缩和空间对齐：基于人体模型数据集渲染出的单张
RGB
图片和对应的空间深度图，训练得到人物可见面和不可见面的深度图网络，使用
RGB
图像输入网络得到预测的可见面深度图和不可见面深度图；确定
z
空间位置并使用厚度放缩算法对齐不同重建模型的
z
空间厚度；步骤
S300
：模型融合：将两个重建模型的相同区域和不同区域在边界处进行插值融合；步骤
S400
：后处理：将模型进行离散三角形裁剪以及法向优化
。2.
根据权利要求1所述的基于单张
RGB
图像实现不同人体重建模型的融合方法，其特征在于：步骤
S100
包括：步骤
S110
：使用同一张人物
RGB
图片进行裁剪和去除背景后，用于两种三维人体隐式重建模型的输入，得到两个模型重建出的空间对齐的
Marching Cubes
立方体空间；两种三维人体隐式重建模型包括第一模型和第二模型；步骤
S120
：遍历已获得的两个
Marching Cubes
立方体空间，获取每个点的数值，统计
x
‑
y
二维空间上每个
cubes[z][x][y]>v
的点到相机视角的距离得到第一空间深度图和第二空间深度图；其中，
v
值表示采样点经过计算后是否在重建模型表面的概率值；步骤
S130
：基于第一空间深度图和第二空间深度图计算对应的第一空间厚度图和第二空间厚度图；步骤
S140
：基于第一空间厚度图和第二空间厚度图进行逐像素对比，得到两个重建模型在
Marching Cubes
立方体的
x
‑
y
二维空间上的重合点和未重合点，得到两个立方体空间中的差异和重合信息，判定第一模型的保留区域和第二模型迁移区域；步骤
S150
：基于边缘距离标记算法标记第一模型的保留区域和第二模型的迁移区域的边缘点
。3.
根据权利要求2所述的基于单张
RGB
图像实现不同人体重建模型的融合方法，其特征在于：步骤
S110
中，第一模型为
ICON
重建方法获得的三维人体隐式重建模型；第二模型为基于
PIFU
重建方法获得的三维人体隐式重建模型
。4.
根据权利要求2所述的基于单张
RGB
图像实现不同人体重建模型的融合方法，其特征在于：步骤
S120
中，
V
值采用
0.5
；
0.5
作为重建表面，大于
0.5
视为在重建表面外，小于
0.5
视为在重建人体表面的内部
。5.
根据权利要求2所述的基于单张
RGB
图像实现不同人体重建模型的融合方法，其特征在于：步骤
S150
包括：步骤
S151
：遍历所有共同点，标记与共同点相邻的不同点，标记为距离1，之后遍历距离1点，再标记所有未被标记且与之相邻的不同点，标记为距离2，以此类推，通过反复标记将所有可达的不同点标记为与最近相同点的距离；步骤
S152
：设定一个阈值
x
，将距离大于阈值
x
的点均标记为迁移部分的点集，对于不同部分的迁移点集的相邻点，反复标记直到距离1被加入迁移点集；这时所有的标记点均为需
要迁移拼接的点集；在得到迁移拼接点集合之后，对模型表面距离为1的点向第一模型保留点集合中继续拓展
n
个像素，通过判断距离为1的点的相邻点是否为相同点，若是则加入新的集合，作为相同区域的插值融合部分；步骤
S153
：通过步骤
S151
和步骤
S152
反复递归，得到第一模型保留区域和第二模型迁移区域分别距离两部分边缘
n
个像素的插值区域
。6.
根据权利要求1所述的基于单张
RGB

【专利技术属性】
技术研发人员：林兆骥，赵婕妤，姚莉，
申请(专利权)人：三江学院，
类型：发明
国别省市：