一种基于多视点RGBD相机高分辨率人体三维重建方法技术

本发明专利技术提出了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法包括如下步骤：准备数据训练集；提取图像特征；对空间点进行采样；计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；通过MLP神经网络预测每个采样点在空间中处于模型表面的概率，从而能完成人体三维模型几何表面重建，采用相同的步骤同样可完成人体三维模型表面纹理重建，从而得到具有高分辨的的人体三维重建模型，该技术可应用于AR/VR交互与远距离交流等领域。互与远距离交流等领域。互与远距离交流等领域。

【技术实现步骤摘要】
一种基于多视点RGBD相机高分辨率人体三维重建方法


[0001]本专利技术涉及到计算机视觉中的三维重建
，尤其涉及到一种基于多视点RGBD相机高分辨率人体三维重建方法。

技术介绍

[0002]近年来随着计算机视觉技术的发展与计算硬件性能的提高，计算机视觉逐步从二维图像处理转向三维重建领域，其中人体模型三维重建是一个研究热点。精确的重建三维人体模型能够为未来的AR/VR交互打下坚实基础。
[0003]从使用的硬件设备上来看，现有的人体模型三维重建方法大多依赖于RGB相机或者RGBD相机，其中RGB相机无法提供深度信息，不可避免地会出现深度模糊现象，重建质量不高；相较之下，RGBD相机能够提供准确的图像深度信息，模型重建效果更好。
[0004]从使用相机的数量上来看，多视点相机标定较为复杂但是能够提供更多信息，重建质量高；单视角相机使用方便，但是信息较少。
[0005]从生成模型的存储方式来看，传统的人体重建大多基于体素(voxel) 表达，是一种显示表达，随着分辨率的提升对存储空间的需求也大幅提升，限制了其模型重建分辨率。
[0006]还有一些人体重建是基于已有的参数化人体模型，例如SMPL模型，具有较强的鲁棒性。但是这些参数化模型只能生成人体模型，无法生成表面的衣物，需要单独计算衣物与人体模型的耦合方式，后续处理复杂。
[0007]为克服传统人体三维重建分辨率低、内存消耗大等问题，本专利技术提出了一种基于多视点RGBD相机高分辨率人体三维重建方法。

技术实现思路
<br/>[0008]本专利技术的目的是为了克服现有技术的不足，提供了一种基于多视点 RGBD相机高分辨率人体三维重建方法及系统。
[0009]本专利技术是通过以下技术方案实现：
[0010]本专利技术提供了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：
[0011]S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到二维图像作为网络训练时的输入；
[0012]S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图；
[0013]S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点；
[0014]S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；
[0015]S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；
[0016]S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；
[0017]S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。
[0018]优选的，步骤S2中，利用多视点相机捕捉的一组图像数量为k。
[0019]优选的，步骤S4中，每个采样点共有k组特征。
[0020]优选的，步骤S2中，使用Hrnet提取图像特征。
[0021]优选的，步骤S3中，采用的高斯曲率采样方法属于自适应采样。
[0022]优选的，步骤S5中，计算每个采样点的psdf的表达式为： psdf＝Vz
‑
depth；其中，Vz是空间点在相机坐标系下的Z轴坐标，depth是深度相机测得的深度。
附图说明
[0023]图1是PSDF方法计算空间点深度的示意图；
[0024]图2是基于高斯曲率的采样方法的示意图；
[0025]图3是图片特征融合方法的示意图。
具体实施方式
[0026]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0027]为了方便理解本专利技术实施例提供的基于多视点RGBD相机高分辨率人体三维重建方法及系统，下面结合附图及具体的实施例对其进行详细说明。
[0028]本专利技术实施例提供了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：
[0029]S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到二维图像作为网络训练时的输入。
[0030]S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图。该步骤中，利用多视点相机捕捉的一组图像数量为k。该步骤中，具体使用Hrnet提取图像特征。
[0031]S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点。该步骤中，采用的高斯曲率采样方法属于自适应采样。
[0032]S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征。该步骤中，每个采样点共有k组特征。
[0033]S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重。
[0034]S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入。
[0035]S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。
[0036]上述步骤重建了人体三维模型的几何表面，模型表面的纹理推断步骤与之类同，只是隐函数预测的值转换为空间点对应的RGB颜色，在此不再赘述。
[0037]上述步骤S5中计算每个采样点的psdf时，采用如图1所示的计算方法，图1是PSDF方法计算空间点深度的示意图。如图1所示，图中左侧弧形曲线为三维模型表面，Vz是空间点在相机坐标系下的Z轴坐标，depth是深度相机测得的深度，则：psdf＝Vz
‑
depth，替代深度值作为特征值输入。若空间点Vz在三维模型表面上，则psdf趋近于0；若空间点Vz在三维模型表面内侧或外侧远离三维模型表面，则psdf绝对值会变大。
[0038]采用上方法应用于多视点RGBD相机重建人体模型时，下面我们以具体的实施例进行举例说明，具体如下：
[0039]S1：准备数据训练集，数据训练集可来源于商业公司(TwinDom Inc)，训练集共包含500个高质量人体三维模型，每个模型渲染60个不同视点，共有30000张二维图像，训练网络输入图像分辨率为512
×
512,包含RGBD 四个通道。
[0040]S2：使用Hrnet提取图像特征，多视点相机共k个视点，单个人体对应k张二维图像输入，经HRnet得到k张特征图。特征图尺寸为64,通道数为256，k取4。
[0041]S3：对空间点进行采样，具体使用基于高斯曲率的采样方法对空间点进行采样，如图2所示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到二维图像作为网络训练时的输入；S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图；S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点；S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。2.如权利要求...

【专利技术属性】
技术研发人员：于涛，吉朝南，戴翘楚，
申请(专利权)人：北京未澜科技有限公司，
类型：发明
国别省市：