一种三维点云重建方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种三维点云重建方法、装置和电子设备，所述三维点云重建方法包括：根据点云生成网络，获取目标图像在目标视角下的第一深度图的目标点云；通过可微渲染器，对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图；根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理。通过本发明专利技术方案，可以在一定程度上提高重建的点云的稠密性、完整性和精度。完整性和精度。完整性和精度。

【技术实现步骤摘要】
一种三维点云重建方法、装置和电子设备


[0001]本专利技术涉及计算机视觉领域，特别涉及一种三维点云重建方法、装置和电子设备。

技术介绍

[0002]基于图像的三维重建是计算机视觉中的一个经典研究方向，被广泛应用于虚拟现实、远程协作等领域。
[0003]近年来，基于深度学习理论的三维重建方法的研究迅猛发展，该方法从数据集中学习三维形状的先验知识，不用建立多张图像间的特征匹配关系，仅从单目图像中即可实现三维重建。但是，单目图像只能采集到物体的正面信息，背面不可见部分可能存在多种重建结果，为了解决不可见部分的重建奇异性，通常需要从物体的三维模型中学些形状的先验知识。
[0004]但是，真实环境中物体的三维模型真值难以获取，例如：依靠激光扫描仪获取大量物体的三维模型是很耗费精力的。因此，将多视角图像作为监督数据训练神经网络被广泛采纳。
[0005]深度图中每个像素代表物体表面的深度，蕴含着丰富的几何信息。在深度图的监督下，可以学到更多的先验知识。但是，它的数据结构比轮廓复杂，导致渲染过程繁琐，难以保证可微性。因此，经过人们的研本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点云重建方法，其特征在于，包括：根据点云生成网络，获取目标图像在目标视角下的第一深度图的目标点云；通过可微渲染器，对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图；根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理。2.根据权利要求1所述的三维点云重建方法，其特征在于，所述获取目标图像在目标视角下的目标点云，包括：获取所述目标图像在所述目标视角下的所述第一深度图；对所述第一深度图的像素进行融合处理，得到所述目标点云。3.根据权利要求1所述的三维点云重建方法，其特征在于，所述得到渲染出的第二深度图，包括：在一个渲染像素对应多个投影点的情况下，根据所述多个投影点中深度值最小的目标投影点，确定渲染出的所述第二深度图；所述目标点云包括所述多个投影点。4.根据权利要求3所述的三维点云重建方法，其特征在于，所述方法还包括：根据插值计算公式和所述监督深度图中像素的第一深度真值，确定所述目标投影点在所述第二深度图中投影位置的第二深度真值。5.根据权利要求4所述的三维点云重建方法，其特征在于，所述插值计算公式包括：其中，分别为所述第二深度图中所述投影位置的横坐标值和纵坐标值，x1，x2分别为与所述投影位置相邻的四个像素的横坐标值，y1，y2分别与所述投影位置相邻的四个像素的纵坐标值，d
11
、d
21
、d
12
、d
22
分别为与所述投影位置相邻的四个像素的深度真值，d
i
为所述第二深度真值。6.根据权利要求1所述的三维点云重建方法，其特征在于，所述对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图，还包括：根据预先建立的视角位资预测模型，预测所述监督视角下的监督深度图的视角位资。7.根据权利要求6所述的三维点云重建方...

【专利技术属性】
技术研发人员：金鹏，刘检华，刘少丽，黄浩，胡佳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：