一种基于全景图的自监督学习场景点云补全的数据集生成方法技术

本发明专利技术属于计算机视觉领域中的三维重建技术领域，提供了一种基于全景图的自监督学习场景点云补全的数据集生成方法。以同一视点下的全景RGB图像、全景深度图和全景法线图作为输入，可以生成成对的带有RGB信息和法线信息的残缺点云和目标点云，用以构造训练场景点云补全网络的自监督学习数据集。本发明专利技术的关键点是基于视点转换的遮挡预测和等矩形投影及转换过程中针对条纹问题、点对点遮挡问题的处理。本发明专利技术的方法简化真实场景点云数据的采集方式；视点转换的遮挡预测思想；视点选取策略的设计。的设计。的设计。

【技术实现步骤摘要】
一种基于全景图的自监督学习场景点云补全的数据集生成方法


[0001]本专利技术属于计算机视觉领域中的三维重建(3D Reconstruction)领域，具体实现结果为以全景图作为输入，通过自监督学习的方式，生成适用于训练场景点云补全网络的数据集。

技术介绍

[0002]在采集三维场景的过程中，不可避免地存在一些遮挡区域，如何从这些遮挡区域中恢复缺失信息成为近年来一个非常活跃的研究领域。
[0003]但场景级别的点云重建方法目前存在两个关键问题，第一，在较为复杂的场景中，机器人难以灵活移动，多视角的采集费时费力，全局场景重建效果更难以保障。第二，在开放环境下，室内场景类型多样，难以获取充足的用于监督训练的数据，导致传统场景重建方法的适应性较差，难以重建出质量较好的真实点云场景。基于以上两个存在的问题，提出了基于全景图的自监督学习场景点云补全的数据集生成方法。
[0004]本说明书主要从场景点云数据集和全景图场景重建两个方面进行介绍。
[0005](a)场景点云数据集
[0006]考虑到目前还没有专门针对场景点云补全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全景图的自监督学习场景点云补全的数据集生成方法，其特征在于，步骤如下：步骤1：由特定视点下的全景图生成初始点云1.1)引入球体来表示三维世界，通过经度和纬度表示x、y、z三个方向的坐标，球体半径r表示深度值；假定全景深度图D1的长度对应于场景水平方向
‑
180
°
～180
°
范围，全景深度图D1的宽度对应垂直方向
‑
90
°
～90
°
范围，将全景深度图D1的每个像素的坐标用纬度和经度表示，每个像素对应球内点的半径是全景深度图D1的每个像素的深度值；在球坐标系下，将每个像素的纬度、经度和深度值转换为相机坐标系下的x、y、z坐标，生成点云P0；1.2)基于视点v1对应的相机外参将相机坐标系下的点云P0转换到世界坐标系下，并按像素点先行后列的顺序将全景RGB图像C1和全景法线图像N1的颜色信息分别赋值给点云P0中的每一个点，生成带有RGB信息的初始点云P1和带有法线信息的初始点云P2；步骤2：基于初始点云选取新的遮挡预测视点2.1)采用截断符号距离函数对初始点云P1进行编码；将选定要建模的三维空间分割为诸多小块，每个小块被称为体素；体素存储该小块与其最近的物体表面之间的距离值，该距离值的符号表示体素是在自由空间中还是在封闭空间中；若该距离值的绝对值超过设定的截断距离D，则进行截断处理；2.2)假定视点v1对应的小体素块为t0，更新t0的距离值为0，并将t0附近的小体素块按照距离t0的远近更新距离值，距离t0越近，距离值衰退的越多；2.3)遍历每个小体素块，查找距离值最大的体素块；若有多个体素块的距离值相同，则选择距离场景中心最近的；若距离场景中心的距离仍相同，则在满足条件的体素块中进行随机选取；被选中的体素块的中心即为视点v2所在的位置，由此得视点v2的平移矩阵，视点v2的旋转矩阵保持与视点v1的旋转矩阵相同；步骤3：由初始点云生成选定视点下的全景图3.1)基于视点v2对应的相机外参，将世界坐标系下的带有RGB信息的初始点云P1和带有法线信息的初始点云P2转换到相机坐标系下；3.2)在球坐标系下，分别将点云P1和点云P2中每个点的x、y、z坐标转化为用纬度、经度和半径表示，并对应到2D全景图的像素位置上，每个点的颜色也一并对应到像素位置上；考虑到遮挡是依靠点对点的遮挡完成的，与现实世界不符，因此增大每个点的影响范围，具体为将计算得到的每个像素(x,...

【专利技术属性】
技术研发人员：李童，杨鑫，尹宝才，张肇轩，杜振军，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：