点云重建方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供了一种点云重建方法、装置、电子设备及可读存储介质，涉及三维重建技术领域。所述点云重建方法包括：获取待重建视频流的每两个关键帧之间的共视关系；根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。本发明专利技术的方案能够实现大场景点云数据的三维重建。维重建。维重建。

【技术实现步骤摘要】
点云重建方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及三维重建
，特别是指一种点云重建方法、装置、电子设备及可读存储介质。

技术介绍

[0002]现有技术中，实时三维重建算法是利用RGBD视频流通过点云配准算法或同步定位与建图(simultaneous localization and mapping，简称SLAM)算法获取相机位姿，然后利用相机的每一帧位姿来对场景的空间点进行重建。具体来说，实时三维重建算法可划分为体素法和面元法两大类。其中，体素法(TSDF)需要在有限的内存空间中，将场景划分为若干体素，并通过相机位姿，将场景中的像素点放入体素中，再将新加入的体素与过去的体素进行融合，从而得到一个融合好的体素模型，然后对体素模型使用移动立方体算法得到场景的三维重建模型。在划分体素时，使用大体素会导致建模精细度不佳，使用小体素会导致场景变小，因此体素法需要依赖较高算力的GPU，而GPU算力难以扩展内存空间，使得体素法不适用大场景重建。
[0003]而面元法(Surfel)是将像素点处理为面元，对面元进行融合，得到面元模型，然后采用三角剖分算法建立面元模型对应的三角网格模型，在将像素点处理面元时，具有离散性，同样也需要依赖较高算力的GPU，而GPU算力难以扩展内存空间，使得面元法易受噪声数据影响，同样也不适用大场景重建。

技术实现思路

[0004]本专利技术技术方案的目的是提供一种点云重建方法、装置、电子设备及可读存储介质，用以解决现有技术由于GPU算力难以扩展内存空间，导致大场景三维重建困难的问题。
[0005]本专利技术实施例提供一种点云重建方法，包括：
[0006]获取待重建视频流的每两个关键帧之间的共视关系；
[0007]根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；
[0008]针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。
[0009]可选地，所述的点云重建方法，其中，所述针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型，包括：
[0010]对所述关键帧集合的点云数据进行体素滤波，获得所述关键帧集合滤波后的点云数据；
[0011]对所述关键帧集合滤波后的点云数据进行泊松表面重建，得到每所述关键帧集合对应的三角网络模型。
[0012]可选地，所述的点云重建方法，其中，所述对所述关键帧集合的点云数据进行体素滤波，获得所述关键帧集合滤波后的点云数据，包括：
[0013]获取所述关键帧集合的点云数据中的每个数据点的色值和空间坐标；
[0014]根据所述色值和空间坐标，对所述至少两个数据点进行分组，得到所述关键帧集合对应的至少一个点云组；
[0015]根据点云数量阈值，对每个所述点云组进行滤波，得到每个所述点云组滤波后的点云数据；
[0016]根据每个所述点云组滤波后的点云数据，获得所述关键帧集合滤波后的点云数据。
[0017]可选地，所述的点云重建方法，在所述点云组包括至少两个数据点的情况下，所述点云组中的任意两个数据点的色值差值小于色值阈值，且所述点云组的点云数量、所述点云组的平均空间坐标与预设数值之和的平均值小于或等于预设阈值。
[0018]可选地，所述的点云重建方法，其中，所述对所述关键帧集合滤波后的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型，包括：
[0019]采用移动最小二乘法，对所述关键帧集合滤波后的点云数据进行点云重采样，得到所述关键帧集合重采样的点云数据；
[0020]对所述关键帧集合重采样的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。
[0021]可选地，所述的点云重建方法，其中，所述方法还包括：
[0022]基于所述关键帧集合滤波后的点云数据，构建所述关键帧集合对应的体素；
[0023]获取所述关键帧集合对应的三角网络模型中的每个三角网格中心点所在体素的点云数量；
[0024]根据所述点云数量，对所述关键帧集合对应的三角网络模型进行裁剪。
[0025]可选地，所述的点云重建方法，其中，在所述针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型之前，所述方法还包括：
[0026]获取所述关键帧集合中各关键帧上每个像素点的像素坐标和相机位姿矩阵；
[0027]针对每个所述像素点，根据所述像素点的像素坐标和相机位姿矩阵，获得每个所述像素点的空间坐标；
[0028]针对每个所述像素点，根据所述像素点的空间坐标和所述像素点相邻的像素点的空间坐标，获得所述像素点的法向量；
[0029]根据所述关键帧集合中各关键帧上每个所述像素点的空间坐标和法向量，获取所述关键帧集合的点云数据其中，所述像素点的深度值不为预设深度值。
[0030]本专利技术实施例还提供一种电子设备，包括处理器，其中，所述处理器用于：
[0031]获取待重建视频流的每两个关键帧之间的共视关系；
[0032]根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；
[0033]针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。
[0034]本专利技术实施例还提供一种点云重建装置，包括：
[0035]获取模块，用于获取待重建视频流的每两个关键帧之间的共视关系；
[0036]分组模块，用于根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；
[0037]重建模块，用于针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。
[0038]本专利技术实施例还提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的点云重建方法中的步骤。
[0039]本专利技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的点云重建方法中的步骤。
[0040]本专利技术的上述技术方案的有益效果如下：
[0041]采用本专利技术实施例所述点云重建方法，通过获取待重建视频流的每两个关键帧之间的共视关系，根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型，如此，将具有共视关系的关键帧划分为同一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云重建方法，其特征在于，包括：获取待重建视频流的每两个关键帧之间的共视关系；根据所述共视关系，对所述待重建视频流的每个关键帧进行分组，得到至少一个关键帧集合；其中，所述关键帧集合包括至少一个关键帧；针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。2.根据权利要求1所述的点云重建方法，其特征在于，所述针对每个所述关键帧集合，对所述关键帧集合的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型，包括：对所述关键帧集合的点云数据进行体素滤波，获得所述关键帧集合滤波后的点云数据；对所述关键帧集合滤波后的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。3.根据权利要求2所述的点云重建方法，其特征在于，所述对所述关键帧集合的点云数据进行体素滤波，获得所述关键帧集合滤波后的点云数据，包括：获取所述关键帧集合的点云数据中的每个数据点的色值和空间坐标；根据所述色值和空间坐标，对每个所述数据点进行分组，得到所述关键帧集合对应的至少一个点云组；根据点云数量阈值，对每个所述点云组进行滤波，得到每个所述点云组滤波后的点云数据；根据每个所述点云组滤波后的点云数据，获得所述关键帧集合滤波后的点云数据。4.根据权利要求3所述的点云重建方法，其特征在于，在所述点云组包括至少两个数据点的情况下，所述点云组中的任意两个数据点的色值差值小于色值阈值，且所述点云组的点云数量、所述点云组的平均空间坐标与预设数值之和的平均值小于或等于预设阈值。5.根据权利要求2所述的点云重建方法，其特征在于，所述对所述关键帧集合滤波后的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型，包括：采用移动最小二乘法，对所述关键帧集合滤波后的点云数据进行点云重采样，得到所述关键帧集合重采样的点云数据；对所述关键帧集合重采样的点云数据进行泊松表面重建，得到所述关键帧集合对应的三角网络模型。6.根据权利要求2所述的点云重建方法，其特征在于，所述方法还包括：基于所述关键帧集合滤波后的点云数据，构建所述关键帧...

【专利技术属性】
技术研发人员：孙鲁昱，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：