基于稀疏点云帧的三维表面建模方法技术

本申请公开了一种基于稀疏点云帧的三维表面建模方法，通过激光雷达系统对真实世界的对象进行扫描，以得到点云帧序列；采用变分编码器对点云帧序列中的每帧点云进行特征编码，以得到每帧点云对应的全局特征分布和逐点局部特征分布；将逐点局部特征分布作为查询矩阵，全局特征分布作为键矩阵，以便采用密度感知的互注意力进行逐点特征精化，以得到每帧点云对应的精化后的逐点局部特征；采用随机抽样一致性算法根据精化后的逐点局部特征估计相邻帧点云之间的刚性变化，并通过相邻帧点云之间的刚性变化进行两两配准，以得到点云配准结果；根据点云配准结果采用几何感知点云直接回归以得到最终的三维模型，从而提高建模效果

【技术实现步骤摘要】
基于稀疏点云帧的三维表面建模方法


[0001]本申请涉及三维重建
，特别涉及一种基于稀疏点云帧的三维表面建模方法
。

技术介绍

[0002]相关技术中，三维表面建模指的是通过深度数据的获取
、
预处理
、
配准
、
融合与去噪等过程，把真实场景刻画成符合计算机逻辑表达的数学模型，这种模型可以对如文物保护
、
游戏开发
、
建筑设计等研究起到辅助的作用；在过去的几十年里，最广泛使用的三维建模传感器是激光雷达，但是多数激光雷达存在厘米级的距离误差和由于近光而导致的可见点间距；如何利用这种稀疏的点云进行三维表面建模已成为自动驾驶
、
机器人导航
、
工业制造等各个领域的关键问题；现有的点云建模数据集，如
KITTI
数据集
、OXFORD
数据集等主要通过位姿的精度来进行建模效果的评估，而没有提供统一且完整的建模效果本身的评估方法；然而，由于稀疏点云帧的点云往往存在表面点不均匀的现象，基于位姿的方法在估算建模精度时会产生不可避免的误差
。
[0003]现有的方法绝大多数将环境建模问题称为同时定位和建模问题
(Simultaneous Localization and Mapping)
，其中建模任务通常是作为后处理操作，例如移动最小二乘法
、
光束平差法等，但这些方法都依赖于帧间配准的先验匹配结果和先验特征来进行建模校正，这导致了大部分方法无法良好适应稀疏点云的情况；除此之外，这类基于传统几何的方法在提取复杂物体特征的时候会产生较大歧义性；相比于传统方法，基于深度学习的特征提取已经在点云领域展露头角；但是由于整个建模流程的复杂性和深度学习的端到端要求，使用深度学习完整实现三维建模流程的框架较少
。

技术实现思路

[0004]本申请旨在至少在一定程度上解决上述技术中的技术问题之一
。
为此，本申请的一个目的在于提出一种基于稀疏点云帧的三维表面建模方法，通过深度学习方法实现稀疏点云环境下对复杂物体的三维建模，从而提高建模效果
。
[0005]为达到上述目的，本申请第一方面实施例提出了一种基于稀疏点云帧的三维表面建模方法，包括以下步骤：搭建激光雷达系统，并通过所述激光雷达系统对真实世界的对象进行扫描，以得到对应的点云数据集，其中，所述点云数据集包括由低精度激光雷达采集的点云帧序列及其对应的每个点云帧的采集时间节点的位姿；采用变分编码器对所述点云帧序列中的每帧点云进行特征编码，以得到每帧点云对应的全局特征分布和逐点局部特征分布；将所述逐点局部特征分布作为查询矩阵，全局特征分布作为键矩阵，以便采用密度感知的互注意力进行逐点特征精化，以得到每帧点云对应的精化后的逐点局部特征；采用随机抽样一致性算法根据精化后的逐点局部特征估计相邻帧点云之间的刚性变化，并通过相邻帧点云之间的刚性变化进行两两配准，以得到点云配准结果；根据所述点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，以得到最终的三维模型
。
[0006]根据本申请实施例的基于稀疏点云帧的三维表面建模方法，首先，搭建激光雷达系统，并通过激光雷达系统对真实世界的对象进行扫描，以得到对应的点云数据集，其中，点云数据集包括由低精度激光雷达采集的点云帧序列及其对应的每个点云帧的采集时间节点的位姿；然后，采用变分编码器对点云帧序列中的每帧点云进行特征编码，以得到每帧点云对应的全局特征分布和逐点局部特征分布；接着，将逐点局部特征分布作为查询矩阵，全局特征分布作为键矩阵，以便采用密度感知的互注意力进行逐点特征精化，以得到每帧点云对应的精化后的逐点局部特征；再接着，采用随机抽样一致性算法根据精化后的逐点局部特征估计相邻帧点云之间的刚性变化，并通过相邻帧点云之间的刚性变化进行两两配准，以得到点云配准结果；最后，根据点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，以得到最终的三维模型；由此，通过深度学习方法实现稀疏点云环境下对复杂物体的三维建模，从而提高建模效果
。
[0007]另外，根据本申请上述实施例提出的基于稀疏点云帧的三维表面建模方法还可以具有如下附加的技术特征：
[0008]可选地，所述点云数据集还包括由高精度激光雷达扫描仪扫描得到的点云帧，以便根据倒角损失进行建模效果评估
。
[0009]可选地，根据以下公式进行建模效果评估：
[0010][0011]其中，
P
是低精度激光雷达的时序建模点云，
p
i
是点云
P
中的第
i
个点，
O
是高精度激光雷达扫描仪捕捉的点云帧，
o
j
是点云
O
中的第
j
个点，
N
是点云
P
中点的总数，
M
是点云
O
中点的总数，倒角距离计算每个点在另一个点云之间的最近邻距离，并将两个点云之间的总距离进行累加，以衡量点云之间的差异
。
[0012]可选地，根据所述点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，包括：根据所述点云配准结果采用变分编码器进行特征编码，以得到点云配准结果对应的全局特征分布和逐点局部特征分布；将所述逐点局部特征分布作为键矩阵，全局特征分布作为查询矩阵，以便采用注意力机制计算后，得到对应全局特征；搭建多层感知机对点坐标进行回归，以便得到采样结果
。
[0013]可选地，在进行点云配准和点云采样的过程中，还通过加权图进行循环优化，其中，所述加权图包括加权分布图和加权重要性图，所述加权分布图包括邻域密度特征，为优化分配了与任务无关的信息，所述加权重要性图提供面向任务的信息和局部形状在全局形状中的几何重要性
。
[0014]为达到上述目的，本专利技术第二方面实施例提出了一种基于稀疏点云帧的三维表面建模装置，包括：采集模块，所述采集模块通过激光雷达系统对真实世界的对象进行扫描，以得到对应的点云数据集，其中，所述点云数据集包括由低精度激光雷达采集的点云帧序列及其对应的每个点云帧的采集时间节点的位姿；密度感知点云配准模块，所述密度感知点云配准模块采用变分编码器对所述点云帧序列中的每帧点云进行特征编码，以得到每帧点云对应的全局特征分布和逐点局部特征分布；将所述逐点局部特征分布作为查询矩阵，全局特征分布作为键矩阵，以便采用密度感知的互注意力进行逐点特征精化，以得到每帧点云对应的精化后的逐点局部特征；采用随机抽样一致性算法根据精化后的逐点局部特征
估计相邻帧点云之间的刚性变化，并通过相邻帧点云之间的刚性变化进行两两配准，以得到点云配准结果；几何感知点云采样模块，所述几何感知点云采样模块根据所述点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，以得到最终的三维模型<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于稀疏点云帧的三维表面建模方法，其特征在于，包括以下步骤：搭建激光雷达系统，并通过所述激光雷达系统对真实世界的对象进行扫描，以得到对应的点云数据集，其中，所述点云数据集包括由低精度激光雷达采集的点云帧序列及其对应的每个点云帧的采集时间节点的位姿；采用变分编码器对所述点云帧序列中的每帧点云进行特征编码，以得到每帧点云对应的全局特征分布和逐点局部特征分布；将所述逐点局部特征分布作为查询矩阵，全局特征分布作为键矩阵，以便采用密度感知的互注意力进行逐点特征精化，以得到每帧点云对应的精化后的逐点局部特征；采用随机抽样一致性算法根据精化后的逐点局部特征估计相邻帧点云之间的刚性变化，并通过相邻帧点云之间的刚性变化进行两两配准，以得到点云配准结果；根据所述点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，以得到最终的三维模型
。2.
如权利要求1所述的基于稀疏点云帧的三维表面建模方法，其特征在于，所述点云数据集还包括由高精度激光雷达扫描仪扫描得到的点云帧，以便根据倒角损失进行建模效果评估
。3.
如权利要求2所述的基于稀疏点云帧的三维表面建模方法，其特征在于，根据以下公式进行建模效果评估：其中，
P
是低精度激光雷达的时序建模点云，
p
i
是点云
P
中的第
i
个点，
O
是高精度激光雷达扫描仪捕捉的点云帧，
o
j
是点云
O
中的第
j
个点，
N
是点云
P
中点的总数，
M
是点云
O
中点的总数，倒角距离计算每个点在另一个点云之间的最近邻距离，并将两个点云之间的总距离进行累加，以衡量点云之间的差异
。4.
如权利要求3所述的基于稀疏点云帧的三维表面建模方法，其特征在于，根据所述点云配准结果采用几何感知点云直接回归得到降采样数的点坐标，包括：根据所述点云配准结果采用变分编码器进行特征编码，以得到点云配准结果对应的全局特征分布和逐点局部特征分布；将所述逐点局部特征分布作为键矩阵，全局特征分布作为查询矩阵，以便采用注意力机制计算后，得到对应全局特征；搭建多层感知机对点坐标进行回归，以便得到采样结果
。5.
如权利要求1‑4中任一项所述的基于稀疏点云帧的三维表面建模方法，其特征在于，在进行点云配准和点云采样的过程中，还通过加权图进行循环优化，其中，所述加权图包括加权分布图和加权重要性图，所述加权分布图包括邻域密度特征，为优化分配了与任务无关的信息，所述加权重要性图提供面向任务的信息和局部形状在全局形状中的几何重要性
。6.
一种基于稀疏点云帧的三维表面建模装置，...

【专利技术属性】
技术研发人员：刘伟权，邱畅杰，王志勇，林修弘，臧彧，王程，
申请(专利权)人：厦门大学，
类型：发明
国别省市：