【技术实现步骤摘要】
本专利技术属于自动驾驶处理，尤其涉及一种基于三维金字塔光流的点云预测方法。
技术介绍
1、在自动驾驶中，车辆应能够感知和了解周围环境，提前做出适当的决策以实现安全行驶，例如规划路径和避免潜在危险。预测未来的周围环境对于做出及时、适当的决策至关重要，需要准确、高效地估计物体的位置以及车辆与物体之间的距离，同时在精度、效率和数量之间取得平衡模型参数的调整带来了额外的挑战。
2、点云预测，即根据过去的3d点云序列预测未来的3d点云序列，在自动驾驶领域引起了越来越多的关注。因为：第一，3d点云具有高保真度和成本效益；此外，与rgb图像和视频相比，点云可以更好地描述3d周围环境，为预测周围环境提供更多信息；点云预测通常被认为是一项自我监督的任务，不需要额外的手动注释，因为地面真实数据是由后续的激光扫描提供的。
3、在现有的点云预测方法中，预测lidar(光检测和测距)点云上每个点的运动是一种常见的解决方案，称为基于点的方法。已经获得了令人满意的结果，预测每个点的运动需要较少的参数。但是基于点的方法但会导致大量的推理时间，即使是最新的最先进的方法rppnet也无法达到lidar的预测率(10赫兹)。另一种方法是预测点云的范围视图，表示为基于范围视图的方法，例如tcnet和pcpnet，尽管模型参数的数量是基于点的方法的五倍，但它大大减少了推理时间并获得了更高的预测精度。由于自动驾驶车辆的快速移动，周围环境中物体的位置、大小以及与车辆的距离在连续帧中都存在很大变化。因此，考虑这些信息用于预测周围环境点云非常重要。此外，
4、为了缓解这些挑战，本专利技术提出了三维金字塔光流点云预测网络。与之前基于范围视图的工作类似，本专利技术首先使用球面投影将点云序列转换为二维范围视图序列，极大地提高了推理效率。其次，考虑到物体的位置、大小以及到车辆的距离都很重要，本专利技术将范围视图序列预测问题分解为场景中空间位置和灰度(代表到车辆的距离)变化的预测。具体来说，本专利技术使用三维卷积构建范围视图下通道的金字塔多尺度特征，以增加感受野并减少模型参数。为了预测场景中的空间位置，本专利技术引入了三维交换层来处理空间位置变化，同时整合对象尺度变化的影响。此外，本专利技术还设计了一个新颖的convlstm层来捕获范围视图的灰度变化，从而提高预测精度。
5、在本专利技术中，我们在两个典型的自动驾驶数据集kitti上进行了评估。实验结果证明了本专利技术的有效性。
6、现有技术存在的问题及缺陷为：现有的点云预测技术依赖较多的计算资源，或缺乏表示缺失细节的能力，特别是在不同的物体和场景中，泛化效果较弱。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于三维金字塔光流的点云预测方法。
2、本专利技术是这样实现的，一种基于三维金字塔光流的点云预测方法包括：
3、步骤一，对当前的点云序列进行随机采样，通过减少点云中点的数量来降低整体的计算复杂度从而减少计算资源的使用；
4、步骤二，通过球面投影将采样后的三维点云转换为二维范围视图，以获得密集且有序的输入数据；
5、步骤三，使用三维卷积将单通道范围视图映射到多个通道。并将多通道范围视图输入金字塔特征提取模块进行特征提取；
6、步骤四，使用三维交换层来处理空间位置变化，同时整合空间对象尺度变化的影响；
7、步骤五，使用卷积长短期记忆力网络层来捕获范围视图的灰度变化，从而提高预测精度；
8、步骤六，将步骤四和步骤五的结果拼接，并使用堆叠卷积和转置卷积对拼接结果进行上采样，得到的聚合特征作为下一个步骤的输入；
9、步骤七，使用三维卷积层将步骤六输出的结果进行解码，并使用sigmoid激活函数将解码的范围映射在0到1之间形成未来的范围视图；
10、步骤八，使用球面反投影将步骤七的范围视图转化为预测的点云序列，使用真实的点云序列与的预测的点云序列距离作为损失函数，训练网络框架。
11、进一步，所述步骤二中的通过球面投影将采样后的三维点云转换为二维范围视图，以获得密集且有序的输入数据，包括以下步骤：记当前的点云序列点云预测的目标是预测未来的点云这里p是点云序列的长度。具体来说，我们将点云投影到球坐标上：
12、
13、这里，(h,w)表示范围视图的高度和宽度，f＝fup+fdown，其中fup表示传感器向上的垂直视野，fdown表示传感器向下的垂直视野方向。范围视图中的每个像素(灰度)存储传感器与物体之间的距离r：
14、
15、如果对应像素中没有3d点，则填充-1，但如果一个投影点对应多个3d点，则选择距离传感器最近的点。因为在实践中，距离传感器越近的点贡献越大。获得点云的范围视图后，我们将其沿时间维度连接以获得4d输入张量(c，p，h，w)，其中c是图像通道数，值为1。
16、进一步，所述步骤三中的使用三维卷积将单通道范围视图映射到多个通道。并将多通道范围视图输入金字塔特征提取模块进行特征提取，包括以下步骤：给定范围视图，首先使用三维卷积将单通道范围视图映射到多个通道。随后，多通道范围视图被输入到由三维卷积、归一化和leakyrelu激活函数组成的金字塔特征提取模块。
17、进一步，所述步骤四中的使用三维交换层来处理空间位置变化，同时整合空间对象尺度变化的影响，包括以下步骤：具体来说，对于金字塔中的第i层，我们采用两层堆叠卷积结构来估计位置变化pi：
18、pi＝σ(norm(conv(fi,wi))) (3)
19、其中，fi是特征提取层产生的特征，wi表示leakyrelu激活函数的卷积参数。pi的维度为(3,p,h,w)，其中hi和wi是第i层中特征的宽度和高度。
20、获得位置变化pi后，我们对第i层的特征进行三维交换操作，将位置变化和尺寸变化整合到si中：
21、
22、其中表示第i层像素的初始位置，dk表示第i层的维度。这里swapping(f,grid)的表示把输入中对应位置的像素值填充到指定的位置。
23、进一步，所述步骤五中的使用卷积长短期记忆力网络层来捕获范围视图的灰度变化，从而提高预测精度，包括以下步骤：使用卷积运算代替传统的长短期记忆力单元中每个门的矩阵乘法，形成convlstm。convlstm单元的输入包括前一帧的单元状态ct-1、隐藏状态ht-1和当前帧的灰度特征gt。输出由当前帧的单元状态ct和隐藏状态ht组成。然后使用convlstm来预测范围视图的变化。
24、进一步，所述步骤七中的使用三维卷积层将步骤六输出的结果进行解码，并使用sigmoid激活函数将解码的范围映射在0到1之间形成未来的范围视图，包本文档来自技高网...
【技术保护点】
1.一种基于三维金字塔光流的点云预测方法，其特征在于，所述基于三维金字塔光流的点云预测方法包括：
2.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤二中的通过球面投影将采样后的三维点云转换为二维范围视图，以获得密集且有序的输入数据，包括以下步骤：记当前的点云序列点云预测的目标是预测未来的点云这里p是点云序列的长度。具体来说，我们将点云投影到球坐标上以形成范围视图：
3.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤三中的使用三维卷积将单通道范围视图映射到多个通道。并将多通道范围视图输入金字塔特征提取模块进行特征提取，包括以下步骤：给定范围视图，首先使用三维卷积将单通道范围视图映射到多个通道。随后，多通道范围视图被输入到由三维卷积、归一化和LeakyReLU激活函数组成的金字塔特征提取模块。
4.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤四中的使用三维交换层来处理空间位置变化，同时整合空间对象尺度变化的影响，包括以下步骤：具体来说，对于金字塔中的第i层，我们采用两层
5.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤五中的使用卷积长短期记忆力网络层来捕获范围视图的灰度变化，从而提高预测精度，包括以下步骤：使用卷积运算代替传统的长短期记忆力网络(LSTM)单元中每个门的矩阵乘法，形成ConvLSTM。ConvLSTM单元的输入包括前一帧的单元状态Ct-1、隐藏状态ht-1和当前帧的灰度特征Gt。输出由当前帧的单元状态Ct和隐藏状态ht组成。然后使用ConvLSTM来预测范围视图的变化。
6.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤六中的使用三维卷积层将步骤六输出的结果进行解码，并使用Sigmoid激活函数将解码的范围映射在0到1之间形成未来的范围视图，包括以下步骤：使用卷积核大小为(1,1,1)和步长为(1,1,1)的三维卷积层对聚合特征解码。最终产生大小为(2,p,H,W)的输出张量。使用Sigmoid函数将输出值映射到0到1之间的范围。第一个输出通道表示未来范围视图序列，而第二个通道表示范围视图中每个点成为有效未来点的概率。
7.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤八中的通过球面反投影将步骤七的范围视图转化为预测的点云序列，使用真实的点云序列与的预测的点云序列距离作为损失函数，训练网络框架，得到补全的完整点云，包括以下步骤：通过球面反投影将步骤七的范围视图转化为预测的点云序列，使用CD损失函数来约束预测的点云序列和真实的点云序列间的差距。使用Adam优化器进行训练，批量大小为4，初始学习率为0.001，每次迭代学习率衰减为0.99，总共200个epoch。
8.一种实施权利要求1～7任意一项所述的一种基于基于三维金字塔光流的点云预测方法，其特征在于，所述基于三维金字塔光流的点云预测方法：
...【技术特征摘要】
1.一种基于三维金字塔光流的点云预测方法，其特征在于，所述基于三维金字塔光流的点云预测方法包括：
2.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤二中的通过球面投影将采样后的三维点云转换为二维范围视图，以获得密集且有序的输入数据，包括以下步骤：记当前的点云序列点云预测的目标是预测未来的点云这里p是点云序列的长度。具体来说，我们将点云投影到球坐标上以形成范围视图：
3.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤三中的使用三维卷积将单通道范围视图映射到多个通道。并将多通道范围视图输入金字塔特征提取模块进行特征提取，包括以下步骤：给定范围视图，首先使用三维卷积将单通道范围视图映射到多个通道。随后，多通道范围视图被输入到由三维卷积、归一化和leakyrelu激活函数组成的金字塔特征提取模块。
4.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤四中的使用三维交换层来处理空间位置变化，同时整合空间对象尺度变化的影响，包括以下步骤：具体来说，对于金字塔中的第i层，我们采用两层堆叠卷积结构来估计位置变化：
5.如权利要求1所述的基于三维金字塔光流的点云预测方法，其特征在于，所述步骤五中的使用卷积长短期记忆力网络层来捕获范围视图的灰度变化，从而提高预测精度，包括以下步骤：使用卷积运算代替传统的长短期记忆力网络(lstm)单元中每个门的矩阵乘法，形成convlstm。convl...
【专利技术属性】
技术研发人员：耿国华，高健，胡景浩，周蓬勃，张雨禾，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。