一种激光雷达数据处理方法技术

本发明专利技术公开了一种激光雷达数据处理方法，包括：采集车辆前方初始稀疏点云数据，及车辆位置、姿态数据；从所述初始稀疏点云数据中提取第i+1帧点云数据和第i帧点云数据的目标对象特征；根据目标对象特征，得出第i+1帧点云数据到第i帧点云数据的平移向量和旋转矩阵；将点云数据经过坐标变换后拼接在一起，得到拼接后的点云数据；对第i帧点云数据进行插值，得到插值后的点云数据；将拼接后得到的点云数据与插值后得到的点云数据取均值，作为最终点云数据。本发明专利技术利用提取出来的目标对象的特征对相邻点云进行拼接，与插值得到的点云数据进行融合，将低线束的激光雷达采集的数据扩充为高线数激光雷达的点云数据，提升了点云数据处理后的鲁棒性和准确性。的鲁棒性和准确性。的鲁棒性和准确性。

A method of laser radar data processing

【技术实现步骤摘要】
一种激光雷达数据处理方法


[0001]本专利技术属于激光雷达
，具体涉及一种激光雷达数据处理方法。

技术介绍

[0002]激光雷达作为热门车载传感器之一分为单线激光雷达和多线激光雷达，多线激光雷达主要应用于汽车的雷达成像，相比单线激光雷达在维度提升和场景还原上有着质的改变，可以识别物体的高度信息。目前在国际市场上推出的主要有16线、32线和64线。
[0003]多线激光雷达在垂直方向上具有多个发射器和接收器，通过电机的旋转，获得多条线束，线数越多，物体表面轮廓越完善，当然处理的数据量越大，对硬件要求越高；多线雷达主要应用在无人驾驶技术中，可以计算物体的高度信息，并对周围环境进行3D建模，但随着线数的增加，价格也随着升高。
[0004]目前对于提高图像分辨率和清晰度的理论研究已经取得丰富的成果；中国专利技术专利申请号为CN202110268835.5，名称为“一种用于提高图片分辨率和清晰度的方法”中公开了一种提高图像分辨率和清晰度的方法，通过模糊图像的特征提取，高清图像的重建，模糊图像到高清图像的特征映射获得一张高分辨率、高清晰度的图想。
[0005]从上述的研究来看，现有的对激光雷达获得的数据处理的研究比较匮乏，低线束的激光雷达成本低，但得到的点云数据效果不佳，特征不明显；高线数的激光雷达能够得到特征明显的点云数据，但成本高昂，因此需要把低线数的激光雷达数据扩充为高线数的激光雷达数据以节约成本。

技术实现思路

[0006]针对于上述现有技术的不足，本专利技术的目的在于提供一种激光雷达数据处理方法，以解决现有技术中存在的低线数激光雷达数据采集的数据点稀疏，特征不明显；高线束激光雷达价格昂贵的问题；本专利技术利用点云数据拼接和插值，通过两者的融合得到点云密度更高的激光雷达数据。
[0007]为达到上述目的，本专利技术采用的技术方案如下：
[0008]本专利技术的一种激光雷达数据处理方法，步骤如下：
[0009]1)采集车辆前方初始稀疏点云数据，及车辆位置、姿态数据；
[0010]2)从所述初始稀疏点云数据中提取第i+1帧点云数据和第i帧点云数据的目标对象特征；
[0011]3)根据步骤2)中提取得到的目标对象特征，得出第i+1帧点云数据到第i帧点云数据的平移向量T
i
和旋转矩阵R
i
；
[0012]4)将第i+1帧点云数据和第i帧点云数据经过坐标变换后拼接在一起，得到拼接后的点云数据i
*
＝[x
* y
* z
* l
*
]，其中x
*
，y
*
，z
*
为拼接后点云数据的三维坐标；l
*
为拼接后点云数据的反射强度；
[0013]5)对第i帧点云数据进行插值，得到插值后的点云数据为
[0014]6)将拼接后得到的点云数据与插值后得到的点云数据取均值，作为最终点云数据。
[0015]进一步地，所述步骤1)具体包括：通过安装在车辆顶部或车辆前端的低线数激光雷达采集初始稀疏点云数据，再通过全球定位系统和惯性传感器(GPS
‑
IMU)采集车辆位置和姿态数据。
[0016]进一步地，所述步骤2)中特征提取方法具体为：
[0017]21)将整个场景中不同神经层的体素编码为少量关键点；
[0018]22)将步骤21)中编码的关键点特征聚合到RoI网格中，对基于集合抽象操作的关键点到RoI网格特征进行提取，所述RoI为感兴趣区域。
[0019]进一步地，所述步骤21)中的编码过程具体为：
[0020]211)关键点采样，从所述第i帧点云数据和第i+1帧点云数据中提取n个关键点K＝{p1,
…
,p
n
}，使用采集到的关键点来代表整个场景；
[0021]212)对卷积神经网络特征体到关键点的多尺度语义特征进行编码，在关键点周围得到具有多尺度语义特征的规则体素，所述编码过程包含体素集合抽象模块；
[0022]213)通过第i帧和第i+1帧原始点云数据和下采样得到的鸟瞰特征图的关键点特征来扩展体素集合抽象模块；
[0023]214)预测关键点权重，通过少量关键点对整个场景进行编码后，利用所述少量关键点进行候选框细化。
[0024]进一步地，所述步骤212)中的体素集合抽象模块对不同的体素特征向量集进行集合抽象；
[0025]卷积神经网络第k层的体素特征向量集式中，为第k层中第N
k
个非空体素的特征向量；通过第k层的体素指数和实际体素大小计算的三维坐标式中，为第k层中第N
k
个非空体素的三维坐标；N
k
为第k层中非空体素的数量；对于每个关键点p
i
，在半径r
k
内的第k级识别其相邻的非空体素，以检索体素特征向量集：
[0026][0027]式中，为第j个非空体素的特征向量；为的相对位置；为关键点p
i
的相邻体素集；r
k
为识别相邻体素的范围半径；为为第j个非空体素的三维坐标；为N
k
个体素的位置集合；为N
k
个体素的特征向量集合；
[0028]生成的关键点p
i
的特征为：
[0029][0030]式中，M(
·
)为从相邻体素集中随机采样最多T
k
个体素；G(
·
)为神经网络中用来编码体素特征和相对位置；max(
·
)为最大池操作，将不同数量的相邻体素特征向量映射到关键点p
i
的特征向量
[0031]将不同层次的聚合特征串联起来，生成关键点p
i
的多尺度语义特征：
[0032][0033]进一步地，所述步骤213)中的原始点云数据弥补了初始点云体素化的量化损失。
[0034]进一步地，所述步骤214)中通过点云分割来重新加权关键点特征，每个关键点的特征的预测权重表示为：
[0035]f
i(p)
＝A(f
i(p)
)
·
f
i(p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0036]式中，A(
·
)用于预测[0,1]之间的置信度。
[0037]进一步地，所述步骤22)中基于集合抽象操作的关键点到RoI网格特征提取具体为：
[0038]221)通过集合抽象实现RoI网格，对于每个3D候选框，将关键点特征聚合到具有多个感受野的RoI网格；在每个3D候选框中统一采样6
×6×
6个网格点，表示为G＝{g1,
…
,g
216
}；采用集合抽象操作，从关键点特征中聚合网格点的特征，半本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达数据处理方法，其特征在于，步骤如下：1)采集车辆前方初始稀疏点云数据，及车辆位置、姿态数据；2)从所述初始稀疏点云数据中提取第i+1帧点云数据和第i帧点云数据的目标对象特征；3)根据步骤2)中提取得到的目标对象特征，得出第i+1帧点云数据到第i帧点云数据的平移向量和旋转矩阵；4)将第i+1帧点云数据和第i帧点云数据经过坐标变换后拼接在一起，得到拼接后的点云数据i
*
；5)对第i帧点云数据进行插值，得到插值后的点云数据为6)将拼接后得到的点云数据与插值后得到的点云数据取均值，作为最终点云数据。2.根据权利要求1所述的激光雷达数据处理方法，其特征在于，所述步骤2)中特征提取方法具体为：21)将整个场景中不同神经层的体素编码为少量关键点；22)将步骤21)中编码的关键点特征聚合到RoI网格中，对基于集合抽象操作的关键点到RoI网格特征进行提取，所述RoI为感兴趣区域。3.根据权利要求2所述的激光雷达数据处理方法，其特征在于，所述步骤21)中的编码过程具体为：211)关键点采样，从所述第i帧点云数据和第i+1帧点云数据中提取n个关键点K＝{p1,
…
,p
n
}，使用采集到的关键点来代表整个场景；212)对卷积神经网络特征体到关键点的多尺度语义特征进行编码，在关键点周围得到具有多尺度语义特征的规则体素，所述编码过程包含体素集合抽象模块；213)通过第i帧和第i+1帧原始点云数据和下采样得到的鸟瞰特征图的关键点特征来扩展体素集合抽象模块；214)预测关键点权重，通过少量关键点对整个场景进行编码后，利用所述少量关键点进行候选框细化。4.根据权利要求3所述的激光雷达数据处理方法，其特征在于，所述步骤212)中的体素集合抽象模块对不同的体素特征向量集进行集合抽象；卷积神经网络第k层的体素特征向量集式中，为第k层中第N
k
个非空体素的特征向量；通过第k层的体素指数和实际体素大小计算的三维坐标式中，为第k层中第N
k
个非空体素的三维坐标；N
k
为第k层中非空体素的数量；对于每个关键点p
i
，在半径r
k
内的第k级识别其相邻的非空体素，以检索体素特征向量集：
式中，为第j个非空体素的特征向量；为的相对位置；为关键点p
i
的相邻体素集；r
k
为识别相邻体素的范围半径；为为第j个非空体素的三维坐标；为N
k
个体素的位置集合；为N
k
个体素的特征向量集合；生成的关键点p
i
的特征为：式中，M(
·
)为从相邻体素集中随机采样最多T
k
个体素；G(
·
)为神经网络中用来编码体素特征和相对位置；max(
·
)为最大池操作，将不同数量的相邻体素特征向量映射到关键点p
i
的特征向量将不同层次的聚合特征串联起来，生成关键点p
i
的多尺度语义特征：5.根据权利要求4所述的激光雷达数据处理方法，其特征在于，所述步骤22)中基于集合抽象操作的关键点到RoI网格特征提取具体为：221)通过集合抽象实现RoI网格，对于每个3D候选框，将关键点特征聚合到具有多个感受野的RoI网格；在每个3D候选框中统一采样6
×6×
6个网格点，表示为G＝{g1,
…
,g
216
}；采用集合抽象操作，从关键点特征中聚合网格点的特征，半径r内网格点g
i
的相邻关键点为：式中，p
j
‑
g
i
为指示特征与关键点的局部相对位置，Ψ为相邻的关键点特征集；将相邻的关键点特征集Ψ进行聚合，生成网格点g
i
的特征f
i(g)
：f
i(g)
＝max{G(M(Ψ))}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式中，M(
·
)为对相邻的关...

【专利技术属性】
技术研发人员：朱耀鎏，王春燕，赵万忠，张自宇，刘津强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：