面向车路协同自动驾驶的毫米波雷达点云配准方法及装置制造方法及图纸

本发明专利技术公开了一种面向车路协同自动驾驶的毫米波雷达点云配准方法及装置，属于点云配准领域。本发明专利技术利用摄像机和毫米波雷达的互补优势，实现车辆

【技术实现步骤摘要】
面向车路协同自动驾驶的毫米波雷达点云配准方法及装置


[0001]本专利技术涉及点云配准
，尤其涉及一种面向车路协同自动驾驶的毫米波雷达点云配准方法及装置。

技术介绍

[0002]自动驾驶具有改变交通出行的潜力，然而，自动驾驶系统的安全性和可靠性还有待遇提高。分析自动驾驶系统的安全隐患的根本原因在于单车视角的感知范围有限。一般来说，主要有两个限制：(1)传感器自身固有的属性使其感知范围有限，同时容易被遮挡；(2)恶劣条件，如雾天，限制了感知范围和精度。
[0003]通过基础设施辅助自动驾驶(即车路协同)是一个新兴的范式，其利用路边基础设施，如配备感知和计算单元的智能灯柱，向自动驾驶车辆共享目标检测结果和交通状况等实时信息，该范式中一项关键使能技术就是配准由车辆和基础设施所配置的传感器(如激光雷达、毫米波雷达)产生的两个3D点云，配准后的结果可以扩大感知范围，增强感知能力。现有的自动驾驶汽车和智能的路边基础设施通常配备毫米波雷达，它在应对恶劣条件方面的能力比摄像机和激光雷达具有明显的优势。因此，配准3D毫米波雷达点云来解决上述两个限制是非常重要的。
[0004]目前，有很多点云配准的方法，但它们不是专门为车路协同场景配准点云而定制的，这些方法应用到车路场景中会产生较高的计算开销和较低的精度，因为它们依赖于相似的位置和点云之间的大范围重叠。最近，研究车路协同点云配准的工作主要关注于两个技术路线。第一种是融合目标检测结果，它虽然能够满足实时性，但牺牲了配准精度。另一种融合原始的激光雷达点云，虽然可以达到厘米级的精度，但多车融合需要高带宽消耗，例如，10辆车所需的带宽达到960Mbps。同时，这两种技术路线的性能严重依赖于语义分割，但这并不适用于毫米波雷达，因为雷达点云稀疏无序，语义信息难以提取。
[0005]综上，毫米波雷达点云配准面临实时性和准确性两个独特的挑战：
[0006](1)如何使用稀疏无序的雷达点云获得准确的车辆
‑
基础设施变换矩阵。现有的模型无法提取雷达点云的语义，如果我们直接匹配车辆和基础设施之间的点云，这将会导致一个很大的配准误差，导致获取的变换矩阵准确度低。
[0007](2)如何实现多车
‑
基础设施配准的实时性。考虑一个真实的交通场景，一个人即将过马路但被路边私家车遮挡：鉴于车速40km/h，制动距离约12米，车辆距离行人20米，允许车辆利用配准结果以避免交通事故，配准和目标检测必须在(20
‑
12)/40＝200ms内完成。最新的目标检测模型也需要48ms检测目标，因此，配准必须在152ms内完成，这个时间还没有考虑到其它延迟，例如传输延迟。
[0008]因此，需要开发出一种新的方法来同时满足毫米波雷达点云配准的实时性和准确性。

技术实现思路

[0009]本专利技术的目的是提出一种面向车路协同自动驾驶的毫米波雷达点云配准方法及装置，利用毫米波雷达和视觉的互补优势，实现多个车辆和道路基础设施之间实时准确的毫米波雷达点云配准。
[0010]为了实现上述目的，本专利技术提供如下技术方案：
[0011]一方面，本专利技术提供一种面向车路协同自动驾驶的毫米波雷达点云配准方法，包括如下步骤：
[0012]S1、显著目标分割：利用相机分别获取路边设施和多个车辆的相机数据，使用显著目标分割器分别从路边设施和多个车辆的图像中分割显著目标，来为雷达分支提供静态语义；
[0013]S2、显著区域提取：基于静态语义和利用毫米波雷达分别获取路边设施和多个车辆的雷达点云数据，使用显著区域提取器在时间和空间维度上对齐相机和毫米波雷达分支，来获得显著目标相应的3D点云区域；
[0014]S3、3D点云配准：根据显著目标相应的3D点云区域，选择关键点并对所选关键点进行迭代，得到变换矩阵，输出配准结果；
[0015]所述方法通过多车自适应调度组件实现多车实时的点云配准，多车自适应调度组件包括请求调度器和自适应触发器；请求调度器通过权衡请求次数、配准延迟、成功率和车辆视角的变化程度来选择关键帧；对于非关键帧，请求调度器使用前一帧中目标的状态信息来更新下一帧的点云数据；自适应触发器同时考虑车辆因素和基础设施视角的变化程度，以自适应地传输相应的关键点。
[0016]进一步地，步骤S1中，显著目标分割器使用2D目标检测器来检测和分割来自车辆和基础设施的目标。
[0017]进一步地，步骤S2中，利用显著区域提取器来获得显著目标相应的3D点云区域，在时间上，将相机分支的帧与其最近的雷达帧关联起来；在空间上，将相机帧和雷达帧测量值转化至同一坐标系；
[0018]具体方法如下：
[0019]将3D点云坐标转换到相机视角下的像素坐标系中，公式如下：
[0020][0021]上述公式重写为：
[0022]P
uv
＝KTP
w
[0023]其中P
uv
代表像素齐次坐标(u，v，1)，P
w
指以毫米波采集设备为坐标原点所得到的点坐标(X
w
，Y
w
，Z
w
，1)，K为相机内参矩阵，f
x
和f
y
是X轴和轴上的焦距；u0和v0为主点坐标，T为相机外参矩阵；
[0024]通过上述公式将相机分支的2D平面映射到真实世界的雷达点云的二维平面上，以获得雷达分支的显著性区域，随后将相应的语义赋予该2D点云区域，再映射回3D表示，从而实现雷达点云的3D显著区域提取。
[0025]进一步地，步骤S3中，采用改进的RANSAC算法对所选关键点进行迭代，改进的RANSAC算法准包括两种策略：
[0026](i)关键点提取策略
[0027]利用显著目标的几何特征用球体包裹以获得相应的关键点；
[0028](ii)早期终止策略
[0029]通过对显著目标进行聚类和相似性计算，以判断变换矩阵的正确方向，如果匹配关键点计算出的方向与变换矩阵的正确方向一致，则提前终止迭代过程。
[0030]进一步地，关键点提取策略的具体方法为：选择球体的中心点和两个半径点作为关键点，将显著目标的点云转换为二值图像，然后利用凸包与目标的几何特征进行拟合。
[0031]进一步地，早期终止策略的具体方法为：根据基础设施和车辆中提取的静态语义目标对其像素坐标x进行聚类，将这些目标分为左右两个方向；通过比较左右两侧分布的静态目标的数量和语义目标的相似度来判断车辆与基础设施之间的方向。
[0032]进一步地，对于关键帧，当新目标的点数平均增加k个，所述请求调度器将阈值设置为k，来判断视图的变化程度，当车辆视场的变化程度大于k时，请求调度器同时考虑1s内已经请求的次数和上一帧的成功率来决定是否进行配准；如果成功率低于设定的下限，同时剩余的时间能够满足在执行多次请求，则执行配准；所述请求调度器将最大化请求次数以提高整体成功率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向车路协同自动驾驶的毫米波雷达点云配准方法，其特征在于，包括如下步骤：S1、显著目标分割：利用相机分别获取路边设施和多个车辆的相机数据，使用显著目标分割器分别从路边设施和多个车辆的图像中分割显著目标，来为雷达分支提供静态语义；S2、显著区域提取：基于静态语义和利用毫米波雷达分别获取路边设施和多个车辆的达点云数据，使用显著区域提取器在时间和空间维度上对齐相机和毫米波雷达分支，来获得显著目标相应的3D点云区域；S3、3D点云配准：根据显著目标相应的3D点云区域，选择关键点并对所选关键点进行迭代，得到变换矩阵，输出配准结果；所述方法通过多车自适应调度组件实现多车实时的点云配准，多车自适应调度组件包括请求调度器和自适应触发器；请求调度器通过权衡请求次数、配准延迟、成功率和车辆视角的变化程度来选择关键帧；对于非关键帧，请求调度器使用前一帧中目标的状态信息来更新下一帧的点云数据；自适应触发器同时考虑车辆因素和基础设施视角的变化程度，以自适应地传输相应的关键点。2.根据权利要求1所述的面向车路协同自动驾驶的毫米波雷达点云配准方法，其特征在于，步骤S1中，显著目标分割器使用2D目标检测器来检测和分割来自车辆和基础设施的目标。3.根据权利要求1所述的面向车路协同自动驾驶的毫米波雷达点云配准方法，其特征在于，步骤S2中，利用显著区域提取器来获得显著目标相应的3D点云区域，在时间上，将相机分支的帧与其最近的雷达帧关联起来；在空间上，将相机帧和雷达帧测量值转化至同一坐标系；具体方法如下：将3D点云坐标转换到相机视角下的像素坐标系中，公式如下：上述公式重写为：P
uv
＝KTP
w
其中P
uv
代表像素齐次坐标(u，v，1)，P
w
指以毫米波采集设备为坐标原点所得到的点坐标(X
w
，Y
w
，Z
w
，1)，K为相机内参矩阵，f
x
和f
y
是X轴和轴上的焦距；u0和v0为主点坐标，T为相机外参矩阵；通过上述公式将相机分支的2D平面映射到真实世界的雷达点云的二维平面上，以获得雷达分支的显著性区域，随后将相应的语义赋予该2D点云区域，再映射回3D表示，从而实现雷达点云的3D显著区域提取。4.根据权利要求1所述的面向车路协同自动驾驶的毫米波雷达点云配准方法，其特征在于，步骤S3中，采用改进的RANSAC算法对所选关键点进行迭代，改进的RANSAC算法准包括两种策略：(i)关键点提取策略
利用显著目标的几何特征用球体包裹以获得相应的关键点；(ii)早期终止策略通过对显著目标进行聚类和相似性计算，以判断变换矩阵的正确方向，如果匹配关键点计算出的方向与变换矩阵的正确方向一致，则提前终止迭代过程。5.根据权利要求4所述的面向车路协同自动驾驶的毫米波雷达点云配准方法，其特征在于，关键点提取策略的具体方法为：选择球体的中心点和两个半径点作为关键点，将显著目标的点云转换为二值图像，然...

【专利技术属性】
技术研发人员：马华东，赵东，王书岳，邓凯凯，郑文昕，张紫涵，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：