一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法技术

本发明专利技术提供了一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法。该方法包括：在自动驾驶的车辆上设置雷达和摄像机，雷达获取目标物体反射回的雷达数据，摄像机获取目标物体的视频数据；利用雷达坐标系和图像坐标系之间的坐标转换关系，将雷达数据投影到图像平面上，构建基于毫米波雷达和视觉融合的交互引导目标检测网络，交互引导目标检测网络输出融合图像特征和雷达特征的双向交互融合特征；基于双向交互融合特征利用分类器和回归器对目标物体进行定位，并识别出目标物体的类别信息。本发明专利技术方法降低了雷达噪声、视觉模糊等不利因素的影响，同时利用两种模态特征之间的关系提高了检测性能，可以有效实现自动驾驶多种场景下的目标检测工作。下的目标检测工作。下的目标检测工作。

【技术实现步骤摘要】
一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法


[0001]本专利技术涉及目标检测
，尤其涉及一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法。

技术介绍

[0002]近年来，自动驾驶已经获得了学术界和工业界的极大关注，而目标检测是自动驾驶的关键技术之一。随着深度学习理论的不断发展，基于深度学习的目标检测算法也迎来了巨大的进步。然而，自动驾驶场景往往非常复杂，相机容易受到天气和光照的影响，导致性能相对不稳定，无法准确识别物体。因此，研究人员对基于多传感器融合的目标检测算法进行了广泛研究，以满足实际需求。多传感器融合可以克服单一传感器的局限性，通过优势互补实现更好的目标检测性能。目前，常用于目标检测的传感器有相机、毫米波雷达和激光雷达。其中激光雷达价格昂贵，并且需要更多的时间来处理获得的信息。因此，激光雷达与相机传感器融合的成本也更高。与激光雷达相比，毫米波雷达具有更显著的优势。毫米波雷达能够在恶劣环境中正常工作，并能够准确、快速地获取所有被探测物体的速度和距离等信息，它的成本也更低。因此，毫米波雷达与相机传感器的融合成为自动驾驶领域的研究热点。
[0003]毫米波雷达和相机传感器的融合方法主要有三种，即数据级融合、特征级融合和决策级融合。数据级融合基于雷达点生成感兴趣区域，用于后续检测任务，因此有效雷达点的数量会影响其检测召回率，这具有一定的局限性。决策级融合需要大量的计算，这在一定程度上限制了性能的提高。特征级融合可以同时学习毫米波雷达和视觉特征信息，利用卷积神经网络从视觉图像和毫米波雷达中提取信息。同时使用两种模态的信息是一种有效提高检测性能的方法。特征级融合也是目前多传感器融合的主流方法。尽管现有的基于特征级融合的方法在特定场景中取得了不错的检测结果，但仍然受到一定的限制。
[0004]目前，现有技术中的毫米波雷达和相机传感器的融合方法通过一些简单操作融合来自雷达和图像模态的特征。尽管与纯视觉方法相比，这些方法提高了检测性能，但这些方法在融合过程中忽略了两种模态之间的相关性，并忽略了一些不利因素，如雷达噪声、视觉模糊等其他问题。因此，如何在尽可能降低不利因素影响的同时，利用两种模态之间的关系提高检测性能成为了目前亟待解决的问题。

技术实现思路

[0005]本专利技术的实施例提供了一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法，以实现有效地进行自动驾驶多种场景下的目标检测。
[0006]为了实现上述目的，本专利技术采取了如下技术方案。
[0007]一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法，包括：
[0008]在自动驾驶的车辆上设置雷达和摄像机，所述雷达获取目标物体反射回的雷达数据，所述摄像机获取目标物体的视频数据；
[0009]利用雷达坐标系和图像坐标系之间的坐标转换关系，将雷达数据投影到图像平面上，得到雷达数据在图像平面上的投影图像数据，根据雷达点的位置来扩展所述投影图像数据；
[0010]构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络输出融合图像特征和雷达特征的双向交互融合特征；
[0011]基于所述交互引导目标检测网络输出的目标物体的双向交互融合特征利用分类器和回归器对目标物体进行定位，并识别出目标物体的类别信息。
[0012]优选地，所述的利用雷达坐标系和图像坐标系之间的坐标转换关系，将雷达数据投影到图像平面上，得到雷达数据在图像平面上的投影图像数据，根据雷达点的位置来扩展所述投影图像数据，包括：
[0013]利用多帧雷达来增加雷达点云的数量，在雷达坐标系、世界坐标系和图像坐标系之间建立坐标转换关系，利用所述坐标转换关系将雷达数据投影到图像平面上，得到原始雷达数据在图像平面上的可视化投影图像，雷达特征以像素值的形式存储在投影图像中，没有雷达点的位置像素值被赋为0；
[0014]根据雷达点的位置来扩展雷达投影，设雷达检测到的三维坐标是从地面返回的，则沿垂直于地面的方向扩展雷达投影，将雷达提供的距离信息进行归一化处理，将归一化处理后的距离信息作为权重与原始的雷达扩展高度相乘得到最终的雷达扩展高度，这个过程表示为：
[0015]d＝(1.5
‑
Normalize(dist))
×
height
ꢀꢀꢀ
(4
‑
1)
[0016]其中dist表示雷达提供的距离信息，Normalize(
·
)表示归一化处理，height表示原始的雷达扩展高度，d表示最终的雷达扩展高度。
[0017]优选地，所述的构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络输出融合图像特征和雷达特征的双向交互融合特征，包括：
[0018]构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络包括：特征提取分支、图像引导融合分支、雷达引导融合分支和双向特征交互分支；
[0019]所述特征提取分支分别从视频数据和投影图像数据中提取特征生成图像特征和雷达投影图像特征，所述图像引导融合分支将图像特征和雷达投影图像特征进行融合，以图像特征作为引导信息对雷达投影图像特征进行自适应加权生成图像引导雷达特征，所述雷达引导融合分支以图像引导雷达特征作为新的引导信息对特征提取分支中的图像特征进行融合操作生成雷达引导图像特征，所述双向特征交互分支则将图像引导雷达特征和雷达引导图像特征进行不同尺度的融合，生成双向交互融合特征。
[0020]优选地，所述的特征提取分支分别从视频数据和投影图像数据中提取特征生成图像特征和雷达投影图像特征，包括：
[0021]所述特征提取分支使用VGG19从图像数据中提取图像特征，通过深度网络提取图像的语义信息；
[0022]所述特征提取分支利用空洞卷积和普通卷积组成的多层卷积来调整雷达数据的
通道数量并初步提取雷达特征，每个雷达点包含方位角、速度、距离和雷达散射截面的多维数据，使雷达特征与图像特征具有相同的尺度，通过线性层为雷达特征赋予初始权重，并通过逐元素相乘操作来更新雷达特征的权重矩阵，通过互协方差以计算每个雷达点与所有雷达点之间的相关性，将权重矩阵与自身雷达点逐元素相乘，再经过卷积神经网络改变通道数量，获得雷达点云的全局特征即雷达投影图像特征。
[0023]优选地，所述的图像引导融合分支将图像特征和雷达投影图像特征进行融合，以图像特征作为引导信息对雷达投影图像特征进行自适应加权生成图像引导雷达特征，包括：
[0024]设置图像引导雷达的跨模态注意力模块，该跨模态注意力模块将要增强的雷达模态称为目标模态，将图像模态称为引导模态，对多帧雷达特征沿时间维度进行聚合，创建目标模态的单一代表性特征，通过池化函数实现聚合，利用跨模态相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达和视觉融合的自动驾驶车辆的目标检测方法，其特征在于，包括：在自动驾驶的车辆上设置雷达和摄像机，所述雷达获取目标物体反射回的雷达数据，所述摄像机获取目标物体的视频数据；利用雷达坐标系和图像坐标系之间的坐标转换关系，将雷达数据投影到图像平面上，得到雷达数据在图像平面上的投影图像数据，根据雷达点的位置来扩展所述投影图像数据；构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络输出融合图像特征和雷达特征的双向交互融合特征；基于所述交互引导目标检测网络输出的目标物体的双向交互融合特征利用分类器和回归器对目标物体进行定位，并识别出目标物体的类别信息。2.根据权利要求1所述的方法，其特征在于，所述的利用雷达坐标系和图像坐标系之间的坐标转换关系，将雷达数据投影到图像平面上，得到雷达数据在图像平面上的投影图像数据，根据雷达点的位置来扩展所述投影图像数据，包括：利用多帧雷达来增加雷达点云的数量，在雷达坐标系、世界坐标系和图像坐标系之间建立坐标转换关系，利用所述坐标转换关系将雷达数据投影到图像平面上，得到原始雷达数据在图像平面上的可视化投影图像，雷达特征以像素值的形式存储在投影图像中，没有雷达点的位置像素值被赋为0；根据雷达点的位置来扩展雷达投影，设雷达检测到的三维坐标是从地面返回的，则沿垂直于地面的方向扩展雷达投影，将雷达提供的距离信息进行归一化处理，将归一化处理后的距离信息作为权重与原始的雷达扩展高度相乘得到最终的雷达扩展高度，这个过程表示为：d＝(1.5
‑
Normalize(dist))
×
height
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4
‑
1)其中dist表示雷达提供的距离信息，Normalize(
·
)表示归一化处理，height表示原始的雷达扩展高度，d表示最终的雷达扩展高度。3.根据权利要求1或者2所述的方法，其特征在于，所述的构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络输出融合图像特征和雷达特征的双向交互融合特征，包括：构建基于毫米波雷达和视觉融合的交互引导目标检测网络，将所述视频数据和投影图像数据输入到所述交互引导目标检测网络，所述交互引导目标检测网络包括：特征提取分支、图像引导融合分支、雷达引导融合分支和双向特征交互分支；所述特征提取分支分别从视频数据和投影图像数据中提取特征生成图像特征和雷达投影图像特征，所述图像引导融合分支将图像特征和雷达投影图像特征进行融合，以图像特征作为引导信息对雷达投影图像特征进行自适应加权生成图像引导雷达特征，所述雷达引导融合分支以图像引导雷达特征作为新的引导信息对特征提取分支中的图像特征进行融合操作生成雷达引导图像特征，所述双向特征交互分支则将图像引导雷达特征和雷达引导图像特征进行不同尺度的融合，生成双向交互融合特征。4.根据权利要求3所述的方法，其特征在于，所述的特征提取分支分别从视频数据和投
影图像数据中提取特征生成图像特征和雷达投影图像特征，包括：所述特征提取分支使用VGG19从图像数据中提取图像特征，通过深度网络提取图像的语义信息；所述特征提取分支利用空洞卷积和普通卷积组成的多层卷积来调整雷达数据的通道数量并初步提取雷达特征，每个雷达点包含方位角、速度、距离和雷达散射截面的多维数据，使雷达特征与图像特征具有相同的尺度，通过线性层为雷达特征赋予初始权重，并通过逐元素相乘操作来更新雷达特征的权重矩阵，通过互协方差以计算每个雷达点与所有雷达点之间的相关性，将权重矩阵与自身雷达点逐元素相乘，再经过卷积神经网络改变通道数量，获得雷达点云的全局特征即雷达投影图像特征。5.根据权利要求4所述的方法，其特征在于，所述的图像引导融合分支将图像特征和雷达投影图像特征进行融合，以图像特征作为引导信息对雷达投影图像特征进行自适应加权生成图像引导雷达特征，包括：设...

【专利技术属性】
技术研发人员：常冬霞，王家鹏，孔林华，孔子森，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：