雷达数据和图像数据的融合方法及系统技术方案

本发明专利技术公开了一种雷达数据和图像数据的融合方法，包括：将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；将雷达所获取的信息经坐标变换投影至像素坐标系中，绘制感兴趣区域；对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。将所获取的障碍物信息经转换矩阵投影至图像内，可以得到障碍物的融合信息，绘制出感兴趣区域，减少了图像处理的时间。

【技术实现步骤摘要】
雷达数据和图像数据的融合方法及系统
本专利技术属于智能汽车环境感知信息融合
，具体地涉及一种雷达数据和图像数据的融合方法及系统。
技术介绍
在智能汽车领域中，环境感知技术是智能汽车发展的重要组成部分，为后续车辆的决策与控制奠定基础。毫米波雷达只能检测前方障碍物，不能区分目标是车辆、行人、骑车人或栅栏。视觉传感器可获取丰富的道路环境信息，但不能精确地获取障碍物的距离信息。单一的传感器应用已经满足不了我们的需求，多传感器融合是必要的，雷达和摄像头的融合就是典型的代表。雷达是距离传感器，通过计算发射和接收信号的时间或者相位差，得到目标和传感器之间的距离信息，但得不到目标的色彩信息，而摄像机恰好相反。雷达和摄像头的融合应用十分广泛，比如智能汽车的诞生、智能机器人的诞生等等。多传感器融合可以通过不同的传感器获取更多信息对周围环境进行描述，从而提高整个检测点的鲁棒性。
技术实现思路
为了解决上述存在的技术问题，本专利技术提供了一种雷达数据和图像数据的融合方法及系统，可以得到障碍物的融合信息，将所获取的障碍物信息经转换矩阵投影至摄像机像素坐标系内，绘制出感兴趣区域，减少了图像处理的时间。本专利技本文档来自技高网...

【技术保护点】
1.一种雷达数据和图像数据的融合方法，其特征在于，包括以下步骤：S01：将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；S02：通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；S03：将雷达所获取的信息经坐标变换投影至图像中，绘制感兴趣区域；S04：对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。

【技术特征摘要】
1.一种雷达数据和图像数据的融合方法，其特征在于，包括以下步骤：S01：将雷达数据的采集线程与图像数据的采集线程进行同步处理，实现两类传感器在时间上的融合；S02：通过对雷达与摄像机的联合标定得到雷达坐标系至摄像机像素坐标系的变换矩阵；S03：将雷达所获取的信息经坐标变换投影至图像中，绘制感兴趣区域；S04：对感兴趣区域内的目标采用深度学习网络对图像进行特征提取，进行识别和分类。2.根据权利要求1所述的雷达数据和图像数据的融合方法，其特征在于，所述步骤S01中同步处理包括以下步骤：图像数据采集线程处于阻塞状态，其等待雷达数据采集线程触发后采集当前时刻的一帧图像，将当前时刻的雷达数据和图像数据组合一起添加到缓冲区队列尾，图像数据采集线程恢复为阻塞状态。3.根据权利要求1所述的雷达数据和图像数据的融合方法，其特征在于，所述步骤S03中，将雷达探测到的障碍物目标的中心作为候选框的中心点，再按设定的候选框大小绘制感兴趣区域。4.一种雷达数据和图...

【专利技术属性】
技术研发人员：戴一凡，曾勇，卢贤票，徐巍，
申请(专利权)人：清华大学苏州汽车研究院吴江，
类型：发明
国别省市：江苏,32