一种基于毫米波雷达与视觉信号的道路障碍物检测方法技术

一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。本发明专利技术实现了多模态细粒度障碍物检测，相比传统单模态方法具有精确度与运行效率上的优势，具备高度实用价值。具备高度实用价值。具备高度实用价值。

【技术实现步骤摘要】
一种基于毫米波雷达与视觉信号的道路障碍物检测方法


[0001]本专利技术属于人工智能与机器学习
，涉及卷积神经网络与知识库技术，具体为一种基于毫米波雷达与视觉信号的道路障碍物检测方法。

技术介绍

[0002]随着人工智能科技发展，自动驾驶技术开始越来越多的进入人们的视野。自动驾驶集成了自动控制，智能环境感知，最优化等众多技术于一体，是人工智能高度发展的产物。其中，智能环境感知在自动驾驶技术中地位尤其重要，感知障碍物为车辆控制规划提供了重要依据。只有实时精准的障碍物感知与检测，才能使得自动行驶的汽车有效避开障碍物，避免产生碰撞等安全事故，保证了自动驾驶的安全性能。
[0003]现阶段的障碍物感知主要基于光学传感器、视觉传感器或毫米波雷达传感器。
[0004]光学传感器采用在车身安装光学测距仪器，对车身周边方向进行距离检测。其缺点在于尽可获取距离信息而没有具体类别信息。且测距装置为固定装置，仅可感知固定方向，可靠性较低。此外还具有仪器暴露在车外部易损坏等问题。
[0005]雷达检测是从目标的雷达信号回波特征中提取能反映目标属性信息的特征，由机器根据一定的判别准则对目标做出类别或型号判决。毫米波近程探测雷达由于体积小、质量轻、易于高度集成化，而且频带宽、分辨率高，抗干扰性能强并具有较好的全天候工作能力，具有广泛的应用场景。然而，自动驾驶应用的道路场景目标分布密集、数量庞大、种类繁杂、运动状态多样多变、杂波干扰复杂等因素严重降低了目标特征提取的鲁棒性；毫米波雷达目标特性数据不完备、可信度低，人工设计的识别特征复杂环境、适应性差等问题进一步限制了目标识别算法的工程推广能力和性能提升。杂波环境的复杂性、目标识别自身技术瓶颈等众多问题，使得毫米波雷达检测单独应用于自动驾驶场景存在较大难度。
[0006]另一种常用的方法是基于视觉方法车辆周边进行目标检测。基于视觉的目标检测方法的研究主要集中于检测算法的优化以及性能提升等方面，以求对目标更准确更高效的识别。然而，在实际应用场景下，视觉的目标检测方法难以获得目标的准确位置等信息，且容易受到光照，天气等影响视觉图像的干扰因素。

技术实现思路

[0007]本专利技术要解决的问题是：现有技术在环境感知障碍物检测上以单一信号源为主，无法避免由于传感器信号的局限性造成的识别精准度低，无法有效监测到目标等问题，无法满足实际复杂道路场景的监测需要。
[0008]本专利技术的技术方案为：一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信
息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。
[0009]进一步的，先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。
[0010]进一步的，本专利技术具体包括以下步骤：
[0011]1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；
[0012]2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；
[0013]3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；
[0014]4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edge box似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；
[0015]5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；
[0016]6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；
[0017]7)对融合后的特征进行分类与回归预测，得到检测结果；
[0018]8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；
[0019]9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。
[0020]本专利技术还提供一种基于毫米波雷达与视觉信号的道路障碍物检测装置，装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序，所述计算机程序被执行时实现上述道路障碍物检测方法。
[0021]本专利技术精准高效的利用毫米波雷达传感器信息与视觉传感器信息检测道路障碍物目标，包含了异源信号同步匹配技术、毫米波雷达信号映射技术、似物性估计技术、图像特征提取技术、特征金字塔特征融合技术、图像特征目标检测技术以及尺度估计技术。
[0022]本专利技术的有益效果是：提供高效而精准的障碍物检测识别技术。相比现有技术具有如下优点。
[0023](1)本专利技术包含了基于深度学习的计算机视觉目标检测功能，提取了传感器数据的语义信息，有效提升了目标检测的精确度与效率。
[0024](2)本专利技术还结合了毫米波雷达传感器信号，提升了在异常环境下如雨雪天气等导致视觉图像效果不佳时系统的稳定性，且更全面的覆盖了视觉检测中容易被忽略的远距离目标。
[0025](3)本专利技术的结构还可以拓展为其他类型的检测，如道路行车检测，人员流动检测等，具有极强的泛化能力与广阔的市场应用前景。
附图说明
[0026]图1为本专利技术的整体流程图。
[0027]图2为毫米波雷达杂波过滤流程图。
具体实施方式
[0028]本专利技术提出一种基于毫米波雷达与视觉信号的道路障碍物检测方法，结合了毫米波雷达与视觉视觉信号两种模态信号，用于识别道路障碍物。本专利技术方法的总体流程图如图1所示。本专利技术的技术方案具体包含如下步骤：
[0029](1)输入毫米波雷达传感器报文信号流与视觉图像信号流，对于异源的两种输入流，依据其报文时间戳对两种输入进行同步匹配。
[0030]分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程所读取的视频帧以其时间戳为键保存在数据结构字典中，与此同时毫米波雷达报文读取线程读取最新的毫米波雷达报文，使用读取的毫米波雷达报文时间戳索引存储视觉图像的字典，若成功索引，则将这一组报文与视觉图像匹配进行后续处理，若未能成功索引，则将其时间戳与字典中最早，最晚的时间戳进行对比。若毫米波雷达报文时间戳早与最早的视觉数据，则令视觉图像读取线程休眠，直至毫米波雷达报文读取至与图像数据同一时刻；类似的，若毫米波雷达报文晚于最晚的视觉数据，则令毫米波雷达报文读取线程休眠，直至视觉图像数据读取至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。2.根据权利要求1所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。3.根据权利要求2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是具体包括以下步骤：1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edge box似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；7)对融合后的特征进行分类与回归预测，得到检测结果；8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。4.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是将毫米波雷达信号与视觉图像信号进行时间同步时，采用的多线程异源数据同步匹配，具体为：分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程...

【专利技术属性】
技术研发人员：任桐炜，武港山，常朔荣，王利民，
申请(专利权)人：南京大学，
类型：发明
国别省市：