【技术实现步骤摘要】
本专利技术属于目标检测和智能安防，尤其涉及一种基于路侧相机和毫米波雷达的多尺度目标检测方法及系统。
技术介绍
1、在当今的智能安防场景中，多传感器信息融合技术应用越来越普遍。相机成本低廉，可以提供丰富的视觉信息和细节，但在雨、雾等复杂场景下功能受限，毫米波雷达能够提供可靠的距离和速度信息，特别是在视觉传感器受限的恶劣环境中，但无法依靠纹理信息准确识别目标类别。鉴于毫米波雷达和相机传感器之间具有互补的特性，它们的融合成为了多传感器融合技术研究中的一个重要领域。
2、在当前技术发展的背景下，尽管基于毫米波雷达和相机的目标检测已经取得了诸多进展，仍存在一些关键问题未得到解决。在远距离和大范围的监控场景中，图像分辨率的限制使得相机难以捕捉小目标细节，导致入侵小目标检测困难，监控视角近大远小的特点造成的目标多尺度变化同样不利于目标特征的提取和识别，在复杂识别环境影响下，前景目标与背景较难区分，算法在复杂背景中识别能力的效果较差。毫米波雷达在目标探测过程中会出现漏检和错检情况，点云数据中也会带有噪声信息，导致雷达点云在映射到图像平面时无法准确地落在目标几何轮廓内，出现像素级的关联误差，可能给融合检测带来反增益，同时雷达点云数据的稀疏性，会弱化雷达图像特征在融合检测过程中的引导能力。此外，特征相加融合、特征级联融合等传统融合方法不能有效地利用两传感器的信息，如何高效地结合毫米波雷达和相机传感器的信息是当前研究的关键难题。因此，充分结合这两种传感器的优势，专利技术一种新的基于路侧相机和毫米波雷达融合的多尺度目标检测方法具有非常大的理
3、通过上述分析，现有技术存在的问题及缺陷为：
4、在远距离和大范围的监控场景中，图像分辨率的限制使得相机难以捕捉小目标细节，导致入侵小目标检测困难，监控视角近大远小的特点造成的目标多尺度变化同样不利于目标特征的提取和识别，在复杂识别环境影响下，前景目标与背景较难区分，算法在复杂背景中识别能力的效果较差，且传统融合方法未能充分挖掘雷达与相机数据特征间的交互关系，融合效果有待提升。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于路侧相机和毫米波雷达的多尺度目标检测方法及系统。
2、本专利技术是这样实现的，一种基于路侧相机和毫米波雷达的多尺度目标检测方法包括：
3、步骤一，对路侧相机和毫米波雷达两种传感器进行时空关联，确定毫米波雷达坐标系与像素坐标系的空间转换关系，并以同样的采样频率获取相机图像数据和毫米波雷达点云数据；
4、步骤二，采用扩展卡尔曼方法对毫米波雷达点云数据进行降噪处理，通过空间转换关系对降噪后的点云数据进行投影，生成雷达图像，通过双边滤波方法对投影进行扩展，增强雷达图像数据表示；
5、步骤三，使用预先建立的融合网络提取雷达图像特征和相机图像特征，通过改进下采样和双向金字塔的颈部网络进行多尺度特征融合，提取多层次的空间信息，获得融合后的多尺度特征图；
6、步骤四，通过空洞多尺度注意力模块与两阶段的空间注意力融合方法进一步增强两传感器的融合特征，最后输入到检测子网络和回归子网络，输出目标检测结果。
7、进一步，雷达坐标系与像素坐标系的转换关系为：
8、
9、其中，fx、fy、u0和v0为相机内部参数，可通过相机标定获取；h为毫米波雷达与相机的高度差，为相机与雷达x轴之间的俯仰角。
10、进一步，扩展卡尔曼滤波器的测量矢量为雷达探测目标的位置和速度状态，第j个探测目标ωj在时间t的状态向量可以表示为：
11、
12、其中，x表示雷达到目标的纵向距离，y表示雷达到目标的横向距离，v表示目标的移动速度，θ表示目标相对于雷达的方位角；在运动状态的预测过程中，过程模型n表示为：
13、
14、对于每个雷达投影点，其在图像上影响范围内的每个像素点被赋予的权重表示为：
15、
16、其中，(x,y)为雷达点的坐标，(m,n)为雷达点在图像上影响范围内某一点的坐标，σd和σr表示分别用于调整空间距离和灰度差值对每个像素点权重值的影响的参数，i(x,y)表示在坐标(x,y)处像素点的灰度值；
17、将雷达点的影响范围定义为以雷达点为中心，边长为wr的矩形区域；对于在雷达点影响范围内，权重超过门限值wth的像素点，将其像素值设置为与雷达点相同的值，门限值wth与雷达点影响矩阵边长wr关系如下式所示：
18、
19、进一步，融合网络采用了spd-conv模块替换yolov5骨干网络中五个cbs单元中步长为2的跨步卷积，得到对应的spd-cbs模块。
20、进一步，所述融合特征可表示为：
21、
22、其中，o表示特征融合后的输出特征图，pi表示第i个输入特征图，wi表示分配给每个输入特征图pi的可学习权重，ε＝0.0001是一个小值。
23、进一步，空洞多尺度注意力模块由ema模块与级联空洞卷积模块组合而成，级联空洞卷积模块将残差连接与混合空洞卷积结合，叠加了3个扩张率为1、2、4，尺寸为3×3的卷积核；
24、空间注意力融合方法采用了空间注意力模块，该模块由三组用于提取空间注意力矩阵的卷积层组成；
25、1×1卷积的步长为1，无填充，3×3卷积的步长为1，填充为1，5×5卷积的步长为1，填充为2；
26、两阶段的融合方法：
27、首先在主干网络选择较为深层的后三个尺度特征图进行融合，并自适应学习融合权重；
28、其次在输入到检测头网络之前，将雷达图像特征与经过多尺度融合和注意力增强之后的相机图像特征进行再次融合，进一步加强特征图的信息表示；
29、最后将融合特征输入到检测子网络和回归子网络，输出目标检测结果。
30、本专利技术的另一目的在于提供一种基于路侧相机和毫米波雷达的多尺度目标检测系统包括：
31、数据采集模块，负责收集毫米波雷达、摄像机各种传感器设备原始数据；以较低采样频率的毫米波雷达采样周期作为整体采样过程的时间基准，利用多线程技术，通过将雷达的采样周期作为触发机制，同步触发相机进行数据采集；
32、逻辑处理模块，负责视频流处理与雷达相机融合检测功能；接收来自枪型摄像机和球型摄像机的视频数据，还可以查看存储在服务器上的预录制视频，并通过结合毫米波雷达与摄像机的数据进行融合检测实现重点目标监控；
33、应用服务模块，负责数据存储、报警管理、任务可视化三个功能；数据存储包括毫米波雷达和摄像头采集的原始信息、报警数据以及识别到的目标信息，提供数据的快速检索和备份功能；报警管理检测到非法入侵或交通违规行为等潜在安全威胁时，调用声光报警设备发出报警，并通过系统界面提醒监控人员采取相应措施；任务可视化模块展示了实时监控视频流、传感器设备状态和目标历史轨迹等信息。
34本文档来自技高网...
【技术保护点】
1.一种基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，雷达坐标系与像素坐标系的转换关系为：
3.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，扩展卡尔曼滤波器的测量矢量为雷达探测目标的位置和速度状态，第j个探测目标ωj在时间t的状态向量可以表示为：
4.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，融合网络采用了SPD-Conv模块替换YOLOv5骨干网络中五个CBS单元中步长为2的跨步卷积，得到对应的SPD-CBS模块。
5.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，所述融合特征可表示为：
6.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，空洞多尺度注意力模块由EMA模块与级联空洞卷积模块组合而成，级联空洞卷积模块将残差连接与混合空洞卷积结合，叠加了3个扩张率为1、2、4，尺寸为3
7.一种实施如权利要求1-6任意一项所述基于路侧相机和毫米波雷达的多尺度目标检测方法的基于路侧相机和毫米波雷达的多尺度目标检测系统，其特征在于，所述基于路侧相机和毫米波雷达的多尺度目标检测系统包括：
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于路侧相机和毫米波雷达的多尺度目标检测方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于路侧相机和毫米波雷达的多尺度目标检测方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述基于路侧相机和毫米波雷达的多尺度目标检测系统。
...【技术特征摘要】
1.一种基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，雷达坐标系与像素坐标系的转换关系为：
3.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，扩展卡尔曼滤波器的测量矢量为雷达探测目标的位置和速度状态，第j个探测目标ωj在时间t的状态向量可以表示为：
4.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，融合网络采用了spd-conv模块替换yolov5骨干网络中五个cbs单元中步长为2的跨步卷积，得到对应的spd-cbs模块。
5.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，所述融合特征可表示为：
6.根据权利要求1所述的基于路侧相机和毫米波雷达的多尺度目标检测方法，其特征在于，空洞多尺度注意力模块由ema模块与级联空洞卷积...
【专利技术属性】
技术研发人员：赵双睿，葛玉虎，李光夏，沈玉龙，董学文，龚少田，杨筱，侯亚鹏，冯全瑞，李守文，杜启光，
申请(专利权)人：西安电子科技大学青岛计算技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。