一种基于雷达与图像数据融合的目标检测方法及系统技术方案

本发明专利技术公开了一种基于雷达与图像数据融合的目标检测方法和系统，所述方法包括编码器网络的对象检测，视锥体方法的数据关联以及雷达检测的图像特征补充。所述系统包括巡检区域环境感知模块、毫米波信号处理模块、点云分析与处理模块、深度学习计算机和显示模块，各模块之间采用有线或无线传输方式。本发明专利技术采用毫米波雷达作为巡检区域环境感知传感器设备，有效避免了光线等环境因素对安防系统性能的影响；通过读取目标所在子区域的雷达点云数据进行处理分析，减少了深度学习计算机处理巡检区域非动态冗余信息所带来的计算量，有效提高了目标检测的实时性。

【技术实现步骤摘要】
一种基于雷达与图像数据融合的目标检测方法及系统
本专利技术涉及输电线路的巡检领域，具体涉及一种基于雷达与图像数据融合的目标检测技术。
技术介绍
近年来，以现代信息技术为核心的输电线路智能化巡检技术发展速度较快，目的是实现重要对输电设备的状态监测、评估、检修、风险预警，以及在线数据收集与统计。提升输电线路运维检修的智能化水平，以积极的方式防治与应对输电事故的发生，对能源互联网安全有重要意义。随着航空工业技术与定位技术的不断进步，输电线路运维巡视方法也逐渐多样化，载人直升机、无人机等机巡方式以其高效、精确、适用范围广等特点在输电线路运维中得到推广应用。虽然该种巡检方式能有效避免现场人工登杆巡检的安全隐患，但整体工作量和资源消耗基本不变。在无人机自主巡检工作方面仍然存在着耗时耗力，效率低下的问题。为了实现无人机的自主巡检，通常对周围复杂环境进行建模以提供路径规划位置基准信息，进一步对建模环境中的巡检目标进行检测以进行路径规划，而如何检测建模环境中的巡检目标成为关键问题。
技术实现思路
本专利技术所要解决的技术问题是针对目标检测精度不足，提供了一种基于雷达与图像数据融合的目标检测方法，本专利技术所提出的目标检测方法适用于输电线路等巡检区域的目标检测，为输电设备的健康管理系统的建立奠定了基础，提高了电网巡检的智能化水平，推动了输变电的智能物联网与数字化管理平台的建设。本专利技术为解决上述技术问题采用以下技术方案：本专利技术提出一种基于雷达与图像数据融合的目标检测方法，包括步骤：（1）、基于编码器网络进行对象检测：采用CenterNet检测网络在图像上生成初步检测，使用全卷积编码器解码器主干网络提取图像特征，并使用DLA网络作为骨干网，通过提取的图像特征对图像上的对象中心点，以及对象2D尺寸、中心偏移、3D尺寸进行预测，为场景中的每个检测到的对象提供一个二维边界框以及一个初步的3D边界框；（2）、基于视锥体方法进行数据关联：将雷达检测结果与其在像面上的对应对象相关联，通过视锥体关联方法使用目标的二维边界框及其估计的深度和大小为目标创建一个3DRoI视锥体，缩小需要检查关联的雷达探测范围，使用估计目标深度、尺寸和旋转角度在目标周围创建RoI，进一步过滤掉与目标无关的雷达探测；（3）基于雷达检测进行图像特征补充：将关联后的目标的特征和雷达数据检测到的深度信息组成的特征图并联，进行3D目标深度、旋转和属性的回归；对于与目标相关的每次雷达检测，均生成三个以目标二维边界框为中心和内部为中心的热图通道。进一步的，本专利技术所提出的目标检测方法，步骤（1）中，是通过雷达发射无线电波以感应环境并测量反射波以确定目标位置，将检测到的目标报告为BEV中的2D点，提供到目标的方位角和径向距离。进一步的，本专利技术所提出的目标检测方法，步骤（2）中，是通过创建3DRoI截锥体的方法，忽略目标的二维边界框中任何超出这个截锥的点以缩小所需检查关联的雷达探测范围，其中使用引入参数δ控制RoI截锥体的大小，在创建目标周围RoI时，如果在该RoI内有多个雷达探测，则取最近的点作为该目标对应的雷达探测点。进一步的，本专利技术所提出的目标检测方法，步骤（3）中，是将生成的热图作为额外通道连接到图像特征，并利用特征作为二次回归头的输入，以重新计算目标位置；属性回归头针对不同目标类别估计不同属性，二次回归头由具有3×3内核的三个卷积层和随后的1×1卷积层组成，以生成所需的输出。进一步的，本专利技术所提出的目标检测方法，步骤（1）中，通过雷达发射无线电波以感应环境并测量反射波以确定目标位置，具体如下：（101）、毫米波雷达射频端生成的信号，一方面作为发射信号通过发射天线向巡检区域不同方向扩散，另一方面作为本振信号，与接收天线接收到的目标物体及环境物体反射回来的回波信号在混频器里进行混频处理，从而得到中频信号；中频信号中有目标和雷达径向距离的时延，可以得到目标相对雷达的距离；（102）、通过方位、俯仰接收波束数字合成，实现方位、俯仰接收波束的多波束数字合成；对多个波束信号的调频去斜处理，对调频三角波信号上升段和下降段分别去斜处理，实现目标距离的解耦合处理；（103）、采用快速傅里叶变换算法对每个接收波束的去斜回波信号进行频谱分析，得到频谱结果后利用调频连续波的频谱距离变换关系计算出目标的位置距离。本专利技术还提出一种基于雷达与图像数据融合的目标检测系统，包括巡检区域环境感知模块、毫米波信号处理模块、点云分析与处理模块、深度学习计算机和显示模块，各模块之间采用有线或无线传输方式，其中：所述巡检区域环境感知模块，由毫米波雷达组成，用于向巡检区域发射无线电信号，并接收反射信号，采集点云数据；所述毫米波信号处理模块，根据毫米波回波信号进行目标检测，获取目标位置参数；所述点云分析与处理模块，根据毫米波信号处理模块输出的目标的位置参数，读取巡检区域中检测到的目标所在子区域的点云数据，并将该点云数据投影到水平面上得到点云俯视图；所述深度学习计算机，根据点云分析与处理模块输出的点云俯视图，通过深度学习算法进行目标检测；所述显示模块，用于将巡检区域内识别的信息在平台上保存并显示，以通知运维人员进行检修。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术采用毫米波雷达作为巡检区域环境感知传感器设备，有效避免了光线等环境因素对安防系统性能的影响；本专利技术提出的目标检测方法通过毫米波雷达检测巡检区域的目标，读取目标所在子区域的雷达点云数据进行处理分析，减少了深度学习计算机处理巡检区域非动态冗余信息所带来的计算量，有效提高了目标检测的实时性；并且结合深度学习算法进行目标检测分类，通过为目标创建截头体缩小需要检查关联的雷达探测范围，以充分利用雷达数据，提高检测精度。附图说明图1为本专利技术提供的一种基于雷达与图像数据融合的目标检测方法流程图。图2为基于雷达和图像数据融合的目标检测采用的深度学习网络模型结构示意图。图3为本专利技术提供的一种基于雷达与图像数据融合的目标检测方法硬件结构图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：如图1所示，本专利技术提出了一种基于雷达与图像数据融合的目标检测方法，包括基于编码器网络的对象检测，基于视锥体方法的数据关联以及基于雷达检测的图像特征补充，具体流程如下：（1）基于编码器网络的对象检测，是采用CenterNet检测网络在图像上生成初步检测，使用全卷积编码器解码器主干网络提取图像特征，并使用DLA网络作为骨干网，通过提取的图像特征对图像上的对象中心点，以及对象2D尺寸（宽度和高度），中心偏移，3D尺寸等进行预测，为场景中的每个检测到的对象提供了一个准确的2D边界框以及一个初步的3D边界框。其中，通过雷达发射无线电波以感应环境并测量反射波以确定目标位置，将检测到的目标报告为BEV中的2D点，提供到目标的方位角和径向距离。...

【技术保护点】
1.一种基于雷达与图像数据融合的目标检测方法，其特征在于，包括步骤：/n（1）、基于编码器网络进行对象检测：/n采用CenterNet检测网络在图像上生成初步检测，使用全卷积编码器解码器主干网络提取图像特征，并使用DLA网络作为骨干网，通过提取的图像特征对图像上的对象中心点，以及对象2D尺寸、中心偏移、3D尺寸进行预测，为场景中的每个检测到的对象提供一个二维边界框以及一个初步的3D边界框；/n（2）、基于视锥体方法进行数据关联：/n将雷达检测结果与其在像面上的对应对象相关联，通过视锥体关联方法使用目标的二维边界框及其估计的深度和大小为目标创建一个3D RoI视锥体，缩小需要检查关联的雷达探测范围，使用估计目标深度、尺寸和旋转角度在目标周围创建RoI，进一步过滤掉与目标无关的雷达探测；/n（3）基于雷达检测进行图像特征补充：/n将关联后的目标的特征和雷达数据检测到的深度信息组成的特征图并联，进行3D目标深度、旋转和属性的回归；对于与目标相关的每次雷达检测，均生成三个以目标二维边界框为中心和内部为中心的热图通道。/n

【技术特征摘要】
1.一种基于雷达与图像数据融合的目标检测方法，其特征在于，包括步骤：
（1）、基于编码器网络进行对象检测：
采用CenterNet检测网络在图像上生成初步检测，使用全卷积编码器解码器主干网络提取图像特征，并使用DLA网络作为骨干网，通过提取的图像特征对图像上的对象中心点，以及对象2D尺寸、中心偏移、3D尺寸进行预测，为场景中的每个检测到的对象提供一个二维边界框以及一个初步的3D边界框；
（2）、基于视锥体方法进行数据关联：
将雷达检测结果与其在像面上的对应对象相关联，通过视锥体关联方法使用目标的二维边界框及其估计的深度和大小为目标创建一个3DRoI视锥体，缩小需要检查关联的雷达探测范围，使用估计目标深度、尺寸和旋转角度在目标周围创建RoI，进一步过滤掉与目标无关的雷达探测；
（3）基于雷达检测进行图像特征补充：
将关联后的目标的特征和雷达数据检测到的深度信息组成的特征图并联，进行3D目标深度、旋转和属性的回归；对于与目标相关的每次雷达检测，均生成三个以目标二维边界框为中心和内部为中心的热图通道。


2.根据权利要求1所述的目标检测方法，其特征在于，步骤（1）中，是通过雷达发射无线电波以感应环境并测量反射波以确定目标位置，将检测到的目标报告为BEV中的2D点，提供到目标的方位角和径向距离。


3.根据权利要求1所述的目标检测方法，其特征在于，步骤（2）中，是通过创建3DRoI截锥体的方法，忽略目标的二维边界框中任何超出这个截锥的点以缩小所需检查关联的雷达探测范围，其中使用引入参数δ控制RoI截锥体的大小，在创建目标周围RoI时，如果在该RoI内有多个雷达探测，则取最近的点作为该目标对应的雷达探测点。


4.根据权利要求1所述的目标检测方法，其特征在于，步骤（3）中，是将生成的热图作为额外通道连接到图像特征，并利用特征作为二次回归头的输入，以重新计算目标位置...

【专利技术属性】
技术研发人员：亓霈，金扬，张雨婷，钱伟行，万游，胡迪宇，方铭宇，杨涵，蔡洁萱，刘童，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32