一种基于雷达测距与图像识别的信息融合方法技术

本发明专利技术公开了一种基于雷达测距与图像识别的信息融合方法，涉及信息融合技术领域，第一步，将雷达测距模块及摄像头安装于输电杆塔上，雷达测距模块的法线及摄像头主轴与线路走向方向一致；第二步，通过倾角仪测量雷达测距模块的俯仰角及横滚角，通过磁力计或电子罗盘测量雷达测距模块的偏航角，进行雷达三维姿态角的确定；本发明专利技术实现输电线路附近施工机械类目标的识别及距离的准确测量，并对其与导线距离测量的结果在图像上进行融合；通过安装参数及摄像头设计参数输入，保证二者在坐标系上的统一，进而实现二者监测信息从三维到二维的映射，去除视觉畸变影响，保证雷达的测距信息与目标工程机械的准确对应

【技术实现步骤摘要】
一种基于雷达测距与图像识别的信息融合方法


[0001]本专利技术涉及信息融合
，尤其涉及一种基于雷达测距与图像识别的信息融合方法
。

技术介绍

[0002]随着人工智能技术的飞速发展及在输电线路图像监控装置中的落地应用，目前已经实现了输电线路通道内塔吊
、
吊车
、
水泥罐车
、
推土机等施工机械的有效识别
。
由于各类施工机械距离输电导线过近时，会产生导线对施工机械的放电现象，导致线路跳闸
、
人员伤亡等严重后果
。
因此，基于智能识别技术，将导线及输电线路通道内的隐患自动识别并推送，将在海量监控图片传输过程中快速筛选出隐患图片并及时告警，大幅提高线路监控效率及效果
。
[0003]然而目前随着隐患图片的不断增多，给图片的查看带来更大的工作压力
。
由于通过图像监控装置拍摄的图片天然存在物体近大远小
、
镜头畸变等情况，难以从图片上直接判断各类施工隐患目标距离导线或输电线路通道的具体距离，无法判断风险隐患等级，造成大量实际无隐患的图片频繁无效告警
。
因此，如果可以对各类施工机械进行距离测量，进而直接给出与导线的距离，可针对性进行隐患风险分级，避免无效隐患目标告警，进一步提高巡视效率
。
[0004]但在施工机械的距离测量过程中，存在摄像头畸变及测距雷达与图像参考坐标系不一致的问题，无法实现雷达测距信息与图像识别信息的有效融合及匹配，亟待通过摄像头参数校正及坐标变换实现输电线路工程机械隐患信息的准确距离测量；为此，我们提出了一种基于雷达测距与图像识别的信息融合方法
。

技术实现思路

[0005]本专利技术的目的在于提供一种基于雷达测距与图像识别的信息融合方法，通过借助雷达测距模块及摄像头，进行施工机械类目标的识别，并对其与导线距离测量的结果在图像上进行融合标注；雷达测距模块对导线下方及输电通道内的施工机械进行探测，当探测到相应装置时，在雷达装置中进行建模计算并将该距离信息转化到摄像头坐标系中，实现三维距离信息与图像二维信息的匹配，提高输电线路工程机械外破监测的距离准确性
。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：本专利技术实施例提供了一种基于雷达测距与图像识别的信息融合方法，该信息融合方法具体步骤如下：第一步，将雷达测距模块及摄像头安装于输电杆塔上，雷达测距模块的法线及摄像头主轴与线路走向方向一致；第二步，通过倾角仪测量雷达测距模块的俯仰角及横滚角，通过磁力计或电子罗盘测量雷达测距模块的偏航角，进行雷达三维姿态角的确定；第三步，通过倾角仪测量摄像头的俯仰角及横滚角，通过磁力计或电子罗盘测量
摄像头的偏航角，进行摄像头三维姿态角的确定；第四步，通过激光测距仪测量雷达中心与摄像头中心的水平偏移距离
、
顺线偏移距离及垂直偏移距离，进行两模块间相对位置的确定；第五步，将第二步至第四步中的测量参数输入至智能计算模块中，基于欧拉角法或四元素法，构建坐标变换矩阵，完成坐标变换，实现雷达测距信息及摄像头采集的图像采集信息参考坐标系全部转换到大地坐标系中；第六步，将摄像头畸变参数
、
焦距及存在的转动角度输入至智能计算模块中，进行视角坐标系转动及畸变消除，得到未产生畸变的图像；第七步，将雷达测距信息与摄像头采集的图像信息全部输入至智能计算模块中并重叠，在图像中智能识别的工程机械标注区域中寻找由该工程机械引起的雷达反射特征点，并在该区域中对特征点进行基于欧式距离的聚类，描绘工程机械外轮廓，进而实现在同一坐标系下三维物体特征在二维图片上的对应；第八步，测量并记录毫米波测距雷达在杆塔上的安装高度以及距离杆塔中心的偏移长度，同时测量本塔及对向杆塔的下相导线挂点高度及下相横担长度，在智能计算模块内完成塔线体系的建模流程；第九步，根据工程机械到雷达的距离与夹角，计算工程机械边界的反射点到导线的最短距离，并将该最短距离与二维图片中工程机械相重合的标注区域进行一一对应，进而完成雷达测距信息与图像识别信息的准确融合
。
[0007]作为本专利技术进一步的方案，所述雷达测距模块可为毫米波雷达或激光雷达，所述摄像头可为固定式摄像头或带云台的转动摄像头
。
[0008]作为本专利技术进一步的方案，所述雷达测距模块及摄像头与智能计算模块实现数据通信
。
[0009]相比于现有技术，本专利技术的有益效果在于：本专利技术将具备雷达测距模块
、
摄像头及智能计算模块的输电线路雷视融合监测装置安装于杆塔上，测量雷达安装高度
、
该档距内下相导线挂载位置，雷达与摄像头的相对三维距离及二者的姿态角，完成在装置内的塔线体系与雷视融合监测系统建模；通过雷达与摄像头的同步启动，同步采集输电线路附近是否存在工程机械；当存在时，雷达测距模块对该物体进行距离及角度测量，摄像头对该区域进行拍照并通过智能识别算法自动标注工程机械类型及外轮廓；在智能计算模块中，根据标注的外轮廓，在统一后的坐标系下对雷达反射点进行排序，取出距离导线最近的雷达反射点，并将该点对应的距导线距离赋值到该工程机械的识别结果，在二维图片中完成工程机械种类识别与距离测量的一一对应及有效融合；综上，本专利技术实现输电线路附近施工机械类目标的识别及距离的准确测量，并对其与导线距离测量的结果在图像上进行融合；通过安装参数及摄像头设计参数输入，保证二者在坐标系上的统一，进而实现二者监测信息从三维到二维的映射，去除视觉畸变影响，保证雷达的测距信息与目标工程机械的准确对应
。
附图说明
[0010]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实
施例一起用于解释本专利技术，并不构成对本专利技术的限制
。
[0011]图1为本专利技术实施例中雷达测距模块与摄像头图像信息融合方法的框架图
。
具体实施方式
[0012]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
实施例
[0013]参照图1，本专利技术提供的一种基于雷达测距与图像识别的信息融合方法，该信息融合方法具体步骤如下：第一步，将雷达测距模块及摄像头安装于输电杆塔上，雷达测距模块的法线及摄像头主轴与线路走向方向一致；其中，所述雷达测距模块可为毫米波雷达或激光雷达，所述摄像头可为固定式摄像头或带云台的转动摄像头
。
[0014]所述雷达测距模块及摄像头与智能计算模块实现数据通信
。
[0015]第二步，通过倾角仪测量雷达测距模块的俯仰角及横滚角，通过磁力计或电子罗盘测量雷达测距模块的偏航角，进行雷达三维姿态角的确定；第三步，通过倾角仪测量摄像头的俯仰角及横滚角，通过磁力计或电子罗盘测量摄像头的偏航角，进行摄像头三维姿态角的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于雷达测距与图像识别的信息融合方法，其特征在于，该信息融合方法具体步骤如下：第一步，将雷达测距模块及摄像头安装于输电杆塔上，雷达测距模块的法线及摄像头主轴与线路走向方向一致；第二步，通过倾角仪测量雷达测距模块的俯仰角及横滚角，通过磁力计或电子罗盘测量雷达测距模块的偏航角，进行雷达三维姿态角的确定；第三步，通过倾角仪测量摄像头的俯仰角及横滚角，通过磁力计或电子罗盘测量摄像头的偏航角，进行摄像头三维姿态角的确定；第四步，通过激光测距仪测量雷达中心与摄像头中心的水平偏移距离
、
顺线偏移距离及垂直偏移距离，进行两模块间相对位置的确定；第五步，将第二步至第四步中的测量参数输入至智能计算模块中，基于欧拉角法或四元素法，构建坐标变换矩阵，完成坐标变换，实现雷达测距信息及摄像头采集的图像采集信息参考坐标系全部转换到大地坐标系中；第六步，将摄像头畸变参数
、
焦距及存在的转动角度输入至智能计算模块中，进行视角坐标系转动及畸变消除，得到未产生畸变的图像；第七步，将雷达测距信息与摄像头采集的图像信息全部...

【专利技术属性】
技术研发人员：肖石连，丁强，马鹏，孙大伟，熊慧元，张沁，严强，
申请(专利权)人：江苏翰林正川工程技术有限公司，
类型：发明
国别省市：