基于视觉定位的无人机自主巡线方法技术

本发明专利技术涉及一种基于视觉定位的无人机自主巡线方法，属于无人机导航与控制技术领域。本发明专利技术利用摄像头获取图像，经过图像预处理、特征提取与视觉定位，得到无人机当前的精准定位；通过设计的位置控制算法，利用视觉定位获得的位置信息完成无人机导航，实现无人机自主巡线任务。解决了传统惯性导航系统定位误差随时间积累、GPS导航系统自主性能差且易受干扰等问题，具有识别迅速，定位精度高，稳定性强等优点；能够代替人工遥控操作，实现长航时无人机按照预定路线自主巡检，具有自主性、可靠性和安全性。本发明专利技术将为架空输电线路的巡检工作提供新的平台。

【技术实现步骤摘要】
基于视觉定位的无人机自主巡线方法
本专利技术涉及一种基于视觉定位的无人机自主巡线方法，属于无人机导航与控制

技术介绍
随着国民生活水平的提高和社会的进步，我国输配电网公里数持续增加。同时，输配电网线路跨区分布，点多面广，所处地形复杂，环境恶劣。而输电线路长期暴露在野外，受到材料老化、雷击闪络、覆冰、树障、鸟害、持续的机械张力以及人工建筑等因素的影响，容易产生磨损、倒塌、断股、腐蚀等现象。如不及时进行设备状态诊断及预警，将影响到电网的安全运行与稳定。因此，对输配电网线路进行巡视及设备状态预警，是保证电网安全稳定运行的重要一环。相比于传统人工巡检、固定翼无人机巡检及直升机巡检等方式，多旋翼无人机巡检由于其可悬停、巡检效率高，自主性强、人力成本低等特点，在电力线路巡检中得到了广泛应用。而实现无人机自主飞行与巡线的关键就是实现高精度的定位与导航，目前无人机主要依靠惯性导航系统(INS)和全球定位系统(GPS)进行导航。然而，惯性导航系统具有定位误差随时间快速积累、对初始值过于敏感等缺点，且高精度的惯性导航系统不但重量和体积较大，且造价昂贵；GPS导航系统自主性能差，容易受干扰，信息更新速率较低，且存在较大的误差。
技术实现思路
本发的明目的是为了解决多旋翼无人机进行电力线路巡检时，由于导航定位精度低、稳定性差等原因而导致难以实现自主巡检的问题，提供了一种基于视觉定位的无人机自主巡线方法。该方法利用摄像头获取图像，经过图像预处理、特征提取与视觉定位，得到无人机当前的精准定位；通过设计的位置控制算法，利用视觉定位获得的位置信息完成无人机导航，实现无人机自主巡线任务。本专利技术的目的是通过以下技术方案实现的：步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理。首先对彩色图像进行灰度化处理，采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像。Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)(1)其中R、G、B分别为图像中每个像素的红色、绿色、蓝色分量，Gray为灰度值，(i,j)为像素点的坐标。从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，需要进行滤波处理，为了保证在滤去干扰的同时保护图像的边缘信息，采用双边滤波方法法，滤波结果BF可以表示为：其中Ip为像素值，GS为空间距离权重，可表示为：Gr为像素值权重，可表示为：Wq为滤波窗口内每个像素值的权重和，用于权重的归一化，可表示为：在平坦区域，滤波器中每个像素点的Gr值相近，空间距离权重GS主导滤波效果。在边缘区域，边缘同侧的Gr值相近，且远大于边缘另一侧的Gr值，此时另一侧的像素点的权重对滤波结果几乎不影响，边缘信息得到保护。在平坦区域出现噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点也有滤除效果。步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线。经过对比分析，选择了FLD直线检测算法进行线段提取，相比于传统霍夫变换与LSD直线检测，FLD具有识别效果好、速度快的优点，更加适合视觉定位的快速性要求。FLD直线检测算法能识别出图像中所有的直线线段，为了从中提取出需要目标特征，需要设计直线融合算法，利用识别出线段的角度和长度，去除无关线段，然后分组进行拟合，得到所需直线。FLD直线检测算法得到的结果是图像中所有线段的两个端点坐标，利用端点坐标计算出每条线段在像素坐标系下的极坐标(ρ,θ)和长度，由于目标特征是线路和杆塔，其角度是已知的，首先去掉角度不符的无关线段，只保留与目标角度接近的线段。然后根据ρ的大小不同，分成若干组，并计算每组线段的长度和，去掉长度过小的组，即可得到目标直线。步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置。相机成像过程实际上是三维世界的物体向二维成像平面投影的过程，根据相机成像原理，首先得到相机坐标系下三维物体投影到成像平面的公式：其中，Oxy为图像坐标系，即为成像平面，OCXCYCZC相机坐标系，其原点位于镜头光心处，f为相机焦距，(x,y)为图像坐标系下一点的坐标，(XC,YC,ZC)为相机坐标系下一点的坐标。由于图像在计算机中以像素的方式储存，需要像素坐标系反映相机CCD/CMOS芯片中像素的排列情况，原点位于图像的左上角，u轴、v轴分别与像面的两垂直边平行，单位是像素，图像坐标系可按照下式转换到像素坐标系：其中dx、dy为相机内参，表示像素在x轴、y轴方向上的物理尺寸，(u0，v0)为主点(图像原点)坐标。而视觉定位的原理与相机成像过程正好相反，目的是从像素坐标系反推出三维世界的位置信息，当摄像头正对线路时，拍摄到的图像为的两条水平直线，首先将像素坐标系转换为图像坐标系，公式如下：y1＝v1dy-vodyy2＝v2dy-vody(8)其中y1、y2分别为两条线路在图像坐标系中的纵坐标，v1、v2分别为两条线路在像素坐标系中的纵坐标。然后根据成像原理与两条输电线的位置关系，得到方程组：其中d为两条输电线路之间的水平距离，h为两条输电线路之间的垂直距离，Y1、Y2分别为无人机与两条输电线路之间的水平距离，Z1、Z2分别为无人机与两条输电线路之间的垂直距离。整理得：由此可知，只需要两条已知位置关系的输电线，并且保证摄像机正对线路，即可通过视觉定位算法的到无人机与输电线路的水平与垂直距离，从而可以保证无人机在巡线过程中的安全距离。当无人机拍摄到杆塔时，可以利用直线识别与融合，得到杆塔的两条轮廓线，从而计算出杆塔的垂直中心线，利用杆塔中心线在像素坐标系中的位置，可以的到无人机在前进方向(与线路方向平行)的位置：其中X为无人机与杆塔垂直中心线之间的沿输电线路方向的距离，x为杆塔垂直中心线在图像坐标系下的横坐标。步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。利用视觉定位获得的无人机相对于输电线路的精准位置信息作为位置反馈，设计位置控制器，使无人机按照期望路线进行自主飞行。首先控制节点发送起飞指令，无人机起飞，使无人机悬停在大致巡线距离并保证相机云台正对输电线路，启动视觉定位节点并对视觉定位输出结果进行卡尔曼滤波，得到无人机与输电线路水平和垂直距离作为初始值。然后进入第一阶段，利用惯性导航信息控制无人机沿着输电线路匀速飞行并保证无人机与输电线路的距离恒定且在安全范围内，同时计算视觉定位结果与惯导信息的差值并进行累加，每隔一定的时间间隔判断累积误差是否大于设定阈值，若大于阈值，则对惯导信息进行修正，否则继续累积误差并进行下一次判断。当无人机接近杆塔时本文档来自技高网...

【技术保护点】
1.基于视觉定位的无人机自主巡线方法，其特征在于，包括如下步骤：/n步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理；/n步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线；/n步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置；/n步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。/n

【技术特征摘要】
1.基于视觉定位的无人机自主巡线方法，其特征在于，包括如下步骤：
步骤一：图像预处理，对摄像头获取的原始图像进行灰度化与滤波处理；
步骤二：图像特征提取，包括直线检测与融合，得到输电线路与杆塔轮廓线；
步骤三：视觉定位，利用融合得到的目标特征计算出无人机当前位置；
步骤四：设计位置控制器，实现无人机精准导航与自主巡线任务。


2.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤一的实现方法为：
首先对彩色图像进行灰度化处理，采用加权平均法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均；由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像；
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)(1)
其中R、G、B分别为图像中每个像素的红色、绿色、蓝色分量，Gray为灰度值，(i,j)为像素点的坐标；
从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，需要进行滤波处理，为了保证在滤去干扰的同时保护图像的边缘信息，采用双边滤波方法法，滤波结果BF可以表示为：



其中Ip为像素值，GS为空间距离权重，可表示为：



Gr为像素值权重，可表示为：



Wq为滤波窗口内每个像素值的权重和，用于权重的归一化，可表示为：



在平坦区域，滤波器中每个像素点的Gr值相近，空间距离权重GS主导滤波效果；在边缘区域，边缘同侧的Gr值相近，且远大于边缘另一侧的Gr值，此时另一侧的像素点的权重对滤波结果几乎不影响，边缘信息得到保护；在平坦区域出现噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点也有滤除效果。


3.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤二的实现方法为：
经过对比分析，选择了FLD直线检测算法进行线段提取，相比于传统霍夫变换与LSD直线检测，FLD具有识别效果好、速度快的优点，更加适合视觉定位的快速性要求；
FLD直线检测算法能识别出图像中所有的直线线段，为了从中提取出需要目标特征，需要设计直线融合算法，利用识别出线段的角度和长度，去除无关线段，然后分组进行拟合，得到所需直线；
FLD直线检测算法得到的结果是图像中所有线段的两个端点坐标，利用端点坐标计算出每条线段在像素坐标系下的极坐标(ρ,θ)和长度，由于目标特征是线路和杆塔，其角度是已知的，首先去掉角度不符的无关线段，只保留与目标角度接近的线段；然后根据ρ的大小不同，分成若干组，并计算每组线段的长度和，去掉长度过小的组，即可得到目标直线。


4.如权利要求1所述的基于视觉定位的无人机自主巡线方法，其特征在于，步骤三的实现方法为：
相机成像过程实际上是三维世界的物体向二维成像平面投影的过程，根据相机成像原理，首先得到相机坐标系下三维物体投影到成像平面的公式：



...

【专利技术属性】
技术研发人员：邵云峰，李闯，张涵羽，马中静，邹苏郦，刘永强，范益民，任海鹏，魏炜，李斌，任津京，
申请(专利权)人：国网山西省电力公司吕梁供电公司，北京理工大学，
类型：发明
国别省市：山西;14