一种自动避障的树障清理空中机器人和避障方法技术

本发明专利技术公开了一种自动避障的树障清理空中机器人和避障方法，包括为空中机器人提供飞行动力的多旋翼平台、固定连接在多旋翼平台正下方的机身、布置于多旋翼平台下方位于机身两侧的两个纵向推进器、与机身纵向轴平行且固连于机身前端的前臂、与机身纵向轴平行且固连于机身后端的后臂、固连于前臂前端的刀具组件、固连于后臂后端的电池组、固连于多旋翼平台上部的激光雷达、布置在机身底部的测高雷达，多旋翼平台前侧、两侧和电池组后侧均布置有摄像头。本发明专利技术实现障碍物的实时监测，有利于实施空中机器人高精度的避障控制，适合于进入树障与导线密集相交区域实施清障作业。

【技术实现步骤摘要】
一种自动避障的树障清理空中机器人和避障方法
本专利技术涉及一种自动避障的树障清理空中机器人和避障方法，属于输电线路树障清理装置

技术介绍
树障是输电线路通道存在的一种安全隐患，表现为通道内树木的不断增生逐渐威胁到输电线路的运行安全。为此，各级电力部门每年都要投入大量的人力、物力与财力对辖区内的通道树障进行清理整治。目前的树障清理主要依赖于人工清理，存在着效率不高，安全风险大的不足，因此亟需一种电力线路通道树障自动清理空中机器人。空中机器人在对树障进行清理作业时，往往与输电线路、建筑物、其它树木等环境物体距离较近，一旦发生碰撞极易造成空中机器人损毁，以及环境物体特别是电力线路的损伤，导致严重的安全事故。因此，使树障清理空中机器人具备环境感知与自主避障的能力非常重要。
技术实现思路
本专利技术解决的技术问题是：提供一种自动避障的树障清理空中机器人和避障方法，能够实现线路通道附近障碍物位置感知与自主避障，清障效率高，安全风险低，以解决现有技术中存在的问题。本专利技术采取的技术方案为：一种自动避障的树障清理空中机器人，包括为空中机器人提供飞行动力的多旋翼平台、固定连接在多旋翼平台正下方的机身、安装于机身上的纵向推进器、与机身纵向轴平行且固连于机身前端的前臂、与机身纵向轴平行且固连于机身后端的后臂、固连于前臂前端的刀具组件、固连于后臂后端的电池组、安装于多旋翼平台上部中心的激光雷达、布置在机身底部的测高雷达，多旋翼平台前侧、两侧和电池组后侧均布置有摄像头。优选的，上述空中机器人还包括相互连接的信号处理器、飞行控制器和通信模块；激光雷达、摄像头和测高雷达连接到信号处理器的信号输入端，飞行控制器连接到多旋翼平台的动力模块、纵向推进器的驱动电机以及刀具组件的刀具控制器以及惯性测量单元、气压高度计、卫星导航接收机，通信模块用于向地面站传输飞行数据与机载图像。优选的，上述机身为前后狭长结构，空中机器人为左右对称。优选的，上述电池组包括向刀具组件、向多旋翼平台、向纵向推进器、向信号处理器、向飞行控制器和向机载传感器供电的电池。优选的，上述前臂为两段结构，并通过保护关节连接为一体，保护关节包括固定叉、十字轴、活动叉)、圆柱套、弹簧)和螺钉，固定叉、活动叉、圆柱套均为中空圆柱形，十字轴分别通过轴承与固定叉的前部、活动叉的后部连接，由此构成万向节，固定叉的后部与前臂的后段固连，圆柱套的前部与前臂的前段固连，圆柱套的后部以可轴向滑动、可相对旋转的套筒形式与活动叉的前部连接，弹簧为圆柱形，以包裹形式安装于固定叉、活动叉和圆柱套的外部，弹簧的两端通过两螺钉分别与固定叉和圆柱套固连。一种自动避障的树障清理空中机器人的避障方法，该方法步骤如下：1)安装激光雷达使其激光扫描线略高于多旋翼旋转平面，通过激光雷达对周围环境进行360度水平扫描，探测并感知空中机器人四周物体到激光雷达的距离；2)摄像头获取空中机器人前后左右的环境影像并送入信号处理器，然后采用机器视觉算法对输电线路通道内外的导线、杆塔、树木和其它物体进行识别与图像定位，其中，杆塔包含绝缘子和金具，其它物体包括建筑物、桥梁和山峦地形；3)将步骤1)所感知的二维距离信息与步骤2)所识别的障碍物进行信息融合，获得障碍物的距离信息进行空中机器人主动避障：——若所感知的障碍物为导线、杆塔、通道外树木和其它物体，且这些障碍物与空中机器人的距离≤预设的安全距离阈值，即令空中机器人实施主动避障控制，同时向地面监控站发送安全告警信息；——若所感知的障碍物为通道内的树木，则空中机器人实施清障，同时向地面监控站发送清障动作信息；——除了上述两种情况外，无需避障控制；4)通过向下安装的测高雷达探测空中机器人相对地面的高度，将此相对高度用于空中机器人的高度保持，以及空中机器人高度避障的依据。优选的，步骤2)采用机器视觉算法对环境物体进行识别与定位的方法如下：A)对于导线障碍物，采用直线参数化方法对其进行检测：首先，利用最大类间方差法将所有障碍物从背景中分割出并进行二值化，然后，对图像平面中所有像素值不为0的像素点进行直线建模，假设一个不为0的像素点坐标为(x,y)，则其必然属于一条直线，该直线的方程可表示为：ρ＝xcosθ+ysinθ其中ρ表示该点所属直线相对于原点坐标的距离，θ表示该直线相对于原点的法线与x轴正方向的夹角，通过在ρ-θ空间寻找最大值，将图像中的所有点转化为直线方程；最后，根据将夹角及长度满足一定阈值条件的直线识别为输电线并将其二维几何信息反馈给信息融合算法；B)对于杆塔和树木，采用深度卷积神经网络方法进行对象检测：首先，建立海量的杆塔和树木图像库，用于目标检测时的模型训练和检测。在建立图像库过程中，需要采集各种光照、角度、焦距、天气环境下的对象图像，并做标注；其次，建立检测网络模型。检测模型由5个卷积层、3个池化层和2个全连接层组成；检测模型将分为候选区选择、特征提取、对象的分类与检测框的回归三个部分组成；候选区选择采用SelectiveSearch方法对每张图像提取2000个RoIs；然后将这些RoIs进行卷积和池化操作，以提取RoIs的特征；对象的分类和检测将有两个输出：一个输出用来描述每个RoI所属类型的概率值p＝(p0,p1,...,pu)，概率p由最后一层的全连接层结合softmax计算得到；另一个输出层是boundingbox回归层，该层输出目标对象的坐标位置信息tu＝(txu,tyu,twu,thu)，其中，u为障碍物的个数索引，(x,y)表示目标对象的左上角坐标，(w,h)表示目标对象的宽度和高度，RoI为感兴趣区；对于每一个带标签的RoIs作类别训练和位置回归时，都将输出一个相应的ground-truth类型标签u和ground-truth的boundingbox回归目标v。然后计算多任务损失函数L：L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)其中，Lcls(p,u)＝-logpu为真实类别u的log损失；第二项回归损失函数Lloc是真实对象位置信息v＝(vx,vy,vw,vh)和预测对象位置信息之间的误差损失；参数λ用于平衡两个损失函数，可以取λ＝1；对于Lloc采用L1平滑损失函数：其中上式中，d＝tu-v；最后，将训练好的网络移植到带有GPU加速的嵌入式图像处理计算机上，实时对图像中的绝缘子进行标注并将其二维几何信息反馈给信息融合算法；C)线路通道外的树木和其它障碍物，均为空中机器人主动避障的目标，故不需识别具体对象，因此对于这类对象通过激光雷达进行探测即可，将距离小于阈值的物体作为障碍物；优选的，步骤3)信息融合的障碍物距离信息获取方法如下：首先，通过坐标变换将激光雷达采集到的距离信息与四向摄像头采集到的图像进行对准，得到图像中每个像素点相对于激光雷达的物理坐标；其次，将步骤2)中求出的导线、杆塔、树木和其它障碍物的二维几何信息通过坐标变换为三维信息，变换方法为：其中(x,y)为相机中一个像素点的二维坐标，(u0,v0)表示相机光心坐标，fx和fy分别表示相机在x和y方向上的焦距，障碍物实际相对图像中心的距离在x和y方向上的分量分别为X和Y，Z为导线所属直线(Zl)或绝缘子(Zd)所属矩形区域的平均距离；再次，找出激光雷达检本文档来自技高网...

【技术保护点】
1.一种自动避障的树障清理空中机器人，其特征在于：包括为空中机器人提供飞行动力的多旋翼平台(1)、固定连接在多旋翼平台(1)正下方的机身(2)、安装于机身(2)上的纵向推进器(3)、与机身(2)纵向轴平行且固连于机身(2)前端的前臂(4)、与机身(2)纵向轴平行且固连于机身(2)后端的后臂(5)、固连于前臂(4)前端的刀具组件(6)、固连于后臂(5)后端的电池组(7)、安装于多旋翼平台(1)上部中心的激光雷达(8)、布置在机身(2)底部的测高雷达(10)，多旋翼平台(1)前侧、两侧和电池组(7)后侧均布置有摄像头(9)。

【技术特征摘要】
1.一种自动避障的树障清理空中机器人，其特征在于：包括为空中机器人提供飞行动力的多旋翼平台(1)、固定连接在多旋翼平台(1)正下方的机身(2)、安装于机身(2)上的纵向推进器(3)、与机身(2)纵向轴平行且固连于机身(2)前端的前臂(4)、与机身(2)纵向轴平行且固连于机身(2)后端的后臂(5)、固连于前臂(4)前端的刀具组件(6)、固连于后臂(5)后端的电池组(7)、安装于多旋翼平台(1)上部中心的激光雷达(8)、布置在机身(2)底部的测高雷达(10)，多旋翼平台(1)前侧、两侧和电池组(7)后侧均布置有摄像头(9)。2.根据权利要求1所述的一种自动避障的树障清理空中机器人，其特征在于：还包括相互连接的信号处理器、飞行控制器和通信模块；激光雷达(8)、摄像头(9)和测高雷达(10)连接到信号处理器的信号输入端，飞行控制器连接到多旋翼平台(1)的动力模块、纵向推进器(3)的驱动电机、刀具组件(6)的刀具控制器以及惯性测量单元、气压高度计、卫星导航接收机，通信模块用于向地面站传输飞行数据与机载图像。3.根据权利要求1所述的一种自动避障的树障清理空中机器人，其特征在于：机身(2)为前后狭长结构，空中机器人为左右对称结构。4.根据权利要求1所述的一种自动避障的树障清理空中机器人，其特征在于：电池组(7)包括向刀具组件(6)、向多旋翼平台(1)、向纵向推进器(3)、向信号处理器、向飞行控制器和向机载传感器供电的电池。5.根据权利要求1所述的一种自动避障的树障清理空中机器人，其特征在于：前臂(4)为两段结构，并通过保护关节(12)连接为一体，保护关节(12)包括固定叉(1201)、十字轴(1202)、活动叉(1203)、圆柱套(1204)、弹簧(1205)和螺钉(1206)，固定叉(1201)、活动叉(1203)、圆柱套(1204)均为中空圆柱形，十字轴(1202)分别通过轴承与固定叉(1201)的前部、活动叉(1203)的后部连接，由此构成万向节，固定叉(1201)的后部与前臂(4)的后段固连，圆柱套(1204)的前部与前臂(4)的前段固连，圆柱套(1204)的后部以可轴向滑动、可相对旋转的套筒形式与活动叉(1203)的前部连接，弹簧(1205)为圆柱形，以包裹形式安装于固定叉(1201)、活动叉(1203)和圆柱套(1204)的外部，弹簧(1205)的两端通过两螺钉(1206)分别与固定叉(1201)和圆柱套(1204)固连。6.根据权利要求1-5任一所述的一种自动避障的树障清理空中机器人的避障方法，其特征在于：该方法步骤如下：1)安装激光雷达(8)使其激光扫描线高于多旋翼旋转平面，通过激光雷达(8)对周围环境进行360度水平扫描，探测并感知空中机器人四周物体到激光雷达(8)的距离；2)摄像头(9)获取空中机器人前后左右的环境影像并送入信号处理器，然后采用机器视觉算法对输电线路通道内外的导线、杆塔、树木和其它物体进行识别与图像定位，其中，杆塔包含绝缘子和金具，其它物体包括建筑物、桥梁和山峦地形；3)将步骤1)所感知的二维距离信息与步骤2)所识别的障碍物信息进行融合，获得障碍物的距离信息进行空中机器人主动避障：——若所感知的障碍物为导线、杆塔、通道外树木和其它物体，且这些障碍物与空中机器人的距离≤预设的安全距离阈值，即令空中机器人实施主动避障控制，同时向地面监控站发送安全告警信息；——若所感知的障碍物为通道内的树木，则空中机器人实施清障，同时向地面监控站发送清障动作信息；——除了上述两种情况外，无需避障控制；4)通过向下安装的测高雷达(10)探测空中机器人相对地面的高度，将此相对高度用于空中机器人的高度保持，以及进行空中机器人高度避障。7.根据权利要求6所述的一种自动避障的树障清理空中机器人的避障方法，其特征在于：步骤2)采用机器视觉算法对环境物体进行识别与定位的方法如下：A)对于导线障碍物，采用直线参数化方法对其进行检测：首先，利用最大类间方差法将所有障碍物从背景中分割出并进行二值化；然后，对图像平面中所有像素值不为0的像素点进行直线建模，假设一个不为0的像素点坐标为(x,y)，则其必然属于一条直线，该直线的方程可表示为：ρ＝xcosθ+ysinθ其中ρ表示该点所属直线相对于原点坐标的距离，θ表示该直线相对于原点的法线与x轴正方向的夹角，通过在ρ-θ空间寻找最大值，将图像中的所有点转化为直线方程；最后，根据将夹角及长度满足设定阈值条件的直线识别为输电线并将其二维几何信息反馈给信息融合算法；B)对于杆塔和树木，采用深...

【专利技术属性】
技术研发人员：张秋雁，杨忠，徐浩，胡国雄，韩家明，陶坤，王炜，王少辉，常乐，李捷文，
申请(专利权)人：贵州电网有限责任公司，南京太司德智能科技有限公司，
类型：发明
国别省市：贵州,52