一种工厂巡视无人机自主路径巡航以及智能避障方法技术

本发明专利技术公开了一种基于旋翼无人机的用于工厂安全巡视的自主巡航和智能避障方法，使用摄像头拍摄路径标识线，并选定采样区域；对二值化标识线进行Canny运算处理，获取标识线边缘，使用概率霍夫变换检测图像中线段；判断线段数目，若线段数目为4，则进入直角弯检测，否则进入曲线检测；根据不同的检测结果进行自主巡航；飞行过程中使用深度图数据、障碍物距离数据和超声波数据获取障碍物数据；采用基于Follow‑Wall行为的不完全人工势场法自主避障。本发明专利技术能够根据标识线的实际形状运用不同算法对图像处理，实现对路径跟踪；基于Follow‑Wall行为的不完全人工势场法，避免了人工势场法的不足，使无人机遇到障碍物时能够沿障碍物边缘运动，直到预定地点。

A factory inspection method for autonomous path cruise and intelligent obstacle avoidance for UAVs

The invention discloses an autonomous cruise and intelligent obstacle avoidance method based on the rotor unmanned aerial vehicle (UAV) for factory safety inspection. It uses the camera to shoot the path identification line and selects the sampling area. The two value identification line is processed by Canny operation, the line edge of the identification line is obtained, and the probability Hof transform is used to detect the line segment in the image; The number of line segments, if the number of line segments is 4, goes into the right angle curve detection, or else into the curve detection; according to the different detection results for autonomous cruising; in the flight process, the depth map data, obstacle distance data and ultrasonic data are used to obtain the obstacle data; an incomplete artificial potential field method based on the Follow Wall behavior is used. Avoid obstacles independently. The invention can apply different algorithms to image processing according to the actual shape of the identification line to track the path, and the incomplete artificial potential field method based on the Follow Wall behavior avoids the shortage of artificial potential field method, so that the unmanned aerial vehicle can be moved along the edge of the obstacle when the unmanned aerial vehicle meets the obstacle until the predetermined location.

【技术实现步骤摘要】
一种工厂巡视无人机自主路径巡航以及智能避障方法
本专利技术涉及路径巡航以及智能避障
，特别是涉及一种工厂巡视无人机自主路径巡航以及智能避障方法。
技术介绍
安全巡检是保障工厂正常生产的前提，合格可靠的巡视系统是对工厂线路、设备等实现量化管理的手段，是实现企业信息化管理的重要措施。传统工厂巡检存在以下弊端：部分巡检地点环境恶劣，可能对人员造成身体、心理等影响；人工巡检信息手动输入，存在工作量大、速度慢、易出错、数据管理不便等问题；长时间巡检造成人员疲惫，降低巡检质量等。为解决上述问题，移动无人机、安防巡逻无人机、无人机等系统应运而生。美国公司开发的安保无人机“安全卫士”，其在DJIS-1000+的基础上进行改进，添加了备用计算机、摄像机等外部硬件，可以实现智能避障、自主飞行等功能。国内使用无人机对铁路线路进行空中巡检，降低劳动强度。但对于一般的工厂车间室内巡检，由于GPS信号较差，借助GPS导航定位实现自主飞行存在不足。本专利技术采用机器视觉进行路径巡航，实现无人机室内自主避障。
技术实现思路
为了解决上述存在的问题，本专利技术提供一种工厂巡视无人机自主路径巡航以及智能避障方法，本专利技术使用曲线检测方法与直角弯检测方法对标识线分别处理，控制程序流程，使无人机根据不同路径状态巡航，并采用基于Follow-Wall行为的不完全人工势场法，避免了人工势场法的不足，使无人机遇到障碍物时能够沿障碍物边缘运动，直至到达预定地点，为达此目的，本专利技术提供一种工厂巡视无人机自主路径巡航以及智能避障方法，利用机器视觉技术和避障算法进行自主巡航和避障，包括以下步骤：步骤1：使用Guidance摄像头拍摄路径标识线，对图像滤波、阈值分割、形态学运算等一系列处理，达到地面作为背景、标识线作为目标的二值化图像；步骤2：对步骤1得到的二值化图像Canny运算处理，获取标志线边缘，使用概率霍夫变换检测图像中线段数目；步骤3：判断步骤2中检测到的线段数目，如果线段数目为4则进入直角弯检测程序，否则进入曲线检测程序；步骤4：无人机正常工作在Ground坐标系下，当Md[F]≤4m时，飞机进入预备避障程序。Md[F]为无人机前面测得的障碍物距离；步骤5：采用基于Follow-Wall行为的不完全人工势场法自主避障，直到绕过障碍物。本专利技术的进一步改进，所述工厂巡视无人机为四旋翼无人机或六旋翼无人机。本专利技术的进一步改进，所述的步骤3中曲线检测方法如下：步骤3.1：指针遍历步骤1得到的二值化图像，提取取样区域内标识线左右边缘坐标，分别记为L(i,j)和R(i,j)，并计算第j行标识线中心点坐标：其中，i和j表示图像的行和列；步骤3.2：分别对图像处理区域1和图像处理区域2重复上述步骤N1次和N2次，得到采样区域中点坐标，利用最小二乘法拟合出图像处理区域1和2中的中心线l1和l2；步骤3.3：将l1和l2中心点连接起来得到直线l，即为路径拟合直线，直线l表示为：步骤3.4：利用拟合直线相对于图像中心的位置得到标识线相对于无人机中心的偏航角和偏移距离：其中，b＝y1-ax1。本专利技术的进一步改进，所述的步骤3中直角弯检测方法如下：步骤3.5：利用概率霍夫变换函数提取线段的端点坐标，分别计算四条线段的方程l1，l2，l3，l4；步骤3.6：利用线段与x轴夹角判断四条线段是否两两平行，设平行角度差值为εα＝1°，当εα≥||α2|-α1||满足条件时，说明线段l1和l2平行，否则不平行；步骤3.7：根据四条线段的端点坐标求平均得两条拟合线段的端点坐标，得出拟合线段lf1和lf2的方程，并计算拟合线段斜率kf和夹角αf：其中，kf1和kf2为拟合线段lf1和lf2的斜率；步骤3.8：进一步比较拟合线段的中心位置与设定阈值之间的关系，判断无人机所处直角弯的状态：拐弯前、拐弯后、左直角弯、右直角弯；设置vx，vy，vyaw相关参数对飞行控制。本专利技术的进一步改进，所述的步骤5中智能避障方法如下：步骤5.1：使用深度图数据、障碍物距离数据和超声波数据，设计障碍物最小距离选择法；步骤5.2：建立避障数据表，采用基于Follow-Wall行为的不完全人工势场法进行智能避障，当无人机到达P点时，选择一个合适的方向，沿着障碍物边缘行动，直至无人机绕过障碍物到达指定地点；避障数据表中主要数据有：Yaw：Ground系中机体航向的偏航角；YawAngle：Ground系中目标位置相对于无人机位置的偏角；Md[]：前F后B左L右R下D测得的障碍物；State：避障程序中无人机所处的状态。本专利技术提供一种工厂巡视无人机自主路径巡航以及智能避障方法，使用摄像头拍摄路径标识线，并选定采样区域；对二值化标识线进行Canny运算处理，获取标识线边缘，使用概率霍夫变换检测图像中线段；判断线段数目，若线段数目为4，则进入直角弯检测，否则进入曲线检测；根据不同的检测结果进行自主巡航；飞行过程中使用深度图数据、障碍物距离数据和超声波数据获取障碍物数据；采用基于Follow-Wall行为的不完全人工势场法自主避障。本专利技术能够根据标识线的实际形状运用不同算法对图像处理，实现对路径跟踪；基于Follow-Wall行为的不完全人工势场法，避免了人工势场法的不足，使无人机遇到障碍物时能够沿障碍物边缘运动，直到预定地点。附图说明图1为本专利技术路径标识线简图；图2为本专利技术直角弯图像简图；图3为本专利技术导航流程图；图4为本专利技术障碍物最小距离选择法流程图；图5为本专利技术巡航避障图；图6为本专利技术不完全人工势场法避障流程图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：本专利技术提供一种工厂巡视无人机自主路径巡航以及智能避障方法，本专利技术使用曲线检测方法与直角弯检测方法对标识线分别处理，控制程序流程，使无人机根据不同路径状态巡航，并采用基于Follow-Wall行为的不完全人工势场法，避免了人工势场法的不足，使无人机遇到障碍物时能够沿障碍物边缘运动，直至到达预定地点。一种用于工厂巡检的无人机自主巡航和智能避障方法，具体包括以下步骤：步骤1：Guidance底部摄像头拍摄路径标识线如图1所示，图像坐标系为x0y，x正方向朝右，y正方向朝下。图像宽高为320X240像素，在图像上下半部分各选取处理区域1和处理区域2作为标识线边缘坐标提取区域。对图像滤波、阈值分割、形态学运算等一系列处理，达到地面作为背景、标识线作为目标的二值化图像。步骤2：对步骤1得到的二值化图像Canny运算处理，获取标志线边缘，使用概率霍夫变换检测图像中线段数目。如果线段数目为4则进入如图2所示直角弯检测程序，否则进入曲线检测程序。其中导航流程图如图3所示；曲线导航步骤：(1)采用指针遍历图像的方法，对上述步骤1中选定区域内标识线左右边缘坐标提取。假设实际图像处理中可以检测到的路径是在第j行获取的(20≤j＜100)，图像处理区域1中第j行的左边缘坐标L(i,j)，右边缘坐标为R(i,j)，则第j行标识线中心点坐标为：重复上述(1)N1次得到图像处理区域1中路径中点坐标，重复N2次得到图像处理区域2中路径中点坐标。(2)根据上述得到的一系列路径中心点坐标，利用最小二乘法拟合出图像处理区域1和2中的中心线l1和l2，方程分别为：(3)将l1和l2中本文档来自技高网...

【技术保护点】
一种工厂巡视无人机自主路径巡航以及智能避障方法，利用机器视觉技术和避障算法进行自主巡航和避障，包括以下步骤，其特征在于：步骤1：使用Guidance摄像头拍摄路径标识线，对图像滤波、阈值分割、形态学运算等一系列处理，达到地面作为背景、标识线作为目标的二值化图像；步骤2：对步骤1得到的二值化图像Canny运算处理，获取标志线边缘，使用概率霍夫变换检测图像中线段数目；步骤3：判断步骤2中检测到的线段数目，如果线段数目为4则进入直角弯检测程序，否则进入曲线检测程序；步骤4：无人机正常工作在Ground坐标系下，当Md[F]≤4m时，飞机进入预备避障程序。Md[F]为无人机前面测得的障碍物距离；步骤5：采用基于Follow‑Wall行为的不完全人工势场法自主避障，直到绕过障碍物。

【技术特征摘要】
1.一种工厂巡视无人机自主路径巡航以及智能避障方法，利用机器视觉技术和避障算法进行自主巡航和避障，包括以下步骤，其特征在于：步骤1：使用Guidance摄像头拍摄路径标识线，对图像滤波、阈值分割、形态学运算等一系列处理，达到地面作为背景、标识线作为目标的二值化图像；步骤2：对步骤1得到的二值化图像Canny运算处理，获取标志线边缘，使用概率霍夫变换检测图像中线段数目；步骤3：判断步骤2中检测到的线段数目，如果线段数目为4则进入直角弯检测程序，否则进入曲线检测程序；步骤4：无人机正常工作在Ground坐标系下，当Md[F]≤4m时，飞机进入预备避障程序。Md[F]为无人机前面测得的障碍物距离；步骤5：采用基于Follow-Wall行为的不完全人工势场法自主避障，直到绕过障碍物。2.根据权利要求1所述的一种工厂巡视无人机自主路径巡航以及智能避障方法，其特征在于：所述工厂巡视无人机为四旋翼无人机或六旋翼无人机。3.根据权利要求1或2所述的一种工厂巡视无人机自主路径巡航以及智能避障方法，其特征在于：所述的步骤3中曲线检测方法如下：步骤3.1：指针遍历步骤1得到的二值化图像，提取取样区域内标识线左右边缘坐标，分别记为L(i,j)和R(i,j)，并计算第j行标识线中心点坐标：其中，i和j表示图像的行和列；步骤3.2：分别对图像处理区域1和图像处理区域2重复上述步骤N1次和N2次，得到采样区域中点坐标，利用最小二乘法拟合出图像处理区域1和2中的中心线l1和l2；步骤3.3：将l1和l2中心点连接起来得到直线l，即为路径拟合直线，直线l表示为：步骤3.4：利用拟合直线相对于图像中心的位置得到标识线...

【专利技术属性】
技术研发人员：张志胜，赵坤坤，戴敏，张增雷，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32