一种基于无人机图像识别架空输电线路铁塔结构的方法技术

本发明专利技术公开了一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征在于，包括步骤：1）从无人机巡检图像上提取不同方向线段并描述其属性；2）检测并分类相邻多线段之间的连接特征；3）将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征；4）由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。本发明专利技术能够有效识别架空输电线路铁塔结构，适合在检测不出完整的铁塔的轮廓及其结构之间存在遮挡的情况下识别铁塔的结构。

【技术实现步骤摘要】
一种基于无人机图像识别架空输电线路铁塔结构的方法
本专利技术涉及无人机图像识别
，具体涉及一种基于无人机图像识别架空输电线路铁塔结构的方法。
技术介绍
近年来多旋翼无人机技术迅速发展，在农用植保、环境监测、安防，电力巡检等领域有广泛应用，特别是无人机巡检能大大提高对高压输电线路维护的效率。但无人机在进行业务飞行时，对地面操作人员提出了较高的要求，如无人机巡检带电的输电线路铁塔时，不仅要操作无人机进行安全飞行，而且还要操作无人机上安装的相机设备对铁塔进行有效拍摄，是一件操作难度较大的工作。多旋翼无人机在低空飞行时，可能拍摄到地面的各种人造设施，如输电线路铁塔、铁路、桥梁、公路、建筑物等。其中铁路、桥梁、公路具有显著的长平行线状特征，能有效与铁塔、建筑物区分。而铁塔与建筑物局部结构具有近似的线特征，造成不能正确识别铁塔或建筑物所在的位置区域；另一方面无人机拍摄的图像受复杂的背景纹理及光线影响较大，常提取不到完整的边缘轮廓，造成对铁塔结构不能正确的识别。铁塔是一种镂空的3D线结构，任意角度拍摄的铁塔，线结构之间还存在较严重的遮挡，进一步造成识别铁塔结构的困难。TDutta,HSharm,AVellaiappan.ImageAnalysis-BasedAutomaticDetectionofTransmissionTowersUsingAerialImagery.7thIberianConferenceonPatternRecognitionandImageAnalysis(IbPRIA),JUN17-19,2015.提出采用分割及铁塔灰度分布的分块方法检测杆塔区域，该方法可能会受到各种纹理背景干扰，其可靠性较差。OlivierSteiger,ErwanLucas,YannickMaret.Automaticdetectionoftransmissiontowers.IEEESENSORS,2014.提出了一种训练和检测结合的铁塔识别方法，但这种方法一方面需要大量的样本，另一方面没有考虑到铁塔内部结构可能呈现不同的形态。AndréFischer,ThomasH.Kolbe,FelicitasLang,etc.ExtractingBuildingsfromAerialImagesUsingHierarchicalAggregationin2Dand3D.ComputerVisionandImageUnderstanding.1998(11),72(2).提出建筑物屋顶形状的部件模型，提出特征层、特征聚类层、建筑部件层、建筑模型层四级聚类方法来检测建筑物的3D结构。XiaobaiLiu,YibiaoZhao,Song-ChunZhu.Single-View3DSceneParsingbyAttributedGrammar.IEEEConferenceonComputerVisionandPatternRecognition.2014.提出三层的树结构语法描述属性图来识别具有矩形形状的人造场景，基于特征描述了四个推理规则(排列、嵌套、立方体多面的排列、网状或片结构中排列的关系)来理解人造场景的内容。这些方法在底层特征提取较完备的条件下，通过其推理规则能获得较好的结果。在人造场景的识别方法中，Gestalt感知理论与局部特征检测起到重要作用。Gestalt感知理论用于分析人造对象稳定的、规则的简化结构特征，ChangCheng,AndreasKoschan,Chung-HaoChen,etc.OutdoorSceneImageSegmentationBasedonBackgroundRecognitionandPerceptualOrganization.IEEETransactionsonImageProcessing,2012(3),21(3).为识别自然场景中的人造对象，分析分割的区域之间的排列关系(相似性、对称关系、排列关系、强与弱的依附关系及近似性)来检测人造设施。陈韶斌，蔡超，丁明跃，周成平.基于知识推理的机场目标识别[J].红外与激光工程，2011(3),40(3)，感知线段排列特征识别建筑物区域和机场表示为“日”字形的直线结构来识别简单的人造对象的结构。VittorioFerrari,LoicFevrier,Fre′de′ricJurie,CordeliaSchmid.GroupsofAdjacentContourSegmentsforObjectDetection,IEEETransactionsOnPatternAnalysisandMachineIntelligence,2008(1),30(1).研究了k个相连的近似直线段轮廓(KAS)所构成的局部形状特征用于对象类的检测。当k等于2或3，生成了35个常用的局部特征，但在人造对象识别中不仅仅存在这些局部特征。对于3D人造对象的识别，V.Verma,R.Kumar,S.Hsu.3DBuildingDetectionandModelingfromAerialLIDARData,IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2006.由屋顶拓扑图建立3D对象模型及屋顶结构模型，进而构造封闭的屋顶结构图来识别建筑物或3D对象，R.Wessel,R.Klein.LearningtheCompositionalStructureofMan-MadeObjectsfor3DShapeRetrieval[C].3rdEUROGRAPHICSWorkshopon3DObjectRetrieval,2010(5).从特征选择与相似性测量，通过使用特征袋的方法,建立特征之间的相似性匹配来识别人造对象。这些方法均要求完备的轮廓特征，没有充分考虑到复杂的背景纹理干扰及像铁塔结构的严重遮挡情况。在每次无人机巡检时，会存在一些冗余的图像，如无人机在机动时拍摄的运动模糊图像，相机角度偏离所拍摄的没有输电线路或远距离的输电线路图像，这些图像对缺陷检测是无效的图像。本专利技术的目的是通过对自然场景中铁塔结构的精确识别，使得无人机能自动实现对铁塔目标的拍摄。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种基于无人机图像识别架空输电线路铁塔结构的方法，解决了目前不能有效地检测架空输电线路铁塔结构的问题。为了实现上述目标，本专利技术采用如下技术方案：一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征在于，包括步骤：1)从无人机巡检图像上提取不同方向线段并描述其属性；2)检测并分类相邻多线段之间的连接特征；3)将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征；4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤1)从无人机巡检图像上提取不同方向线段并描述其属性，具体步骤包括：一、对无人机巡检图像进行灰度化处理，生成二值图像；二、在生成的二值图像上，将线段构建为矢量线段，将不同方向的线段表示为：l＝{l1,l2,....,ln}，n为线段总数，任意一条线段li其属性描述为：(ci本文档来自技高网...

【技术保护点】
1.一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征在于，包括步骤：1)从无人机巡检图像上提取不同方向线段并描述其属性；2)检测并分类相邻多线段之间的连接特征；3)将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征；4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。

【技术特征摘要】
1.一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征在于，包括步骤：1)从无人机巡检图像上提取不同方向线段并描述其属性；2)检测并分类相邻多线段之间的连接特征；3)将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征；4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。2.根据权利要求1所述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤1)从无人机巡检图像上提取不同方向线段并描述其属性，具体步骤包括：一、对无人机巡检图像进行灰度化处理，生成二值图像；二、在生成的二值图像上，将线段构建为矢量线段，将不同方向的线段表示为：l＝{l1,l2,....,ln}，n为线段总数，任意一条线段li其属性描述为：(ci,si,ei,θi,Li,oi)，i为线段序号，i＝1～n，为线段li中心点坐标，为线段li起始点坐标，为线段li结束点坐标，θi为线段li角度，线段li长度为Li，oi＝(h,v,o+,o-)为线段li的方位；线段角度为-10°～10°视为水平线段，表示为h；小于-75°且大于-90°或大于75°且小于90°视为垂直线段，表示为v；10°～75°视为斜上线段，表示为o+；-75°～-10°视为斜下线段，表示为o-。3.根据权利要求2所述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述对无人机巡检图像进行灰度化处理，生成二值图像，具体为：采用8个不同方向的Prewitt算子处理巡检图像，提取巡检图像边缘信息，通过最大类间二差法生成二值图像，并用Blob连通结构管理所有不同方向的线段。4.根据权利要求2所述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤2)检测并分类相邻多线段之间的连接特征，具体步骤包括：在线段集合中，读取一条线段li，遍历其余任意一条线段lj，j＝1～n，首先，计算线段li起始点与线段lj是否存在共线，判断方法为：若其中：d(si,sj)为线段li起始点与线段lj起始点的距离；d(si,ej)为线段li起始点与线段lj结束点的距离，T为距离阈值，其取值范围为0≤T≤64，||表示或的关系；且若两条线段li、lj的长度满足：0.3≤Tr≤1，则线段li与线段lj具有共连接端点，其中：线段li的长度表示为Li，线段lj的长度表示为Lj；收集线段li所有起始点的共端点线段，表示为：Cs(i)；收集线段li所有结束点的共端点线段，表示为：Ce(i)，按如下规则，对共端点线段进行分类：一、L型两相邻线段检测：线段li的共端点集合Cs(i)、Ce(i)满足如下条件，则检测出线段li与相邻线段之间为L型，共端点线段：1)若cs(i)＝0&&ce(i)≠0或cs(i)≠0&&ce(i)＝0，线段li仅一个端点有共连接线段；2)所有与线段li共端点的线段是起始点连接或结束点连接；3)线段li与所有共端点线段之间的角度差Lθ的范围为：75°≤Lθ≤105°；若线段li与所有共端点线段之间的角度差Lθ的范围为：25°≤θdiff≤75°，则判断两相邻线段之间为∠形，将三角形结构视为两个存在公共边的∠形结构组合，两个∠形结构非公共边的端点满足相交条件，将满足条件的线段聚类为三角形结构；二、U型三相邻线段检测：线段li的共端点集合Cs(i)、Ce(i)满足如下条件，则检测出线段li与相邻线段之间为U型共端点线段：1)如果cs(i)≠0&&ce(i)≠0，线段li起始端点与结束端点均有共连接线段；2)所有与线段li共端点的线段是起始点连接或结束点连接；3)线段li与所有共端点线段之间的度差θdiff的范围为：75°≤θdiff≤105°；三、Y型的线段的检测，若与线段li共端点线段数目多于两条，按顺时针方向，两两相邻线段的夹角至少有两个大于等于90°，则判决为Y型结点模型；四、共端点K型的线段检测，若与线段li共端点线段数目多余两条，按顺时针方向，两两相邻线段的夹角至少有两个小于90。，则判决为K型结点模型；五、交叉X型线段检测，假设任意两条线段li、lj，其方位分别为：且且且且这四种情况的两两线段，oj为线段lj的方位，计算两条线段的交点r＝(rx,ry)，rx,ry分别为两条线段交点的横坐标和纵坐标；若满足：与且与两条线段li、lj的长度满足：其中：0.3≤T≤1，则将两条线段归类X型交叉形状；六、星型结构检测，所有构成该结构的线段中心点相交于点P，以P点为端点重新分割组成该结构的线段，任意线段总是存在另一条以点P为端点的共线线段，若线段li,lj,lk...满足：式中，条件(1)表明所有线段中点相交，||ci,cj||表示线段li，lj中心点之间的欧式距离，ci,cj,ck分别表示线段li，lj，lk的中心点坐标，Tc表示距离阈值；条件(2...

【专利技术属性】
技术研发人员：张静，单超，李辉，马营，郝后堂，钟平，余晓明，
申请(专利权)人：国电南瑞科技股份有限公司，
类型：发明
国别省市：江苏,32