一种基于多视几何的螺栓缺陷空间定位方法技术

本发明专利技术提供了一种基于多视几何的螺栓缺陷空间定位方法，通过无人机拍摄的原始影像，利用多视几何理论和深度学习算法，采用图像识别技术，进行目标物提取和Sift关键点提取，对关键点进行多视几何运算，生成配对点，交叉查询，生成同名点集，计算每一个点所在影像的空三成果内外方位元素和镜头畸变参数，根据空间前方交会的原理，计算出同名点的物方空间坐标，通过聚类及去重，对螺栓缺陷进行定位，并展示在铁塔的三维模型上，使验收人员很清晰地看到缺陷的数量和位置，避免了人工漏检情况，保证了铁塔螺栓缺陷的精确检查，提高螺栓安装验收质量，保证了电力线路的连续供电运行。

【技术实现步骤摘要】
一种基于多视几何的螺栓缺陷空间定位方法
本专利技术属于电力线路验收的
，具体涉及一种基于多视几何的螺栓缺陷空间定位方法。
技术介绍
目前，在电力线路巡检和验收过程中，铁塔螺栓安装要求螺栓穿向一致美观，螺栓螺帽要求紧固，该项的判断主要通过观察螺帽是否贴合或使用扭矩扳手检查，另外螺栓数量要求和图纸一致，不允许少打漏打螺栓，螺栓螺杆为规则的圆柱形，螺帽为规则的六边形，未安装螺栓通过观察可以直接判别，但由于铁塔比较多，验收比较困难，所以大多数采用无人机进行航拍，但是大多数采用通过图像去观察，人为判断分析是否有缺陷，由于拍摄照片的畸变、相片重叠度不规则等弊端，造成无法准确判断缺陷的存在，给电力线路运行带来很大的隐患。
技术实现思路
针对电力线路的铁塔螺栓缺陷检查中存在的问题，本专利技术提供了一种基于多视几何的螺栓缺陷空间定位方法，利用多视几何理论和深度学习算法，采用图像识别技术，对铁塔螺栓缺陷进行空间定位，并把缺陷显示在铁塔的三维模型上。下面结合附图对本专利技术的
技术实现思路
作进一步详细说明。所述的一种基于多视几何的螺栓缺陷空间定位方法，通过以下步骤实现的：步骤S1，将无人机拍摄的原始影像，作为输入数据导入到深度学习网络模型，进行目标物提取，每一个探测出的目标物，会通过一个矩形框标记；步骤S2，对无人机拍摄的原始影像，进行Sift关键点提取，成果为一系列特征点的坐标；步骤S3，将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加，保留出现在矩形框范围内的关键点；r>步骤S4，将步骤S3保留的关键点进行多视几何运算，先为每一个关键点生成128维的特征描述子；再对每一张影像进行临近影像搜索，找到一系列临近影像；然后对每一张影像的一系列特征描述子，构建K维搜索树；最后每一张影像的K维搜索树，与它的临近影像的特征描述子进行特征匹配，生成配对点；步骤S5，将配对点对进行交叉查询，生成同名点集；步骤S6，利用同名点集，以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数，利用空间前方交会的原理，计算出同名点的物方空间坐标；步骤S7，将计算出来的所有物方空间坐标进行聚类及去重；步骤S8，根据计算出的空间坐标，对螺栓缺陷进行定位，并展示在铁塔的三维模型上。其中步骤S1中深度学习网络模型包括以下步骤：步骤101，标注样本数据，通过无人机进行铁塔螺栓的图像采集，进行标注样本数据，把样本数据保存到数据库中；步骤102，深度卷积特征提取，通过深度学习训练机进行深度卷积特征提取，包括预训练网络和深层卷积特征提取两个过程；步骤103，网络对比训练，深度卷积特征提取后，进行FasterR-CNN与YOLOV3网络对比训练，FasterR-CNN网络通过卷积特征图，通过候选区域生产网络、感兴趣区池化、全连接层和分类器进行训练，YOLOV3网络通过多尺度卷积特征，不用通过候选区域生产网络，直接进行先验框生产、标记框预处理、分类器进行训练；步骤104，训练学习和结果分析，经过FasterR-CNN与YOLOV3网络对比训练后，选择一种网络开始训练学习，判断是否满足要求，如果不能满足要求，通过调整模型参数，进行训练学习，直到满足要求后，形成训练结果模型，通过多次缺陷测试数据，进行精度评定，对调整模型参数和网络对比分析，形成最终的训练结果模型；步骤105，缺陷识别，通过网络把训练好的模型加载到地面站计算机的缺陷识别系统中，进行缺陷识别。其中步骤S2中包括以下步骤：步骤201，生成DOG(DifferenceofGaussian)金字塔，进行尺度空间构建；步骤202，空间极值点检测(关键点的初步查探)；步骤203，稳定关键点的精确定位；步骤204，稳定关键点方向信息分配；步骤205，关键点描述；步骤206，特征点匹配。其中步骤S6中包括以下步骤：步骤601，通过空三成果计算出外方位元素、内方位元素、镜头畸变参数；步骤602，利用空间前方交会的原理，计算出同名点的物方空间坐标。一种基于多视几何的螺栓缺陷空间定位方法，其特征在于包括铁塔螺栓数据采集平台、地面站数据处理平台和AI深度学习平台，所述铁塔螺栓数据采集平台的无人机智能控制系统通过内部网，与地面站数据处理平台的计算机连接，同时还连接到AI深度学习平台的应用服务器集群和深度学习服务器集群。所述的铁塔螺栓数据采集平台包括无人机、无线通信模块、遥控器和无人机智能控制系统。所述的地面站数据处理平台包括计算机、内部网、图形终端和数据存储。所述的AI深度学习平台包括应用服务器集群和深度学习服务器集群。本专利技术的有益效果是：1、本专利技术通过无人机对铁塔安装螺栓的图像数据采集，应用多视几何理论和深度学习算法，对螺栓缺陷进行空间定位后，显示在铁塔的三维模型上，使验收人员很清晰地看到缺陷的数量和位置，避免了人工漏检情况。2、本专利技术保证了铁塔螺栓缺陷的精确检查，提高螺栓安装验收质量。3、本专利技术通过航拍的图像进行采集、分析和处理后，根据处理后的图像特征，判断出线路的故障和缺陷，经过人工核实并处理，保证了电力线路的连续供电运行，附图说明图1为本专利技术具体实施方式中方法步骤图；图2为本专利技术具体实施方式中深度学习模型训练流程图；图3为本专利技术具体实施方式中方法总体流程图；图4为本专利技术具体实施方式中硬件架构图；图5为本专利技术具体实施方式中螺栓异常检测结果示意图；图6为本专利技术具体实施方式中螺栓正常检测结果示意图。图7为本专利技术具体实施方式中螺栓缺陷展示示意图。具体实施方式下面结合附图对本专利技术的
技术实现思路
作进一步详细说明。所述的一种基于多视几何的螺栓缺陷空间定位方法，如图1，通过以下步骤实现的：步骤S1，将无人机拍摄的原始影像，作为输入数据导入到深度学习网络模型，进行目标物提取，每一个探测出的目标物，会通过一个矩形框标记；步骤S2，对无人机拍摄的原始影像，进行Sift关键点提取，成果为一系列特征点的坐标；所述的Sift关键点提取采用Sfit算法，Sfit算法的实质是在不同的尺度空间上查找关键点(特征点)，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。步骤S3，将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加，保留出现在矩形框范围内的关键点；步骤S4，将步骤S3保留的关键点进行多视几何运算，先为每一个关键点生成128维的特征描述子；再对每一张影像进行临近影像搜索，找到一系列临近影像；然后对每一张影像的一系列特征描述子，构建K维搜索树；最后每一张影像的K维搜索树，与它的临近影像的特征描述子进行特征匹配，生成配对点；步骤S5，将配对点对进行交叉查询，生成同名点集；步骤S6，利用同名点集，以及每一个点所在影像的空三成本文档来自技高网...

【技术保护点】
1.一种基于多视几何的螺栓缺陷空间定位方法，其特征在于，包括以下步骤：/n步骤S1，将无人机拍摄的原始影像，作为输入数据导入到深度学习网络模型，进行目标物提取，每一个探测出的目标物，会通过一个矩形框标记；/n步骤S2，对无人机拍摄的原始影像，进行Sift关键点提取，成果为一系列特征点的坐标；/n步骤S3，将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加，保留出现在矩形框范围内的关键点；/n步骤S4，将步骤S3保留的关键点进行多视几何运算，先为每一个关键点生成128维的特征描述子；再对每一张影像进行临近影像搜索，找到一系列临近影像；然后对每一张影像的一系列特征描述子，构建K维搜索树；最后每一张影像的K维搜索树，与它的临近影像的特征描述子进行特征匹配，生成配对点；/n步骤S5，将配对点对进行交叉查询，生成同名点集；/n步骤S6，利用同名点集，以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数，利用空间前方交会的原理，计算出同名点的物方空间坐标；/n步骤S7，将计算出来的所有物方空间坐标进行聚类及去重；/n步骤S8，根据计算出的空间坐标，对螺栓缺陷进行定位，并展示在铁塔的三维模型上。/n...

【技术特征摘要】
1.一种基于多视几何的螺栓缺陷空间定位方法，其特征在于，包括以下步骤：
步骤S1，将无人机拍摄的原始影像，作为输入数据导入到深度学习网络模型，进行目标物提取，每一个探测出的目标物，会通过一个矩形框标记；
步骤S2，对无人机拍摄的原始影像，进行Sift关键点提取，成果为一系列特征点的坐标；
步骤S3，将步骤S1的成果矩形框和步骤S2的特征点坐标进行叠加，保留出现在矩形框范围内的关键点；
步骤S4，将步骤S3保留的关键点进行多视几何运算，先为每一个关键点生成128维的特征描述子；再对每一张影像进行临近影像搜索，找到一系列临近影像；然后对每一张影像的一系列特征描述子，构建K维搜索树；最后每一张影像的K维搜索树，与它的临近影像的特征描述子进行特征匹配，生成配对点；
步骤S5，将配对点对进行交叉查询，生成同名点集；
步骤S6，利用同名点集，以及每一个点所在影像的空三成果计算的外方位元素、内方位元素、镜头畸变参数，利用空间前方交会的原理，计算出同名点的物方空间坐标；
步骤S7，将计算出来的所有物方空间坐标进行聚类及去重；
步骤S8，根据计算出的空间坐标，对螺栓缺陷进行定位，并展示在铁塔的三维模型上。


2.根据权利要求1所述的一种基于多视几何的螺栓缺陷空间定位方法，其中步骤S1中深度学习网络模型包括以下步骤：
步骤101，标注样本数据，通过无人机进行铁塔螺栓的图像采集，进行标注样本数据，把样本数据保存到数据库中；
步骤102，深度卷积特征提取，通过深度学习训练机进行深度卷积特征提取，包括预训练网络和深层卷积特征提取两个过程；
步骤103，网络对比训练，深度卷积特征提取后，进行FasterR-CNN与YOLOV3网络对比训练，FasterR-CNN网络通过卷积特征图，通过候选区域生产网络、感兴趣区池化、全连接层和分类器进行训练，YOLOV3网络通过多尺度卷积特征，不用通过候选区域生产网络，直接进...

【专利技术属性】
技术研发人员：徐静，田宝树，郭鸷，葛亮，侯荣金，旋新悦，王晶晶，刘英，孟祥伟，李广晨，隋俊鹏，张智博，李志斌，胡博，贾高毅，杨永文，
申请(专利权)人：国网辽宁省电力有限公司朝阳供电公司，北京洛斯达科技发展有限公司，国家电网有限公司，
类型：发明
国别省市：辽宁;21