基于三维实景模型的铁塔螺栓缺陷展示方法和系统技术方案

本发明专利技术提供了一种基于三维实景模型的铁塔螺栓缺陷展示方法和系统，通过航线规划实现无人机自动飞行，采集铁塔螺栓安装影像信息、拍摄位置坐标(平面、高程)及拍摄角度信息，进行POS解算、空三加密、三维建模等，构建出铁塔的实景三维模型，将铁塔的三维模型放置在三维地球上，采用深度学习智能图像识别算法对图像进行分析识别，定位缺陷所在的位置，在三维场景中标记成红色色块，根据三维模型上标记的缺损位置，结合所有照片的位置和姿态信息，利用前方交会的原理，计算螺栓缺陷的位置坐标，进行人工校核，保证了输电线路铁塔螺栓完整率检测，辅助现场施工验收，提升输电线路建设质量，降低人为因素引发的安全风险。

【技术实现步骤摘要】
基于三维实景模型的铁塔螺栓缺陷展示方法和系统
本专利技术属于电力线路验收的
，具体涉及一种基于三维实景模型的铁塔螺栓缺陷展示方法和系统。
技术介绍
近几年国内多次发生输变电线路倒塔事故，事故原因多为塔材、螺栓质量缺陷，产生事故主要是需要人工上塔，通过观察来判断螺栓缺陷，而具体验收质量往往受人员的体力、精神状态、职业素养等人为因素影响比较大。随着科技的发展，在很多行业中采用无人机替代人类完成空中作业，并且能够形成空中平台，无人机的设计概念最早应用于军工领域，由于军工设备具有较强的技术保密和行业垄断性质，民营企业和资本很难获得准入，随着世界范围内军民融合战略的实施和推进，近几年无人机技术在民用领域的应用获得长足发展，根据无人机应用领域，可分为消费级无人机和工业级无人机。消费级无人机主要应用于个人航拍，工业级无人机广泛应用于农业植保、国土勘测、安防和电力巡检等领域。近年来，国内电力行业针对无人机飞行器线路检测的研究也取得了一定的成果，例如：通过无人机上的紫外线检测仪进行输电线路的电晕放电监测研究，利用无人机进行输电线路巡检作业等，但是，现阶段的无人机在电力行业的应用还仅停留在通过无人机进行线路拍摄，从图像上观看输电线路的情况，代替人工上塔，对于采集到的图像及视频没有进行后续的处理和识别，检测结果还会受到人为因素的影响。
技术实现思路
针对以上问题，本专利技术提供了基于三维实景模型的铁塔螺栓缺陷展示方法和系统，采用三维铁塔模型和深度学习为基础的图像识别技术，对铁塔验收工作模式进行改进。基于三维实景模型的铁塔螺栓缺陷展示方法，其特征在于，包括以下步骤：步骤101，初始化，对无人机的RTK定位导航模块和IMU惯导模块进行初始化设置，并用人工手动遥控飞机的飞行路线，对无人机进行定位导航和惯导姿态校准；步骤102，建立高效的图像识别设备搭载平台，制定无人机飞行方案，输入设置好的飞行路线，设置无人机各种自动飞行的参数，进行无人机自动按照固定飞行路线进行高精度自动飞行，在预设位置和姿态进行动态拍照，并将拍摄信息回传至配套的地面站进行处理，从而通过航线规划实现无人机自动飞行采集铁塔螺栓安装影像信息；步骤103，根据无人机采集的铁塔螺栓安装影像、拍摄位置坐标(平面、高程)及拍摄角度信息进行POS解算、空三加密、三维建模等，构建出铁塔的实景三维模型；步骤104，加载三维地球，将铁塔的三维模型放置在三维地球上；步骤105，通过专用的检测平台，对无人机采集的高清图像数据进行管理，采用深度学习智能图像识别算法对图像进行分析识别，将缺损位置标记为一个基于图像平面坐标的矩形框，快速诊断铁塔螺栓安装是否存在遗漏，并通过深度学习技术不断提升算法准确度，保证铁塔螺栓缺陷的准确性；步骤106，根据螺栓缺损位置的平面坐标以及每一张照片经过空三测量恢复的照片摄影时的位置和姿态，通过深度学习算法分析，对影响数据进行缺陷分析，最终定位到缺陷所在的位置，计算出螺栓缺损处的空间位置；步骤107，螺栓缺损位置去重复，由于同一个螺栓缺损有可能被多次拍摄和识别，所以计算出的缺损处的空间位置有可能出现重复，设定一个空间距离的阈值，空间坐标之间的间距小于该距离，判定为同一个螺栓缺损；步骤108，空间位置去重的距离阈值设定，经过实验，确定为螺栓直径的2倍；步骤109，缺损位置的三维展示，根据去重后的螺栓缺损空间位置坐标，在三维场景中标记成红色色块；步骤110，缺损位置的检核，根据三维模型上标记的缺损位置，结合所有照片的位置和姿态信息，进行人工校核。所述的步骤103中构建铁塔的三维模型，是通过以下步骤实现的：步骤301，铁塔模型数据采集，使用无人机对铁塔的进行航拍，采集铁塔实际模型数据,及高程定位铁塔螺栓施工部位拍照；。步骤302，使用无人机对铁塔施工细节进行拍照，并采用高精度控制点坐标定位技术对采集数据进行解析，通过无线通讯模块或者存储介质将无人机的数据传输至地面站移动终端，进行数据解析现场采集数据，上传有网络的环境下(3G/4G信号)，可以将采集的模型数据、现场施工数据上传至数据应用层的地面站数据接口服务器，地面站数据接口服务器接收地面站传输的模型数据以及施工采集数据；步骤303，AI深度学习平台接收铁塔模型数据及施工采集数据，通过深度学习算法进行铁塔的三维模型训练得到最优训练模型。所述的步骤104，将铁塔的三维模型放置在三维地球上，通过以下步骤实现的：步骤401，通过坐标转换把RTK定位的观测成果，采用高精度控制点坐标定位技术，把RTK定位坐标转换成北京54坐标系或西安80坐标系；步骤402，误差包括RTK的测量误差和坐标转换误差，保证RTK的高精度,采用三个以上平面坐标已知点进行校正，已知点均匀分布于测区周围，利用坐标转换中误差对转换参数的精度进行误差矫正；步骤403，根据坐标转换的参数，把铁塔的三维模型放到三维地球上。所述步骤105中的螺栓缺损的图像识别，是通过以下步骤实现的：步骤501，对无人机采集的高清图像数据进行管理；步骤502，平台集成深度学习智能图像识别算法对图像进行分析识别；步骤503，对铁塔螺栓是否存在遗漏安装进行快速诊断。基于三维实景模型的铁塔螺栓缺陷展示系统，其特征在于，包括数据采集层、数据处理层、系统应用层、数据传输层和深度学习层，所述的数据采集层包括无人机和地面无人机工作站，所述的数据处理层是指地面站移动终端，所述的系统应用层包括应用服务器、地面站接口服务器和数据库服务器，所述的数据传输层采用电网内部的局域网，所述的深度学习层包括深度学习算法服务器、算法接口服务器和训练模型服务器，所述的数据处理层、数据应用层和深度学习层通过数据传输层的局域网连接在一起。所述的无人机和地面无人机工作站是通过无线通讯模块进行通讯，所述的无人机包括T55电源、IMU模块与激光雷达、云台相机和传感器Z30、RTK定位导航模块、无线通讯模块和超声波传感器，所述的T55电源、IMU模块与激光雷达、云台相机和传感器Z30、RTK定位导航模块、无线通讯模块和超声波传感器都加载到无人机上，所述的地面无人机工作站包括RTK基准模块、无线通讯模块、遥控器和无人机智能控制系统，RTK基准模块、无线通讯模块、遥控器设置在无人机智能控制系统上。所述的地面站移动终端置放于地面工作站内，通过网络传输层的局域网，与地面无人机工作站连接。本专利技术的有益效果是：1、本专利技术保证了输电线路铁塔螺栓完整率检测，辅助现场施工验收，提升输电线路建设质量，降低人为因素引发的安全风险。2、本专利技术可以有效弥补常规人工目视检查验收中可能出现的人工漏检情况，并对人工检查起到一定的补充、监督的作用，并且该方法可以保留验收时大量照片，为可能出现的问题追溯提供数据支撑。3、规范工程基建现场工作，提高铁塔螺栓安装验收质量，工程验收作为工程建设过程的关键环节，该项目成果的实施让验收过程留下影像记录，可本文档来自技高网...

【技术保护点】
1.基于三维实景模型的铁塔螺栓缺陷展示方法，其特征在于，包括以下步骤：/n步骤101，初始化，对无人机的RTK定位导航模块和IMU惯导模块进行初始化设置，并用人工手动遥控飞机的飞行路线，对无人机进行定位导航和惯导姿态校准；/n步骤102，建立高效的图像识别设备搭载平台，制定无人机飞行方案，输入设置好的飞行路线，设置无人机各种自动飞行的参数，进行无人机自动按照固定飞行路线进行高精度自动飞行，在预设位置和姿态进行动态拍照，并将拍摄信息回传至配套的地面站进行处理，从而通过航线规划实现无人机自动飞行采集铁塔螺栓安装影像信息；/n步骤103，根据无人机采集的铁塔螺栓安装影像、拍摄位置坐标(平面、高程)及拍摄角度信息进行POS解算、空三加密、三维建模等，构建出铁塔的实景三维模型；/n步骤104，加载三维地球，将铁塔的三维模型放置在三维地球上；/n步骤105，通过专用的检测平台，对无人机采集的高清图像数据进行管理，采用深度学习智能图像识别算法对图像进行分析识别，将缺损位置标记为一个基于图像平面坐标的矩形框，快速诊断铁塔螺栓安装是否存在遗漏，并通过深度学习技术不断提升算法准确度，保证铁塔螺栓缺陷的准确性；/n步骤106，根据螺栓缺损位置的平面坐标以及每一张照片经过空三测量恢复的照片摄影时的位置和姿态，通过深度学习算法分析，对影响数据进行缺陷分析，最终定位到缺陷所在的位置，计算出螺栓缺损处的空间位置；/n步骤107，螺栓缺损位置去重复，由于同一个螺栓缺损有可能被多次拍摄和识别，所以计算出的缺损处的空间位置有可能出现重复，设定一个空间距离的阈值，空间坐标之间的间距小于该距离，判定为同一个螺栓缺损；/n步骤108，空间位置去重的距离阈值设定，经过实验，确定为螺栓直径的2倍；/n步骤109，缺损位置的三维展示，根据去重后的螺栓缺损空间位置坐标，在三维场景中标记成红色色块；/n步骤110，缺损位置的检核，根据三维模型上标记的缺损位置，结合所有照片的位置和姿态信息，进行人工校核。/n...

【技术特征摘要】
1.基于三维实景模型的铁塔螺栓缺陷展示方法，其特征在于，包括以下步骤：
步骤101，初始化，对无人机的RTK定位导航模块和IMU惯导模块进行初始化设置，并用人工手动遥控飞机的飞行路线，对无人机进行定位导航和惯导姿态校准；
步骤102，建立高效的图像识别设备搭载平台，制定无人机飞行方案，输入设置好的飞行路线，设置无人机各种自动飞行的参数，进行无人机自动按照固定飞行路线进行高精度自动飞行，在预设位置和姿态进行动态拍照，并将拍摄信息回传至配套的地面站进行处理，从而通过航线规划实现无人机自动飞行采集铁塔螺栓安装影像信息；
步骤103，根据无人机采集的铁塔螺栓安装影像、拍摄位置坐标(平面、高程)及拍摄角度信息进行POS解算、空三加密、三维建模等，构建出铁塔的实景三维模型；
步骤104，加载三维地球，将铁塔的三维模型放置在三维地球上；
步骤105，通过专用的检测平台，对无人机采集的高清图像数据进行管理，采用深度学习智能图像识别算法对图像进行分析识别，将缺损位置标记为一个基于图像平面坐标的矩形框，快速诊断铁塔螺栓安装是否存在遗漏，并通过深度学习技术不断提升算法准确度，保证铁塔螺栓缺陷的准确性；
步骤106，根据螺栓缺损位置的平面坐标以及每一张照片经过空三测量恢复的照片摄影时的位置和姿态，通过深度学习算法分析，对影响数据进行缺陷分析，最终定位到缺陷所在的位置，计算出螺栓缺损处的空间位置；
步骤107，螺栓缺损位置去重复，由于同一个螺栓缺损有可能被多次拍摄和识别，所以计算出的缺损处的空间位置有可能出现重复，设定一个空间距离的阈值，空间坐标之间的间距小于该距离，判定为同一个螺栓缺损；
步骤108，空间位置去重的距离阈值设定，经过实验，确定为螺栓直径的2倍；
步骤109，缺损位置的三维展示，根据去重后的螺栓缺损空间位置坐标，在三维场景中标记成红色色块；
步骤110，缺损位置的检核，根据三维模型上标记的缺损位置，结合所有照片的位置和姿态信息，进行人工校核。


2.根据权利要求1所述的步骤103中构建铁塔的三维模型，是通过以下步骤实现的：
步骤301，铁塔模型数据采集，使用无人机对铁塔的进行航拍，采集铁塔实际模型数据,及高程定位铁塔螺栓施工部位拍照；。
步骤302，使用无人机对铁塔施工细节进行拍照，并采用高精度控制点坐标定位技术对采集数据进行解析，通过无线通讯模块或者存储介质将无人机的数据传输至地面站移动终端，进行数据解析现场采集数据，上传有网络的环境下(3G/4G信号)，...

【专利技术属性】
技术研发人员：葛亮，张福玲，毛鑫，侯荣金，徐静，宋家琪，赵连信，刘英，孟祥伟，李广晨，隋俊鹏，张智博，李志斌，胡博，贾高毅，杨永文，
申请(专利权)人：国网辽宁省电力有限公司朝阳供电公司，北京洛斯达科技发展有限公司，国家电网有限公司，
类型：发明
国别省市：辽宁;21