输电线路无人机自主巡检自适应成像质量优化方法技术

本发明专利技术公开了一种输电线路无人机自主巡检自适应成像质量优化方法，依次通过基于无人机空间位置误差阈值的事件触发循环控制技术、基于云台姿态位置误差阈值的事件触发循环控制技术、基于拉普拉斯算子图像清晰度阈值的事件触发循环对焦技术，从照片拍摄角度、镜头对焦情况、照片清晰程度等几个方面对巡检照片的成像质量进行了检测，并采取了相应的方法进行优化，保证照片的最终成像质量；采用迭代思想，从拍摄位置、机头方向、云台相机姿态信息对照片拍摄角度进行逐步优化，提高照片拍摄角度精度，使目标设备尽可能位于图像中心位置，便于后续对焦和清晰度调整等，确保成像质量；同时，减少云台相机姿态的调整幅度，降低机械损耗。

Adaptive imaging quality optimization method for autonomous inspection of transmission line UAV

【技术实现步骤摘要】
输电线路无人机自主巡检自适应成像质量优化方法
本专利技术涉及输电线路无人机巡检拍摄
，具体而言涉及一种输电线路无人机自主巡检自适应成像质量优化方法。
技术介绍
无人机在近年来一直是航空领域的研究热点，其具有使用便利，成本低，飞行精度高，机动灵活，易于智能化等优点，得到了越来越广泛的应用，如影像拍摄、灾害检测、电力巡检、农业植保等领域。近年来，无人机在电力巡检的运用已取得了相当的成就。相对传统的人工巡检，依靠人工爬塔，检查电塔设备，如绝缘子破损，螺栓老化的现象，工作强度高，风险大，以及巡检效率低，无人机依靠其稳定的空间位置控制，以及高清快速的实时图传，帮助巡检人员，可以在地面操控飞机，远距离对铁塔进行检查。无人机采集的主要的数据类型是图像，实际生产过程中，由于设备的精度误差以及环境变化，会造成获取的图像内容偏移目标物，对焦失败、图像模糊等问题，我们需要对这些数据的质量做出评估和筛选。现阶段的常规方法是采用人工检验筛选和图像识别检测，或两者结合的方法进行数据过滤。依赖人工校检的方式，在数据量较小的情况下，能够准确定位不合格的照片。但是当需要处理大规模的数据时，依赖纯人工的检验往往是一件不可行的方式。如通过倾斜摄影技术，为一个区域做一个高精度三维模型，需要采集的照片在数千张，甚至上万张，如果通过人工筛选，会是一个巨大的工作量。而通过图像识别算法处理图像，由于算法本身就存在着误差，筛选结果也是无法让人满意。数据筛选的难度主要在于需要筛选数据量大，如果能在照片采集的前期就对照片的成像质量进行检验，对不合格的照片进行补拍修正，减少废片的数量，提高照片对目标物体的捕捉准确度，将大大减少后期数据处理的工作量，有效提高工作效率。有鉴于上述现有技术存在的问题，本专利技术结合相关领域多年的设计及使用经验，辅以过强的专业知识，设计制造了一种输电线路无人机自主巡检自适应成像质量优化方法，来克服上述缺陷。
技术实现思路
本专利技术目的在于提供一种输电线路无人机自主巡检自适应成像质量优化方法，依次通过基于无人机空间位置误差阈值的事件触发循环控制技术、基于云台姿态位置误差阈值的事件触发循环控制技术、基于拉普拉斯算子图像清晰度阈值的事件触发循环对焦技术，从照片拍摄角度、镜头对焦情况、照片清晰程度等几个方面对巡检照片的成像质量进行了检测，并采取了相应的方法进行优化，保证照片的最终成像质量。为达成上述目的，结合图1，本专利技术提出一种输电线路无人机自主巡检自适应成像质量优化方法，所述优化方法包括：S1，控制无人机到达任务点，识别目标对象，确认目标对象的空间位置信息和对应的理论拍摄参数，所述理论拍摄参数至少包括该目标对象对应的理论拍摄位置、理论无人机姿态；S2，实时获取无人机的位置信息和姿态信息，结合理论拍摄位置和理论无人机姿态，执行第一事件触发循环控制流程，依次修正无人机的位置信息和姿态信息，使修正后的无人机位置信息与理论拍摄位置之间的位置偏差小于设定位置偏差阈值，以及修正后的无人机姿态与理想无人机姿态之间的姿态偏差小于设定姿态偏差阈值，所述理想无人机姿态是结合无人机实际位置信息对理论无人机姿态进行修正后得到；S3，结合无人机实时位置信息与目标对象的空间位置信息，执行第二事件触发循环控制流程以初步修正云台相机姿态数据，使实际的镜头视野和期待的镜头视野之间的重合度百分比达到设定重合度阈值；S4，结合无人机实时位置信息、云台相机姿态数据和目标对象外形特征，计算得到目标对象相对于镜头视野的理想区域范围，根据目标对象在镜头视野上的实际位置，采用视觉引导技术，对云台进行精调，使识别到的目标对象位于对应的理想区域范围内；S5，根据识别到的目标设备在镜头中的实际位置信息初步调整相机焦距后，截取图传画面，对图传画面的清晰度进行计算，根据计算得到的图传画面的清晰度对相机角距进行微调，直至图传画面的清晰度满足预设的清晰度阈值；S6，执行拍摄动作，完成对当前目标对象的巡检任务。作为其中一种优选例，步骤S1中，所述识别目标对象，确认目标对象的空间位置信息和对应的理论拍摄参数包括以下步骤：S11，采用TensorFlow框架创建用于识别对巡检的目标电力设备的MobileNetV2深度神经网络模型；S12，采集一定量包含目标电力设备的现场巡检照片，标注后生成样本集，导入MobileNetV2深度神经网络模型进行迭代训练；S13，将训练完成后的MobileNetV2深度神经网络模型部署到控制终端，对无人机传回来的实时图像进行识别；S14，根据识别结果确认目标电力设备在图传画面内的位置坐标以及设备类型。作为其中一种优选例，步骤S2中，所述执行第一事件触发循环控制流程，依次修正无人机的位置信息和姿态信息的过程包括以下步骤：S21，实时获取包括经度、纬度、海拔在内的无人机当前位置参数和包括机头方向在内的姿态参数；S22，结合无人机当前位置参数和规划的理论拍摄位置，计算两者之间的实际距离，推算出无人机当前位置相对于理论拍摄位置之间的偏移距离，如果偏移距离大于预设的距离偏差阈值，向无人机发送飞行控制命令，修正无人机的空间位置，直到两者之间的偏移距离小于预设的距离偏差阈值，进入步骤S23，否则，直接进入步骤S23；S23，结合无人机的实际空间位置和理论空间位置，修正规划的目标机头方向，得到修正后的理论机头方向；S24，将无人机的实时机头方向与理论机头方向的偏差进行比较，如果无人机的实时机头方向与理论机头方向的角度偏差大于设定角度偏差阈值，向无人机发送机头旋转命令，修正无人机的机头方向，直到角度偏差小于设定角度偏差阈值。作为其中一种优选例，步骤S22中，所述结合无人机当前位置参数和规划的理论拍摄位置，计算两者之间的实际距离，推算出无人机当前位置相对于理论拍摄位置之间的偏移距离的过程包括以下步骤：S221，设无人机当前位置为A点，规划的理论拍摄位置为B点；S222，将地球视为一个标准的球体，取其平均半径作R为球体半径，设A点的经纬度为(LonA，LatA)，B点的经纬度为(LonB，LatB)，按照0度经线的基准，东经取经度的正值(Longitude)，西经取经度负值(-Longitude)，北纬取90-纬度值(90-Latitude)，南纬取90+纬度值(90+Latitude)，经过上述处理过后的A点和B点被定义为(MLonA，MLatA)和(MLonB，MLatB)；S223，根据三角公式推导，根据下述公式计算得到A点和B点之间的水平距离D：C＝sin(MLatA)×sin(MLatB)×cos(MLonA-MLonB)+cos(MLatA)×cos(MLatB)S224，近似认为A点和B点在同一平面内，忽略地球表面的曲面，通过A点和B点的海拔高度值计算得到两点之间的海拔高度差Δh，结合前述水平距离D，由勾股定理计算得到A点和B点之间的实际距离d：d＝sqrt(Δh2+D2)d即无人机的本文档来自技高网...

【技术保护点】
1.一种输电线路无人机自主巡检自适应成像质量优化方法，其特征在于，所述优化方法包括：/nS1，控制无人机到达任务点，识别目标对象，确认目标对象的空间位置信息和对应的理论拍摄参数，所述理论拍摄参数至少包括该目标对象对应的理论拍摄位置、理论无人机姿态；/nS2，实时获取无人机的位置信息和姿态信息，结合理论拍摄位置和理论无人机姿态，执行第一事件触发循环控制流程，依次修正无人机的位置信息和姿态信息，使修正后的无人机位置信息与理论拍摄位置之间的位置偏差小于设定位置偏差阈值，以及修正后的无人机姿态与理想无人机姿态之间的姿态偏差小于设定姿态偏差阈值，所述理想无人机姿态是结合无人机实际位置信息对理论无人机姿态进行修正后得到；/nS3，结合无人机实时位置信息与目标对象的空间位置信息，执行第二事件触发循环控制流程以初步修正云台相机姿态数据，使实际的镜头视野和期待的镜头视野之间的重合度百分比达到设定重合度阈值；/nS4，结合无人机实时位置信息、云台相机姿态数据和目标对象外形特征，计算得到目标对象相对于镜头视野的理想区域范围，根据目标对象在镜头视野上的实际位置，采用视觉引导技术，对云台进行精调，使识别到的目标对象位于对应的理想区域范围内；/nS5，根据识别到的目标设备在镜头中的实际位置信息初步调整相机焦距后，截取图传画面，对图传画面的清晰度进行计算，根据计算得到的图传画面的清晰度对相机角距进行微调，直至图传画面的清晰度满足预设的清晰度阈值；/nS6，执行拍摄动作，完成对当前目标对象的巡检任务。/n...

【技术特征摘要】
1.一种输电线路无人机自主巡检自适应成像质量优化方法，其特征在于，所述优化方法包括：
S1，控制无人机到达任务点，识别目标对象，确认目标对象的空间位置信息和对应的理论拍摄参数，所述理论拍摄参数至少包括该目标对象对应的理论拍摄位置、理论无人机姿态；
S2，实时获取无人机的位置信息和姿态信息，结合理论拍摄位置和理论无人机姿态，执行第一事件触发循环控制流程，依次修正无人机的位置信息和姿态信息，使修正后的无人机位置信息与理论拍摄位置之间的位置偏差小于设定位置偏差阈值，以及修正后的无人机姿态与理想无人机姿态之间的姿态偏差小于设定姿态偏差阈值，所述理想无人机姿态是结合无人机实际位置信息对理论无人机姿态进行修正后得到；
S3，结合无人机实时位置信息与目标对象的空间位置信息，执行第二事件触发循环控制流程以初步修正云台相机姿态数据，使实际的镜头视野和期待的镜头视野之间的重合度百分比达到设定重合度阈值；
S4，结合无人机实时位置信息、云台相机姿态数据和目标对象外形特征，计算得到目标对象相对于镜头视野的理想区域范围，根据目标对象在镜头视野上的实际位置，采用视觉引导技术，对云台进行精调，使识别到的目标对象位于对应的理想区域范围内；
S5，根据识别到的目标设备在镜头中的实际位置信息初步调整相机焦距后，截取图传画面，对图传画面的清晰度进行计算，根据计算得到的图传画面的清晰度对相机角距进行微调，直至图传画面的清晰度满足预设的清晰度阈值；
S6，执行拍摄动作，完成对当前目标对象的巡检任务。


2.根据权利要求1所述的输电线路无人机自主巡检自适应成像质量优化方法，其特征在于，步骤S1中，所述识别目标对象，确认目标对象的空间位置信息和对应的理论拍摄参数包括以下步骤：
S11，采用TensorFlow框架创建用于识别对巡检的目标电力设备的MobileNetV2深度神经网络模型；
S12，采集一定量包含目标电力设备的现场巡检照片，标注后生成样本集，导入MobileNetV2深度神经网络模型进行迭代训练；
S13，将训练完成后的MobileNetV2深度神经网络模型部署到控制终端，对无人机传回来的实时图像进行识别；
S14，根据识别结果确认目标电力设备在图传画面内的位置坐标以及设备类型。


3.根据权利要求1所述的输电线路无人机自主巡检自适应成像质量优化方法，其特征在于，步骤S2中，所述执行第一事件触发循环控制流程，依次修正无人机的位置信息和姿态信息的过程包括以下步骤：
S21，实时获取包括经度、纬度、海拔在内的无人机当前位置参数和包括机头方向在内的姿态参数；
S22，结合无人机当前位置参数和规划的理论拍摄位置，计算两者之间的实际距离，推算出无人机当前位置相对于理论拍摄位置之间的偏移距离，如果偏移距离大于预设的距离偏差阈值，向无人机发送飞行控制命令，修正无人机的空间位置，直到两者之间的偏移距离小于预设的距离偏差阈值，进入步骤S23，否则，直接进入步骤S23；
S23，结合无人机的实际空间位置和理论空间位置，修正规划的目标机头方向，得到修正后的理论机头方向；
S24，将无人机的实时机头方向与理论机头方向的偏差进行比较，如果无人机的实时机头方向与理论机头方向的角度偏差大于设定角度偏差阈值，向无人机发送机头旋转命令，修正无人机的机头方向，直到角度偏差小于设定角度偏差阈值。


4.根据权利要求1所述的输电线路无人机自主巡检自适应成像质量优化方法，其特征在于，步骤S22中，所述结合无人机当前位置参数和规划的理论拍摄位置，计算两者之间的实际距离，推算出无人机当前位置相对于理论拍摄位置之间的偏移距离的过程包括以下步骤：
S221，设无人机当前位置为A点，规划的理论拍摄位置为B点；
S222，将地球视为一个标准的球体，取其平均半径作R为球体半径，设A点的经纬度为(LonA，LatA)，B点的经纬度为(LonB，LatB)，按照0度经线的基准，东经取经度的正值(Longitude)，西经取经度负值(-Longitude)，北纬取90-纬度值(90-Latitude)，南纬取90+纬度值(90+Latitude)，经过上述处理过后的A点和B点被定义为(MLonA，MLatA)和(MLonB，MLatB)；
S223，根据三角公式推导，根据下述公式计算得...

【专利技术属性】
技术研发人员：黄郑，潘志新，王红星，柏仓，王永强，高超，朱洁，刘斌，
申请(专利权)人：江苏方天电力技术有限公司，国网江苏省电力有限公司，
类型：发明
国别省市：江苏;32