无人机巡航管道隐患分析方法、装置及系统制造方法及图纸

本申请提供一种无人机巡航管道隐患分析方法、装置及系统。其中，所述方法包括：获取预先生成的航线信息，航线信息包括无人机的航线以及飞行参数信息；航线包括多个航点，航点是基于目标航油管道巡视区域的三维点云模型确定的；利用无人机按照航线信息进行自动巡视，得到目标航油管道的巡视视频；将巡视视频中的每一图像逐一输入隐患分析模型中，以输出每一图像的隐患分析结果；隐患分析结果包括隐患类别以及隐患位置，隐患类别包括：建筑物类别、施工工地类别以及施工机械类别；基于各图像隐患分析结果中的隐患位置以及预设感兴趣区域，确定各图像对应位置的目标航油管道是否存在安全隐患。全隐患。全隐患。

【技术实现步骤摘要】
无人机巡航管道隐患分析方法、装置及系统


[0001]本专利技术涉及人工智能
，尤其涉及一种无人机巡航管道隐患分析方法、装置及系统。

技术介绍

[0002]随着无人机巡视技术的发展，无人机越来越多的应用于航油管道的日常巡检工作。
[0003]目前利用无人机巡检航油管道，大多通过人工控制无人机的方式完成既定路线的飞行巡视任务，然后，人工对无人机巡检视频进行拼接并处理，以识别航油管道的安全隐患。然而，该方法在识别安全隐患的过程中，需要消耗大量人力和时间成本来完成飞行控制和数据处理工作，人工飞行巡视任务的任务量大，不不能够及时识别航油管道存在的安全隐患。

技术实现思路

[0004]本申请提供一种无人机巡航管道隐患分析方法、装置及系统，以及时对航油管道安全隐患进行识别。
[0005]本申请提供一种无人机巡航管道隐患分析方法，所述方法包括：
[0006]获取预先生成的航线信息，所述航线信息包括无人机的航线以及飞行参数信息；所述航线包括多个航点，所述航点是基于目标航油管道巡视区域的三维点云模型确定的；
[0007]利用无人机按照所述航线信息进行自动巡视，得到所述目标航油管道的巡视视频；
[0008]将所述巡视视频中的每一图像逐一输入隐患分析模型中，以输出每一图像的隐患分析结果；其中，所述隐患分析模型是利用样本图像，以及样本图像的隐患结果进行训练得到的，所述隐患分析结果包括隐患类别以及隐患位置，所述隐患类别包括：建筑物类别、施工工地类别以及施工机械类别；
[0009]基于各图像隐患分析结果中的隐患位置以及预设感兴趣区域，确定各图像对应位置的目标航油管道是否存在安全隐患。
[0010]进一步的，所述方法还包括：
[0011]将目标航油管道周围预设范围内的区域确定为巡视区域；
[0012]采集所述巡视区域的点云数据，得到所述目标航油管道的目标点云数据；
[0013]基于所述目标点云数据以及预设的控制点坐标，生成所述目标航油管道的三维点云模型；其中，所述控制点坐标为预先采集的所述巡视区域内目标地物的真实坐标；
[0014]基于所述三维点云模型中高度大于地物坐标预设阈值的点，确定多个航点；
[0015]在所述三维点云模型中将所述多个航点进行连接，生成所述目标航油管道对应的航线；
[0016]为所述航线设置飞行参数信息，得到航线信息；所述飞行参数信息包括飞行速度、
拍摄距离以及拍摄姿态中的至少一项。
[0017]进一步的，所述隐患分析模型为基于YOLOv4的目标检测模型，所述隐患分析模型包括输入模块、主干网络、颈部网络以及输出模块，所述主干网络采用CSPDarknet53结构，所述颈部网络包括空间金字塔池化SPP网络模块、特征金字塔网络FPN结构以及路径聚合网络PAN结构；采用如下方式，训练所述隐患分析模型：
[0018]获取多个样本图像；
[0019]对所述样本图像中目标航油管道的隐患类别和隐患位置进行标注，得到样本数据集；
[0020]从所述样本数据集中确定训练样本数据，所述训练样本数据包含多个第一样本图像以及各第一样本图像的隐患类别和隐患位置；
[0021]将各所述第一样本图像输入所述输入模块中进行图像预处理，以得到预处理图像；
[0022]将各所述预处理图像输入所述主干网络进行特征提取，以输出所述预处理图像对应的第一样本图像的第一特征图；
[0023]将各所述第一特征图输入所述颈部网络进行特征提取，以输出所述第一样本图像的第二特征图；
[0024]将各所述第二特征图输入所述输出模块中计算各所述第二特征图的类别和位置，以得到所述第一样本图像的预测隐患类别和预测隐患位置；
[0025]根据所述第一样本图像的预测隐患类别和预测隐患位置，以及所述第一样本图像的隐患类别和隐患位置，计算当前损失；
[0026]根据所述当前损失对所述隐患分析模型的训练参数进行调整，直至满足预设结束条件，得到训练好的隐患分析模型。
[0027]进一步的，所述将各所述第一样本图像输入所述输入模块中进行图像预处理，以得到预处理图像，包括：
[0028]将各所述第一样本图像输入所述输入模块中，以对各所述第一样本图像进行尺寸归一化处理，得到归一化后的图像；
[0029]对各所述归一化后的图像进行数据增强处理，得到预处理图像。
[0030]进一步的，在对所述样本图像中目标航油管道的隐患类别和隐患位置进行标注，得到样本数据集之后，所述方法还包括：
[0031]从所述样本数据集中确定测试样本数据，所述测试样本数据包含多个第二样本图像以及各第二样本图像的隐患类别和隐患位置；
[0032]将各所述第二样本图像输入训练好的隐患分析模型中，以输出所述第二样本图像的预测隐患类别和预测隐患位置；
[0033]根据所述第二样本图像的预测隐患类别和预测隐患位置，以及所述第二样本图像的隐患类别和隐患位置，计算隐患分析模型的漏检率和误报率；
[0034]所述根据所述当前损失对所述隐患分析模型的训练参数进行调整，直至满足预设结束条件，得到训练好的隐患分析模型，包括：
[0035]根据所述当前损失以及所述隐患分析模型的漏检率和误报率，对所述隐患分析模型的训练参数进行调整，直至满足预设结束条件，且所述隐患分析模型的漏检率和误报率
满足预设条件，得到训练好的隐患分析模型。
[0036]进一步的，在对所述样本图像中目标航油管道的隐患类别和隐患位置进行标注，得到样本数据集之后，所述方法还包括：
[0037]针对所述样本数据集中每一标注后的样本图像，基于该标注后的样本图像中所标注的目标航油管道的隐患位置，对所述隐患位置对应的标注框进行聚类，得到所述隐患位置对应的聚类结果；
[0038]根据所述聚类结果，更新所述隐患位置。
[0039]进一步的，所述隐患分析模型的当前损失，是根据所述第一样本图像的隐患预测框与隐患真实框的交并比、中心点距离以及长宽比确定的。本申请提供一种无人机巡航管道隐患分析装置，所述装置包括：
[0040]信息获取单元，用于获取预先生成的航线信息，所述航线信息包括无人机的航线以及飞行参数信息；所述航线包括多个航点，所述航点是基于目标航油管道巡视区域的三维点云模型确定的；
[0041]航线巡视单元，用于利用无人机按照所述航线信息进行自动巡视，得到所述目标航油管道的巡视视频；
[0042]隐患分析单元，用于将所述巡视视频中的每一图像逐一输入隐患分析模型中，以输出每一图像的隐患分析结果；其中，所述隐患分析模型是利用样本图像，以及样本图像的隐患结果进行训练得到的，所述隐患分析结果包括隐患类别以及隐患位置，所述隐患类别包括：建筑物类别、施工工地类别以及施工机械类别；
[0043]隐患确定单元，用于基于各图像隐患分析结果中的隐患位置以及预设感兴趣区域，确定各图像对应位置的目标航油管道是否存在安本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机巡航管道隐患分析方法，其特征在于，所述方法包括：获取预先生成的航线信息，所述航线信息包括无人机的航线以及飞行参数信息；所述航线包括多个航点，所述航点是基于目标航油管道巡视区域的三维点云模型确定的；利用无人机按照所述航线信息进行自动巡视，得到所述目标航油管道的巡视视频；将所述巡视视频中的每一图像逐一输入隐患分析模型中，以输出每一图像的隐患分析结果；其中，所述隐患分析模型是利用样本图像，以及样本图像的隐患结果进行训练得到的，所述隐患分析结果包括隐患类别以及隐患位置，所述隐患类别包括：建筑物类别、施工工地类别以及施工机械类别；基于各图像隐患分析结果中的隐患位置以及预设感兴趣区域，确定各图像对应位置的目标航油管道是否存在安全隐患。2.如权利要求1所述的无人机巡航管道隐患分析方法，其特征在于，所述方法还包括：将目标航油管道周围预设范围内的区域确定为巡视区域；采集所述巡视区域的点云数据，得到所述目标航油管道的目标点云数据；基于所述目标点云数据以及预设的控制点坐标，生成所述目标航油管道的三维点云模型；其中，所述控制点坐标为预先采集的所述巡视区域内目标地物的真实坐标；基于所述三维点云模型中高度大于地物坐标预设阈值的点，确定多个航点；在所述三维点云模型中将所述多个航点进行连接，生成所述目标航油管道对应的航线；为所述航线设置飞行参数信息，得到航线信息；所述飞行参数信息包括飞行速度、拍摄距离以及拍摄姿态中的至少一项。3.如权利要求1所述的无人机巡航管道隐患分析方法，其特征在于，所述隐患分析模型为基于YOLOv4的目标检测模型，所述隐患分析模型包括输入模块、主干网络、颈部网络以及输出模块，所述主干网络采用CSPDarknet53结构，所述颈部网络包括空间金字塔池化SPP网络模块、特征金字塔网络FPN结构以及路径聚合网络PAN结构；采用如下方式，训练所述隐患分析模型：获取多个样本图像；对所述样本图像中目标航油管道的隐患类别和隐患位置进行标注，得到样本数据集；从所述样本数据集中确定训练样本数据，所述训练样本数据包含多个第一样本图像以及各第一样本图像的隐患类别和隐患位置；将各所述第一样本图像输入所述输入模块中进行图像预处理，以得到预处理图像；将各所述预处理图像输入所述主干网络进行特征提取，以输出所述预处理图像对应的第一样本图像的第一特征图；将各所述第一特征图输入所述颈部网络进行特征提取，以输出所述第一样本图像的第二特征图；将各所述第二特征图输入所述输出模块中计算各所述第二特征图的类别和位置，以得到所述第一样本图像的预测隐患类别和预测隐患位置；根据所述第一样本图像的预测隐患类别和预测隐患位置，以及所述第一样本图像的隐患类别和隐患位置，计算当前损失；根据所述当前损失对所述隐患分析模型的训练参数进行调整，直至满足预设结束条
件，得到训练好的隐患分析模型。4.如权利要求3所述的无人机巡航管道隐患分析方法，其特征在于，所述将各所述第一样本图像输入所述输入模块中进行图像预处理，以得到预处理图像，包括：将各所述第一样本图像输入所述输入模块中，以对各所述第一样本图像进行尺寸归一化处理，得到归一化后的图像；对各所述归一化后的图像进行数据增强处理，得到预处理图像。5.如权利要求3所述的无人机巡航管道隐患分析方法，其特征在于，在对所述样本图像中目标航油管道的隐患类别和隐患位置进行标注，得到样本数据集之后，所述方法还包括：从所述样本数据集中确定测试样本数据，所述测试样本数据包含多个第二样本图像以及各第二样本图像的隐患类别和隐患位置；将各所述第二样本图像输入训练好的隐患分析模型中，以输出所述第二样本图像的预测隐患类别和预测隐患位置；根据所述第二样本图像的预测隐患类别和预测隐患位置，以及所述第二样本图...

【专利技术属性】
技术研发人员：龙莉，黎玉清，林亮亮，刘健，汤坚，范亮，劳健华，李志强，
申请(专利权)人：广州中科智巡科技有限公司，
类型：发明
国别省市：