基于可见光和激光雷达点云融合的输电通道自动巡检方法技术

本发明专利技术提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合，能够提高了检测的准确度和效率。包括如下步骤：输电通道航拍，收集三维点云和二维可见光图像数据；构建数据集；模型训练；基于激光雷达点云自动规划航线巡检；外破隐患检测与测距；杆塔本体隐患检测与定位。与定位。与定位。

【技术实现步骤摘要】
基于可见光和激光雷达点云融合的输电通道自动巡检方法


[0001]本专利技术涉及一种输电通道巡检方法，具体涉及一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，属于输电通道自动巡检


技术介绍

[0002]电网是关系国家能源安全、深入人们日常生产生活的重要基础设施，输电通道在其中是电力传输的纽带，输电通道的安全稳定运行是社会生产和人民生活的必要保障。近年来，随着社会的不断发展，工业用电和居民用电都有着突飞猛进的增长，而输电通道的也在不断地建设。但由于输电通道的线路大多架设在田野等自然环境中，在此环境下输电通道的线路、杆塔等常年经受环境中雨雪风沙等各种自然条件的影响，久而久之会对通道中的电力设备造成各种损坏。因此对输电通道的巡检一直以来就是保障电能持续供应、保护输电线路安全运行的重要工作。
[0003]传统的输电通道巡检方法通常使用人工目力巡检，这样的巡检效率低下，误检率高，难以及时发现隐患，且对工人技术要求高，危险系数大。而现有的基于图像的无人机巡检方式只能拍摄二维图像，缺少三维空间信息，无法对环境中的立体空间进行建模，因此无法对隐患和输电通道的距离进行精准测定。且无人机的拍摄只解决了工人目力巡检的不足，仍需要有无人机操作员跟随无人机的运动，无法真正做到“无人巡检”。且无人机在对输电线路进行拍摄的图像依赖于技术员对无人机控制，若没有在良好的拍摄角度则可能会造成漏报误报等情况。
[0004]人工智能技术随着其日新月异的发展现已经在各个领域取得了广泛的应用，而在工业领域，在智慧城市智能制造的国家战略下，如何将前沿的人工智能技术与传统工业领域深度融合是当前人工智能技术落地的重点，也是传统工业行业面对时代的发展进行转型的关键所在。

技术实现思路

[0005]本专利技术目的是提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割，能够提高了检测的准确度和效率。
[0006]本专利技术为实现上述目的，通过以下技术方案实现：一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，包括如下步骤：S1：输电通道航拍，收集三维点云和二维可见光图像数据：手动操控无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进
行预处理，最后划分训练集、验证集、测试集；S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI
‑
Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患。
[0007]上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S1的具体过程还包括：S11：三维点云数据采集：通过无人机激光雷达向地面发射激光信号，并收集地面反射的激光信号得到物体表面的模型，之后通过联合解算、偏差校正计算出这些点的准确空间信息，生成最终的三维点云数据；S12：杆塔隐患目标检测模型的训练需要图片数据：通过使用无人机在杆塔周围的不同角度拍摄的输电线路上的元器件图片作为训练数据，需要拍摄存在隐患物体，训练数据需要各种隐患物体的高清照片，未损坏的元器件的照片以及包含整体杆塔和其上多种隐患目标的照片，训练数据均通过无人机和摄像机拍摄。
[0008]上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S2数据预处理的过程还包括：S21：采用直通滤波对点云进行过滤，去除背景，保留输电通道的主体部分：首先指定维度以及在该维度下的值域，其次，遍历点云中的每个点，判断该点在指定维度上的取值是否在值域内，删除取值不在值域内的点，最后，遍历结束，留下的点即构成滤波后的点云；S22：采用拉普拉斯算子对图像进行锐化处理：对于二维图像中某个坐标点,其像素值为，使用下面这个八邻域拉普拉斯算子对图像进行锐化处理，二阶微分为，锐化后处的像素值为，具体公式如下：，具体公式如下：
；S23：对三维点云分割任务的点云数据使用semantic
‑
segmentation
‑
editor点云标注工具进行标注；对二维图像目标检测任务使用labelimg标注工具进行标注；最后将点云数据和二维图像划分训练集、验证集和测试集。
[0009]上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S3模型训练与推理的过程还包括：S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点云分割模型PCI
‑
Seg，整体上是一个编码器
‑
解码器结构，包括了图片处理流和点云处理流，集成了点云
‑
二维图像融合模块，针对点云数据和二维图像数据进行融合学习并进行点云分割，基于point
‑
wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框架来集成这两个组件，输出对点云分割的结果，网络的输入分别是1.3的点云，为输入点云的点数、3表示点云的维度；2.H
×
3的二维图像，为图像宽度、为图像高度、3代表图像为RGB三通道图像；S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次batch normalization操作和一个ReLU作为激活函数，分别是四个卷积层的输出；之后，经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它们拼接在一起以获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出；S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使用了SetAbstraction层和Feature Propagation 层，SA和FP的输出分别以和(j = 1、2、3、4)表示，此外，为了增强点云的语义特征，将点云特征和图片语义特征使用融合模块进行融合，将与图片处理流的输出也进行融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：包括如下步骤：步骤S1：输电通道航拍，收集三维点云和二维可见光图像数据：无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；步骤S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进行预处理，最后划分训练集、验证集、测试集；步骤S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI
‑
Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；步骤S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；步骤S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；步骤S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患。2.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S1的具体过程还包括：S11：三维点云数据采集：通过无人机激光雷达向地面发射激光信号，并收集地面反射的激光信号得到物体表面的模型，之后通过联合解算、偏差校正计算出这些点的准确空间信息，生成最终的三维点云数据；S12：杆塔隐患目标检测模型的训练需要图片数据：通过使用无人机在杆塔周围的不同角度拍摄的输电线路上的元器件图片作为训练数据，需要拍摄存在隐患物体，训练数据需要各种隐患物体的高清照片，未损坏的元器件的照片以及包含整体杆塔和其上多种隐患目标的照片，训练数据均通过无人机和摄像机拍摄。3.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S2数据预处理的过程还包括：S21：采用直通滤波对点云进行过滤，去除背景，保留输电通道的主体部分：首先指定维度以及在该维度下的值域，其次，遍历点云中的每个点，判断该点在指定维度上的取值是否在值域内，删除取值不在值域内的点，最后，遍历结束，留下的点即构成滤波后的点云；S22：采用拉普拉斯算子对图像进行锐化处理：对于二维图像中某个坐标点,其像素值为，使用下面这个八邻域拉普拉斯算子对图像进行锐化处理，二阶微分为
，锐化后处的像素值为，具体公式如下：，具体公式如下：，具体公式如下：S23：对三维点云分割任务的点云数据使用semantic
‑
segmentation
‑
editor点云标注工具进行标注；对二维图像目标检测任务使用labelimg标注工具进行标注；最后将点云数据和二维图像划分训练集、验证集和测试集。4.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S3模型训练与推理的过程还包括：S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点云分割模型PCI
‑
Seg，整体上是一个编码器
‑
解码器结构，包括了图片处理流和点云处理流，集成了点云
‑
二维图像融合模块，针对点云数据和二维图像数据进行融合学习并进行点云分割，基于point
‑
wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框架来集成这两个组件，输出对点云分割的结果，网络的输入分别是1.3的点云， n为输入点云的点数、3表示点云的维度；2.H
×
3的二维图像，W为图像宽度、 H为图像高度、3代表图像为RGB三通道图像；S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次batch normalization操作和一个ReLU作为激活函数，分别是四个卷积层的输出；之后，经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它们拼接在一起以获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出；S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使用了SetAbstraction层和Feature Propagation 层，SA和FP的输出分别以和 (j = 1、2、3、4)表示，...

【专利技术属性】
技术研发人员：聂礼强，尹建华，郑晓云，赵振兵，熊剑平，赵砚青，郑小龙，孙静宇，高赞，
申请(专利权)人：国网浙江省电力有限公司温州供电公司华北电力大学保定浙江大华技术股份有限公司智洋创新科技股份有限公司山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：