基于轻量级边缘计算的无人机前端缺陷识别方法及系统技术方案

本发明专利技术提供了基于轻量级边缘计算的无人机前端缺陷识别方法及系统，该系统利用无人机执行航拍任务，捕捉目标区域的图像数据，并在无人机上的边缘计算单元进行图像处理和分析，实现目标表面的缺陷识别

【技术实现步骤摘要】
基于轻量级边缘计算的无人机前端缺陷识别方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统
。

技术介绍

[0002]在各种工业领域，检测和识别目标表面的缺陷是确保设备
、
建筑物和基础设施运行安全性和可靠性的重要任务
。
这些领域包括但不限于建筑
、
制造业
、
能源
、
交通运输和自动化工程
。
传统上，缺陷检测通常需要进行视觉检查，这对于大型设备和建筑物来说可能是昂贵和耗时的过程
。
[0003]近年来，无人机技术已经成为一种有前景的工具，用于快速
、
高效地检查目标表面的缺陷
。
无人机可以搭载高分辨率相机或其他传感器，能够提供从难以到达的角度和位置捕获的图像数据
。
然而，现有的无人机缺陷检测方法通常依赖于将图像数据传输到远程服务器进行处理和分析，这可能导致延迟
、
高通信成本以及对网络连接的依赖性
。
[0004]此外，缺陷识别在某些情况下需要即时响应，例如在工业生产线上或在紧急情况下
。
因此，有必要提供一种在无人机前端执行的缺陷识别方法，以提高识别的实时性和效率
。
这需要将图像处理和机器学习技术集成到无人机的边缘计算单元中，以在飞行中执行缺陷检测，从而减少设备停机时间和维护成本
。
专利技术内容
[0005]有鉴于此，本专利技术的目的在于提出一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统，用于快速
、
高效地检测和识别目标表面的缺陷，通过图像采集
、
数据处理和机器学习处理提高前沿缺陷检测的准确性和实时性，从而减少设备停机时间和维护成本具有实时性
、
高效性和节省通信成本的优点
。
[0006]基于上述目的，第一方面，本专利技术提供了一种基于轻量级边缘计算的无人机前端缺陷识别方法，包括以下步骤：
S1
：通过无人机进行航拍，捕捉目标区域的图像数据；
S2、
将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息；
S3、
使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征；
S4、
根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中；
S5、
将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息
。
[0007]作为本专利技术的进一步方案，无人机捕捉目标区域的图像数据时，包括以下步骤：按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；基于无人机搭载的
GPS
定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像
、
斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据
。
[0008]作为本专利技术的进一步方案，对所述图像数据进行增强和预处理，包括以下步骤：采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像；调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度；将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像；使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线
、
目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征
、
亮度特征
、
颜色特征
、
凹凸特征以及深度特征
。
[0009]作为本专利技术的进一步方案，所述目标检测模型为
YOLOv4
，使用
YOLOv4
识别和标识目标类型和缺陷特征，包括以下步骤：模型加载：加载预训练的
YOLOv4
模型，将图像数据序列作为输入传递给
YOLOv4
模型；目标检测和分类：基于所述
YOLOv4
模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；缺陷特征分析：使用
YOLOv4
模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据
。
[0010]作为本专利技术的进一步方案，使用
YOLOv4
模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：使用
Canny
边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；使用
Harris
角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；提取的目标物体的边缘点
、
角点以及交叉点作为轮廓特征；缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：使用纹理滤波器提取目标表面的纹理特征，通过平均亮度
、
亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征
。
[0011]作为本专利技术的进一步方案，基于深度学习训练的目标检测模型，包括以下训练步骤：数据收集：收集包含目标对象的图像和相应的标注数据，其中，标注数据包括每个目标对象的边界框（
bounding box
）和相应的类别标签；数据预处理：对标注数据进行预处理，得到训练目标检测模型的样本数据，其中，
所述样本数据随机划分为训练数据集和验证数据集；初始化模型：选择
YOLOv4
作为深度学习模型架构，初始化
YOLOv4
模型的权重，并定义
YOLOv4
模型的损失函数，其中，选择
SGD
优化器最小化
YOLOv4
模型的损失函数，并定义学习率策略；模型训练：使用训练数据集对
YOLOv4
模型进行训练，其中通过反向传播和优化器来更新
YOLOv4
模型的权重；验证数据集：使用验证数据集评估
YOLOv4
模型的性能，并对
YOLOv4
模型的超参数进行调整，其中，
YOLOv4
...

【技术保护点】

【技术特征摘要】
1.
一种基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，包括以下步骤：通过无人机进行航拍，捕捉目标区域的图像数据；将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息；使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征；根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中；将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息
。2.
根据权利要求1所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，无人机捕捉目标区域的图像数据时，包括以下步骤：按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；基于无人机搭载的
GPS
定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像
、
斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据
。3.
根据权利要求1所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，对所述图像数据进行增强和预处理，包括以下步骤：采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像；调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度；将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像；使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线
、
目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征
、
亮度特征
、
颜色特征
、
凹凸特征以及深度特征
。4.
根据权利要求3所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，所述目标检测模型为
YOLOv4
，使用
YOLOv4
识别和标识目标类型和缺陷特征，包括以下步骤：模型加载：加载预训练的
YOLOv4
模型，将图像数据序列作为输入传递给
YOLOv4
模型；目标检测和分类：基于所述
YOLOv4
模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；缺陷特征分析：使用
YOLOv4
模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据
。5.
根据权利要求4所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，使用
YOLOv4
模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：使用
Canny
边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；
使用
Harris
角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；提取的目标物体的边缘点
、
角点以及交叉点作为轮廓特征；缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：使用纹理滤波器提取目标表面的纹理特征，通过平均亮度
、
亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征
。6.
根据权利要求5所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，基于深度学习训练的目标检测模型，包括以下训练步骤：数据收集：收集包含目标...

【专利技术属性】
技术研发人员：周明，刘佳，路宇，周婕，范莹，张永梅，孙飞，吴立刚，刘传宝，孔伟伟，桑培帅，汪春燕，周小希，周逞，徐唯耀，梁翀，姚天杨，张娇，刘俊，程昊铭，张勇，李杨月，
申请(专利权)人：国网安徽省电力有限公司信息通信分公司，
类型：发明
国别省市：