基于双路径金字塔网络的吊车检测方法技术

本申请公开了一种基于双路径金字塔网络的吊车检测方法

【技术实现步骤摘要】
基于双路径金字塔网络的吊车检测方法、系统、介质和设备


[0001]本专利技术涉及神经网络视觉检测
，尤其涉及一种基于金字塔网络的吊车检测方法
、
系统
、
介质和设备
。

技术介绍

[0002]随着城市化建设的迅猛发展，电力系统设施的规模也不断地扩大
。
与此同时，在输电线路周边进行的市政
、
路桥等施工建设也逐渐增多，卡车
、
水泥泵车及吊车等大型施工车辆活动频繁
。
吊车的流动作业极易破坏输电线路，带来极大的经济损失或人员伤亡
。
因此，为保障输电线路安全，减少输电线路故障，需对吊车进行精准检测
。
[0003]早期的吊车检测主要是利用物理传感器，存在着一定的局限性，如超声波探测仪主要依赖于声波的变化来判断吊车，这种传感器的探测精度极易受到环境的影响，检测效果很不稳定
。
目前，基于机器学习的目标检测技术以其精度高
、
效率高的特点而被逐渐应用于吊车的检测中
。
随着技术的更迭，深度学习技术的应用使得目标检测的效果得到了进一步的提升
。
研究人员利用基于卷积神经网络的算法在吊车检测方面取得了一定的成果
。
[0004]通过检索，发现较为接近的现有技术如下：
[0005]申请公布号为
CN113179389A
的专利文件公开了一种输电线路危险车辆吊车扬臂识别系统及识别方法，包括与控制模块相连的图像采集模块
、
吊车识别模型以及报警模块
。
所用的方法只是使用普通的卷积块和残差块来组合构建吊车检测模型
。
由于吊车的长宽比即尺度变化的特点，上述方法的检测效果还不够理想
。

技术实现思路

[0006]为了提升吊车检测模型的检测效果，本申请提供一种基于双路径金字塔网络的吊车检测方法
、
系统
、
介质和设备
。
[0007]第一方面，本申请提供的基于双路径金字塔网络的吊车检测方法采用如下的技术方案：
[0008]一种基于双路径金字塔网络的吊车检测方法，包括：
[0009]获取吊车图像并对吊车图像进行预处理，得到数据集
、
测试样本集和训练样本集；
[0010]建立双路径金字塔网络吊车检测模型，并利用所述训练样本集对所述双路径金字塔网络吊车检测模型进行训练，得到训练后的吊车检测模型；
[0011]利用训练后的双路径金字塔网络吊车检测模型对测试样本集进行分析，得到检测值，所述检测值包括吊车类别和吊车坐标信息
。
[0012]进一步的技术方案在于：所述对吊车图像进行预处理时，包括：
[0013]根据阈值切割法对采集到的初始图像进行裁剪，得到只含有吊车部分的吊车图像；
[0014]对多个吊车图像中的吊车部分进行标注，每个标注后的吊车图像均生成一个包括图片名称和吊车位置坐标的
xml
文件，一个
xml
文件为一个标签；
[0015]将所有的标签转换成
txt
格式文件和
json
格式文件作为数据集，从数据集中按照设定的比例抽取出图像作为训练样本集和测试样本集
。
[0016]进一步的技术方案在于：所述利用所述训练样本集对所述双路径金字塔网络吊车检测模型进行训练，得到训练后的吊车检测模型时，包括：
[0017]加载预训练权重文件，对吊车检测模型初始化；其中预训练文件为历史累积训练参数；
[0018]将所述训练样本集输入至初始化的吊车检测模型进行训练，输出预测吊车边界框坐标和真实吊车边界框坐标，并产生损失函数
loss
；
[0019]返回损失函数
loss
，并根据梯度下降法更新训练参数，进行迭代运算；
[0020]迭代运算达到预设的迭代次数后，停止训练，得到双路径金字塔网络吊车检测模型
。
[0021]进一步的技术方案在于：所述双路径金字塔网络吊车检测模型包括特征提取模块
、
双向路径特征金字塔特征融合网络模块
、
余弦自注意力机制模块和预测模块；
[0022]所述利用训练后的双路径金字塔网络吊车检测模型对测试样本集进行分析，得到检测值时，包括：
[0023]输入测试样本集中的测试样本图像至特征提取模块，测试样本图像依次经过1个卷积结构
DBL
和5组残差单元
resblock
，每两个残差结构之间插着一个步长为2，卷积核大小为3×3卷积层，用于完成下采样；在特征提取模块的后三个下采样特征层输出特征图；
[0024]利用传统的金字塔网络对特征图进行融合，在传统的自顶向下的金字塔网络中添加一个自下而上的路径聚合网络，对金字塔网络融合后的特征进行反向的特征融合，将反向金字塔融合后的特征与正向金字塔对应尺寸的特征层叠加到一起进行融合，输出融合特征图；
[0025]将融合特征图输入至余弦自注意力机制模块，通过归一化的特征相似矩阵与原始输入特征相乘，对融合特征图进行有用的特征强调和干扰特征抑制，得到最终特征图；
[0026]将最终特征图输入至预测端模块，分类回归生成检测值
。
[0027]第二方面，本申请公开一种基于双路径金字塔网络的吊车检测系统采用如下技术方案：
[0028]基于双路径金字塔网络的吊车检测系统，包括：
[0029]图像采集模块，用于采集图像信息；
[0030]图像预处理模块，用于对采集到的图像信息进行预处理，得到数据集
、
测试样本集和训练样本集；以及
[0031]双路径金字塔网络吊车检测模型，用于对输入的图像信息进行分析，得到检测值，检测值包括吊车类别和吊车坐标信息
。
[0032]进一步的技术方案在于：所述双路径金字塔网络吊车检测模型包括：
[0033]特征提取模块，用于获取多个特征图；
[0034]双路径金字塔特征融合模块，用于将多个特征图进行融合，生成聚合特征图；
[0035]余弦自注意力机制模块，用于对融合特征图进行有用的特征强调和干扰特征抑制，并输出最终特征图；
[0036]预测模块，用于对最终特征图进行检测，并生成检测值
。
[0037]进一步的技术方案在于：所述图像预处理模块包括：
[0038]图像剪裁单元，根据阈值切割法对采集到的初始图像进行裁剪，得到只含有吊车部分的吊车图像；
[0039]文件生成单元，对每个标注后的吊车图像均生成一个包括图片名称和吊车位置坐标的
xml
文件，一个
xml
文件为一个标签；
[0040]样本集生成单元，用于将所有的标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于双路径金字塔网络的吊车检测方法，其特征在于，包括：获取吊车图像并对吊车图像进行预处理，得到数据集
、
测试样本集和训练样本集；建立双路径金字塔网络吊车检测模型，并利用所述训练样本集对所述双路径金字塔网络吊车检测模型进行训练，得到训练后的吊车检测模型；利用训练后的双路径金字塔网络吊车检测模型对测试样本集进行分析，得到检测值，所述检测值包括吊车类别和吊车坐标信息
。2.
根据权利要求1所述的基于双路径金字塔网络的吊车检测方法，其特征在于，所述对吊车图像进行预处理时，包括：根据阈值切割法对采集到的初始图像进行裁剪，得到只含有吊车部分的吊车图像；对多个吊车图像中的吊车部分进行标注，每个标注后的吊车图像均生成一个包括图片名称和吊车位置坐标的
xml
文件，一个
xml
文件为一个标签；将所有的标签转换成
txt
格式文件和
json
格式文件作为数据集，从数据集中按照设定的比例抽取出图像作为训练样本集和测试样本集
。3.
根据权利要求1所述的基于双路径金字塔网络的吊车检测方法，其特征在于，利用所述训练样本集对所述双路径金字塔网络吊车检测模型进行训练，得到训练后的吊车检测模型时，包括：加载预训练权重文件，对吊车检测模型初始化；其中预训练文件为历史累积训练参数；将所述训练样本集输入至初始化的吊车检测模型进行训练，输出预测吊车边界框坐标和真实吊车边界框坐标，并产生损失函数
loss
；返回损失函数
loss
，并根据梯度下降法更新训练参数，进行迭代运算；迭代运算达到预设的迭代次数后，停止训练，得到双路径金字塔网络吊车检测模型
。4.
根据权利要求1所述的基于双路径金字塔网络的吊车检测方法，其特征在于，所述双路径金字塔网络吊车检测模型包括特征提取模块
、
双向路径特征金字塔特征融合网络模块
、
余弦自注意力机制模块和预测模块；所述利用训练后的双路径金字塔网络吊车检测模型对测试样本集进行分析，得到检测值时，包括：输入测试样本集中的测试样本图像至特征提取模块，测试样本图像依次经过1个卷积结构
DBL
和5组残差单元
resblock
，每两个残差结构之间插着一个步长为2，卷积核大小为3×3卷积层，用于完成下采样；在特征提取模块的后三个下采样特征层输出特征图；利用传统的金字塔网络对特征图进行融合，在传统的自顶向下的金字塔网络中添加一个自...

【专利技术属性】
技术研发人员：陈泽，刘良帅，霍振飞，赵劭康，邢田伟，冯海燕，杜晓东，景皓，姬艳鹏，吕亚亚，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：