一种基于轻量级神经网络的无人机目标检测方法及系统技术方案

本发明专利技术提供一种基于轻量级神经网络的无人机目标检测方法及系统包括：对航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；对航拍图像样张进行数据标定，据以得到标准数据集；构建基于MobileNet的轻量级神经网络；输入标准数据集至基于MobileNet的轻量级神经网络，利用预置损失函数训练网络，据以得到当前无人机航拍图像特征；将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集；利用训练好的YOLOv4模型对无人机融合图像集进行目标检测，据以得到检测结果。本发明专利技术解决了目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。交互性差的技术问题。交互性差的技术问题。

【技术实现步骤摘要】
一种基于轻量级神经网络的无人机目标检测方法及系统


[0001]本专利技术涉及机器视觉识别领域，具体涉及一种基于轻量级神经网络的无人机目标检测方法及系统。

技术介绍

[0002]近年来，各行各业用电需求不断增加，加速了电力行业的智能化转型升级。其中，巡查的表现是无人机等智能设备的应用。最新数据显示，2020年我国无人机动力巡检市场规模接近30亿元，发展非常喜人。未来随着新基建加速实施，5G网络和人工智能进一步普及，业界对电力巡检无人机的未来相当看好。从电力巡检场景的应用来看，无人机的优势非常明显。无人机作为一个重要的平台，可以集成相机、传感器等各种技术和设备。这些硬件设备不仅可以帮助获取图像和视频信息，还可以进行高速传输、分析和处理，从而成为重要的数据基础。因此，如何有效地处理收集到的数据成为当务之急。
[0003]在电力巡检系统中无人机视频的动态性和复杂性对视频检测技术提出了严峻的挑战。根据传统视频目标检测的原理，将目标的纹理作为特征进行检测。然而，它很容易受到光的影响。另一种是使用梯度计算的无纹理目标检测方法，在复杂的环境和遮挡条件下表现不佳。传统的目标分类算法，如支持向量机和以图像梯度直方图为特征的分类器，识别能力弱，效果不理想，难以应用于复杂多变的交通道路。因此，采用传统的视频检测技术很难实现目标的自动化和精确的信息提取。近年来，基于深度神经网络的目标检测方法在鲁棒性和检测精度方面取得了重大突破。
[0004]公布号为CN113205116A的现有专利技术专利申请文献《输电线路无人机巡检拍摄目标点自动提取及航迹规划方法》包括：采集被巡检设备的点云数据；基于深度学习分类网络对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；利用主成分分析方法对被巡检部件的点云数据进行分析计算，获取被巡检部件的部件主轴，进而获取拍摄目标点位置。基于相机参数、分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。从该现有专利申请文献的说明书中可知，该现有方案计算得到目标的有效包围盒，在包围盒上计算生成拍摄点，生成算法主要是跟踪目标本身的特征信息，对目标特征进行深入搜索。然而，此类现有算法往往忽略了其他因素对跟踪性能的影响。例如，严重的尺度变化、背景信息干扰或目标遮挡很容易导致无法跟踪目标的情况。
[0005]公布号为CN112418117A的现有专利技术专利申请文献《一种基于无人机图像的小目标检测方法》基于空洞卷积和多尺度特征层，将YOLOv4目标检测方法改进为适用于无人机图像目标检测的方法，包括：确定先验框尺寸；进行特征提取；结合空洞卷积进行多尺度融合；构建特征金字塔；提取多特征层进行目标检测；利用预测框的位置和预测得分，筛选出预测框。该现有方案采用多尺度融合来表征多个尺度上的特征。然而融合只考虑了从较小尺度到较大尺度上的联系，仍然缺乏不同尺度之间的交互性。
[0006]综上，现有技术存在目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

技术实现思路

[0007]本专利技术所要解决的技术问题在于如何解决现有技术中目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。
[0008]本专利技术是采用以下技术方案解决上述技术问题的：一种基于轻量级神经网络的无人机目标检测方法包括：
[0009]S1、利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；
[0010]S2、利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集；
[0011]S3、构建基于MobileNet的轻量级神经网络；
[0012]S4、输入所述标准数据集至所述基于MobileNet的轻量级神经网络，利用预置损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征；
[0013]S5、根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入所述分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集；
[0014]S6、利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果。
[0015]在更具体的技术方案中，步骤S3中，所述基于MobileNet的神经网络包括：设置为第一层的CNN卷积神经网络，所述基于MobileNet的神经网络还包括：设置为第一分支的原始ResNet网络、设置为第二分支的基于MobileNet网络改进的基础网络、设置为第三分支的傅里叶变换。
[0016]在更具体的技术方案中，步骤S4包括：
[0017]S41、初始化所述基于MobileNet的轻量级神经网络的参数；
[0018]S42、定义softmax损失函数；
[0019]S43、利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到所述当前无人机航拍图像特征。
[0020]在更具体的技术方案中，步骤S41中，所述参数包括：宽度超参数α、分辨率超参数β、卷积核的个数M。
[0021]在更具体的技术方案中，步骤S42中，
[0022]利用下述逻辑定义所述softmax损失函数：
[0023][0024]其中，N
p
为样本总数，i为节点号，x
i
为第i个节点的输入，y
i
为第i个节点的输出类别，σ表示所有类别，θ
j
和θ
yi
表示角度参数；
[0025][0026]其中，k∈[0,m
‑
1],m为整数，用于控制角边界大小，且m≥1；当m＝1时，即为softmaxloss函数。
[0027]在更具体的技术方案中，步骤S43中，
[0028]根据下述逻辑，利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征：
[0029][0030]式中，表示第l+1层卷积层中第t个输出通道的航拍图像特征；表示第l层卷积层中第i个输入通道所输入的图像，c为输入通道的数量；表示第l层卷积层中第i个预定义随机噪声掩模；σ
relu
(
·
)为非线性激活函数Relu；表示第l层卷积层中第i个输入通道和第t个输出通道的权重参数。
[0031]本专利技术针对静态目标，可以直接获取定位时刻无人机与目标之间的位置和姿态信息。对于机动目标，本专利技术利用航拍图像特征中的观测数据估计目标的位置、速度等参数，并估计目标的当前状态。
[0032]在更具体的技术方案中，步骤S5中，所述分支包括：预设尺寸的平均池化层及全连接层，对所述分支的所述全连接层的输出特征进行目标特征融合，据以得到所述无人机融合图像集。
[0033]本专利技术利用权重参数等信息，将注意力聚焦于有用的网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述方法包括：S1、利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；S2、利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集；S3、构建基于MobileNet的轻量级神经网络；S4、输入所述标准数据集至所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征；S5、根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行多尺度特征融合，以得到融合特征，据以得到无人机融合图像集；S6、利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果。2.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S3中，所述基于MobileNet的神经网络包括：设置第一层为3
×
3的卷积层，卷积核的个数是M个，，并将其输出特征输入到下列分支：设置为第一分支的原始ResNet网络、设置为第二分支的基于MobileNet网络改进的基础网络，该网络先由5个的3
×
3深度卷积层和5个1
×
1点卷积层交替连接，深度卷积层的卷积核分别是M、2M、4M、4M、8M,点卷积层的卷积核分别是3M、8M、16M、32M、64M；然后连接由4个卷积核是16M的3
×
3深度卷积层和5个卷积核是256M的1
×
1点卷积层交替连接的卷积块；最后连接一个卷积核是64M的3
×
3深度卷积层，设置为第三分支的傅里叶变换。3.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S4包括：S41、初始化所述基于MobileNet的轻量级神经网络的参数；S42、定义softmax损失函数；S43、利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到所述当前无人机航拍图像特征。4.根据权利要求3所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S41中，所述参数包括：宽度超参数α、分辨率超参数β、卷积核的个数M。5.根据权利要求3所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S42中，利用下述逻辑定义所述softmax损失函数：其中，N
p
为样本总数，i为节点号，x
i
为第i个节点的输入，y
i
为第i个节点的输出类别，σ表示所有类别，θ
j
和θ
yi
表示角度参数；其中，...

【专利技术属性】
技术研发人员：赵昌新，王栋，崔艳东，孙飞，王一丁，杨腾腾，张潇，吴立刚，曹闯，陈想，高圣达，吴迪，汪春燕，李杨月，刘传宝，孔伟伟，
申请(专利权)人：国网江苏省电力有限公司徐州供电分公司，
类型：发明
国别省市：