基于深度神经网络的高速轨条砦关键点识别方法及介质技术

本发明专利技术的一种基于深度神经网络的高速轨条砦关键点识别方法及介质，通过可见光相机，实现对目标区域可见光图像的拍摄与输出可见光视频流；智能边缘计算设备，实现对可见光相机视频的接收，通过高速目标关键点检测算法，实现对视频流中目标关键点的实时检测，输出目标关键点的像素坐标，同时输出目标矩形边界框的像素长度、像素宽度与像素位置；通过高度反演算法，根据目标关键点的像素坐标，计算出单目可见光相机与轨条砦顶面的距离。本发明专利技术关键点检测算法不仅可以实时检测目标的位置和大小，还可以检测出目标顶面的4个关键点和中心点共5个关键点像素坐标；在关键点坐标的基础上，仅需单目可见光相机即可实现对目标的测距。距。距。

【技术实现步骤摘要】
基于深度神经网络的高速轨条砦关键点识别方法及介质


[0001]本专利技术涉及人工智能图像处理
，具体涉及一种基于深度神经网络的高速轨条砦关键点识别方法及介质。

技术介绍

[0002]轨条砦作为典型的反登陆障碍物，通常以集群形式布设在水际滩头，起到阻碍和延缓登陆的作用。因此，“破障”也就成为了登陆作战不可避免的难题。针对轨条砦目标集群，破障弹的破障效果与目标搜索成功率以及关键点瞄准精度直接相关。
[0003]随着计算机技术的发展和计算机视觉的广泛应用，利用计算机图像与视频处理技术对目标进行实时检测的研究取得长足进展。这使得破障平台可以选择采用可将光相机从空中向地面拍摄图像，并在图像中搜索轨条砦目标。对于检测图像中的固定目标而言，最典型的方法是基于特征的检测算法，这类方法首先对图像中不同的候选区域分别进行特征提取，构成特征空间；然后在特征空间中构建分类器进行分类。这类方法选取的图像特征很重要，可选特征特征可以是物体的形状、大小、纹理、颜色、幅度等自然特征等，也可以是直方图、HOG、HAAR、SIFT等人工设计的统计特征。使用上述传统的检测方法对轨条砦进行检测，优点是速度快，实时性好；不足之处是鲁棒性差，天气、日照、背景变换，甚至是轨条砦的制作方式或腐蚀程度等因素都会造成检测精度下降；此外无法给出精确的关键点坐标，也无法实现高度估算。
[0004]近年来，基于深度学习的目标检测方法在精度上已经超过传统方法。其本质原因是在大量标注数据的基础上，神经网络随着层数的增加可提取出比人工设计的更优质的特征，从而大大提高算法的性能。因而，设计深度神经网络检测模型对轨条砦目标进行检测是可行的。
[0005]国内外技术分析
[0006]目前国内外关于轨条砦检测识别技术的公开文献、专利和报道数量有限，未检索到国外相关文献，国内对轨条砦的检测识别的方法主要时通过图像处理的方法识别目标。
[0007]国内专利《基于航拍图像的轨条砦识别方法及装置》提出使用直方图均衡化处理，对直方图均衡化处理后的色彩图像进行分割处理，将色彩图像转换为二值图像，得到轨条砦在所述色彩图像中的像素点集合；对所述像素点进行聚类，以获取每个轨条砦在所述色彩图像中所述像素点集合的图像中心点；通过预设距离算法确定与所述图像中心点最近的轨条砦为目标轨条砦。该方法通过一系列的图像变换和聚类操作识别目标轨条砦，只能计算轨条砦的位置，不能给出轨条砦上表面四个顶点(即关键点)的像素坐标。
[0008]典型的基于深度学习的检测算法通常由两部分组成：在ImageNet上预训练的骨架网络(backbone)；用来预测物体类别和边界框的头部(Head)。Backbone部分，在GPU平台上运行的检测器，其backbone可以是VGG，ResNet，ResNeXt或DenseNet等高性能网络；在CPU平台上运行的检测器，其backbone可以是SqueezeNet，MobileNet或ShuffleNet等轻量化网络。Head部分可分为两类：一阶目标检测器(one
‑
stage detector)和二阶目标检测器(two
‑
stage detector)对应不同的Head。最有代表性的二阶对象检测器是R
‑
CNN系列，包括Fast R
‑
CNN，Faster R
‑
CNN，R
‑
FCN和Libra R
‑
CNN。最具代表性的一阶目标检测器模型是YOLO，SSD和RetinaNet。近年来，无锚点(anchor
‑
free)的一阶物体检测器也有了新发展，例如CenterNet，CornerNet，FCOS等。近年来出现的对象检测器经常会在Backbone和Head之间插入一些层，这些层用于收集不同阶段的特征图，可以称其为对象检测器的颈部(Neck)。通常，Neck由几个自下而上的路径和几个自上而下的路径组成。Neck可以是特征金字塔网络(FPN)，路径聚合网络(PAN)，BiFPN和NAS
‑
FPN等。综上所示，典型目标检测器可视为由输入Input，Backbone，Neck和Head几部分组成。
[0009]实践中，骨干网络越深，检测效果越好。然而，深层网络带来参数量的增加，严重影响模型在智能边缘计算设备上的前向推理速度。因此常规的检测模型需要考虑检测精度与参数数量的权衡。小型骨干网络有利于提高运算速度，但往往会造成精度的损失。
[0010]在视觉测量领域，获得距离信息一般通过双目相机进行标定、双目匹配等步骤才能计算出深度信息。

技术实现思路

[0011]本专利技术提出的一种基于深度神经网络的高速轨条砦关键点识别方法，可实现无人破障或打击平台对轨条砦目标的快速检测识别和高度计算，提高对目标关键点的瞄准精度以及计算平台目标间距离，实现最优打击。
[0012]为实现上述目的，本专利技术采用了以下技术方案：
[0013]一种基于深度神经网络的高速轨条砦关键点识别方法，应用于无人平台，包括单目可见光相机和智能边缘计算设备通讯连接，所述单目可见光相机安装在无人平台上，用于对轨条砦目标进行探测识别，包括以下步骤，
[0014]所述可见光相机，实现对目标区域可见光图像的拍摄与输出可见光视频流；
[0015]所述智能边缘计算设备，实现对可见光相机视频的接收，并运行高速目标关键点检测算法和高度反演算法，并与无人机飞控系统连接；
[0016]其中，通过高速目标关键点检测算法，实现对视频流中目标关键点的实时检测，输出目标关键点的像素坐标，同时输出目标矩形边界框的像素长度、像素宽度与像素位置；
[0017]通过高度反演算法，根据目标关键点的像素坐标，计算出单目可见光相机与轨条砦顶面的距离，即无人系统距离轨条砦顶面的高度数据。
[0018]进一步的，所述高速目标关键点检测算法包括以下步骤，
[0019]数据集构建：通过标注轨条砦目标顶面4个角点与一个中心点，共5个关键点结合轨条砦水泥墩的位置框作为标注信息；
[0020]模型结构为bottle neck：特征金字塔FPN模块；
[0021]模型包含FPN模块，抽取原始图像中4个级别的特征，首先，通过骨干网络做自底向上的特征抽取，得到特征图{C2,C3,C4,C5}；然后对{C2,C3,C4}执行横向连接，即将{C2,C3,C4}分别通过一个1
×
1的卷积层以融合信息，同时降低channel维度；最后，将通道融合后的{C2,C3,C4}与自上而下上采样得到的feature map进行对应元素相加融合得到特征金字塔层{P2,P3,P4}；顶部特征图与顶部金字塔层共享C5＝P5；
[0022]还包括head：上下文模块；
[0023]采用上下文模块作为头部，在4个特征金字塔级别上应用了独立的上下文模块，具体使用可变形卷积替换FPN结构中原有的3
×
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的高速轨条砦关键点识别方法，其特征在于，应用于无人平台，包括单目可见光相机和智能边缘计算设备通讯连接，所述单目可见光相机安装在无人平台上，用于对轨条砦目标进行探测识别，包括以下步骤，所述可见光相机，实现对目标区域可见光图像的拍摄与输出可见光视频流；所述智能边缘计算设备，实现对可见光相机视频的接收，并运行高速目标关键点检测算法和高度反演算法，并与无人机飞控系统连接；其中，通过高速目标关键点检测算法，实现对视频流中目标关键点的实时检测，输出目标关键点的像素坐标，同时输出目标矩形边界框的像素长度、像素宽度与像素位置；通过高度反演算法，根据目标关键点的像素坐标，计算出单目可见光相机与轨条砦顶面的距离，即无人系统距离轨条砦顶面的高度数据。2.根据权利要求1所述的基于深度神经网络的高速轨条砦关键点识别方法，其特征在于：所述高速目标关键点检测算法包括以下步骤，数据集构建：通过标注轨条砦目标顶面4个角点与一个中心点，共5个关键点结合轨条砦水泥墩的位置框作为标注信息；模型结构为bottle neck：特征金字塔FPN模块；模型包含FPN模块，抽取原始图像中4个级别的特征，首先，通过骨干网络做自底向上的特征抽取，得到特征图{C2,C3,C4，C5}；然后对{C2,C3,C4}执行横向连接，即将{C2,C3,C4}分别通过一个1
×
1的卷积层以融合信息，同时降低channel维度；最后，将通道融合后的{C2,C3,C4}与自上而下上采样得到的feature map进行对应元素相加融合得到特征金字塔层{P2,P3,P4}；顶部特征图与顶部金字塔层共享C5＝P5；还包括head：上下文模块；采用上下文模块作为头部，在4个特征金字塔级别上应用了独立的上下文模块，具体使用可变形卷积替换FPN结构中原有的3
×
3卷积层；模型的损失函数设计为多任务联合损失函数：式中，和分别为分类损失、边界框回归损失以及关键点偏差损失；λ1和λ2分别为边界框回归与关键点预测损失的权重系数；分别为类别、边界框、关键点真值，某个锚点位置有目标时否则c
i
，r
i
，p
i
分别为类别、边界框、关键点的预测值；模型前向传播的输出结果包括，分类结果：1为目标，0为背景；目标最小包围矩形框的左上角坐标与宽高：(x,y,w,h)；目标的5个关键点坐标(x
i
,y
i
),i∈[1,5]。3.根据权利要求2所述的基于深度神经网络的高速轨条砦关键点识别方法，其特征在于：所述高度反演算...

【专利技术属性】
技术研发人员：朱斌，解博，陈熠，朱耀轩，邹融平，邵斌，梁峥，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：