一种基于视频序列特征匹配的空天背景极小目标检测方法技术

本发明专利技术属于图像处理技术领域，具体涉及一种基于视频特征匹配的空天背景极小目标检测方法。方法包括以下步骤：构建特征提取网络，将视频序列作为输入，提取视频序列连续帧图像包含的关键点的位置坐标以及关键点的特征描述向量；构建特征匹配网络，提取得到的关键点坐标和关键点特征描述向量，输入到特征匹配网络进行连续帧的关联匹配，输出连续帧匹配的关键点对；根据目标的像素值特征和运动特征，构建二级分类器，对匹配成功的关键点对进行进一步的筛选和分类，得到视频序列中的极小目标。本发明专利技术实现了对空天背景下目标有效像素数量小于12*12的极小目标的检测，有效解决了神经网络对极小目标难以表征的问题，提升了极小目标检测的精准率和召回率。检测的精准率和召回率。检测的精准率和召回率。

【技术实现步骤摘要】
一种基于视频序列特征匹配的空天背景极小目标检测方法


[0001]本专利技术属于图像处理
，具体涉及一种基于视频特征匹配的空天背景极小目标检测方法。

技术介绍

[0002]现代战争已全面进入信息化时代，随着世界各国大力发展智能化、数字化武器装备，新型多样的装备对各种防御反制、侦察探测提出越来越高的要求。大量的有人机、无人机、导弹等空中火力在实际战场中投入使用，尤其是中小型无人机、导弹等可利用低空飞行以及隐身技术来躲避雷达等传统军事传感器的探测，给传统防空探测系统造成了日益严峻的挑战和威胁。因此亟需采用其他更为高效、准确的探测手段，在复杂战场环境中快速精准实现飞行目标的检测、预警和打击。
[0003]随着基于视频图像目标检测技术的日益成熟和在军民领域的广泛应用，采用光电系统等无源探测方式成为了一种更为高效、准确的应对空天背景飞行目标的探测手段，然而在复杂多变的战场空间环境中，由于成像系统和目标的距离较远，飞行目标在图像中往往呈现为短条状、点簇等的极小目标形态，目标的有效像素很少(小于12*12像素)且缺乏有效的辨识特质，这给现有的视频图像目标检测带来了巨大的难题和挑战。
[0004]目前行业内对小目标检测开展相关工作研究，包括了传统算法和深度学习算法。传统算法方面，主要利用特征金字塔、上下文信息，局部空域、频域特征等方式实现小目标检测。公开号为CN107705319A的中国专利文件公开了一种基于空天背景小目标实时检测跟踪方法，先对图像进行多尺度子域分割，并利用局部灰度特征变化检测小目标，然后对目标进行加权质心跟踪，弥补单一局部灰度特征带来的缺点，但是该方法对较小目标不敏感且容易受到噪声干扰。基于深度学习的小目标检测主要通过数据增强、多尺度特征融合等方法来提升检测性能。公开号为CN113378905A的中国专利文件公开了一种基于分布距离的小目标检测方法，使用归一化高斯距离度量预测框和标注框之间的位置关系，设计了基于分布距离的小目标检测网络用于提高正负样本分配质量，设计了基于分布距离的非极大值抑制方法用于提高非极大值抑制的质量，并设计了基于分布距离的损失函数用于引导网络更好地回归，以上数项共同提高了检测效果。然而，该方法主要应用于较小的目标(小于32*32像素)，对于空天背景中的极小目标，基于通用神经网络的目标检测技术的能力和精度受到巨大的影响，甚至失效。
[0005]总体上看，空天背景的极小目标检测，存在目标有效像素少、空间结构简单、目标可辨识度低、容易受到噪声干扰的难点。基于传统算法的小目标检测虽然时效性较好，但是由于特征表达能力弱，存在检测精准率和召回率低的缺点；基于深度学习的目标检测技术已广泛应用并相对成熟，但是小目标检测依然是领域内的难点和痛点，尤其是针对目标有效像素数量少的极小目标(小于12*12像素)，基于深度学习的目标检测方法往往束手无策，这是因为随着神经网络降采样，越深的特征层所对应的感受野越大，特征层的空间尺度随之递减，伴随而来像素数量少的极小目标会随着网络降采样导致特征表达失效。

技术实现思路

[0006]本专利技术的目的在于提供一种基于视频序列特征匹配的空天背景极小目标检测方法，利用目标和背景之间像素存在较大梯度的特性、领近帧目标的相关性、目标的像素值特征和目标的运动特征，通过构建特征提取网络、特征匹配网络、特征分类器，将目标检测问题转化为特征匹配和分类问题，实现对空天背景极小目标的检测。
[0007]为实现以上目的，本专利技术采用以下技术方案：
[0008]一种基于视频序列特征匹配的空天背景极小目标检测方法，包括以下步骤：
[0009]S1、构建特征提取网络，将视频序列作为输入，提取视频序列连续帧图像的关键点信息，所述关键点信息包括关键点的位置坐标、关键点的特征描述向量；
[0010]S2、构建特征匹配网络，将步骤S1提取得到的关键点坐标和关键点特征描述向量，输入到特征匹配网络进行连续帧的关联匹配，输出连续帧匹配的关键点对；
[0011]S3、根据目标的像素值特征和运动特征，构建二级分类器，对匹配成功的关键点对进行进一步的筛选和分类，得到的最终的关键点即为视频序列中的极小目标。
[0012]步骤S1中，本专利技术构建的特征提取网络包括依次连接的输入层、特征编码层、特征提取层、输出层；所述特征提取层包括关键点特征提取分支和特征描述提取分支；
[0013]特征编码层对输入网络的视频序列连续帧图像进行统一的特征编码，得到每帧图像对应的包含关键点特征信息的特征图；关键点特征提取分支对各特征图的关键点特征进行提取，特征描述提取分支对各特征图的关键点特征描述向量进行提取，以得到每帧图像包含的关键点的位置坐标和特征描述向量；所述关键点为在不同源、不同成像模式、不同视角、不同光照、不同时间条件下均可被检测到的图像点。
[0014]关键点特征提取分支的输出为与输入尺寸相同的关键点概率图，对概率图进行解码以获取关键点位置坐标；本专利技术基于非极大值抑制思想，采用最大池化和最值掩模对关键点概率图进行解码。
[0015]关键点特征描述提取分支对各特征图上的每个像素输出长度统一的特征描述向量，并利用解码得到的关键点位置坐标索引得到该关键点对应的特征描述向量。具体的，关键点特征描述提取分支先对各特征图进行双三次多项式插值处理，得到各特征图上各像素的特征描述向量，再对各特征图上各像素的特征描述向量进行L2归一化处理，最后输出各特征图上的每个像素对应的长度统一的特征描述向量。
[0016]步骤S2中，本专利技术构建的特征匹配网络包含一个基于注意力机制的图神经网络和匹配层；
[0017]注意力图神经网络将每帧图像中各关键点的位置坐标、关键点的特征描述编码为一个初始特征表达向量，并利用注意力机制增强初始特征表达向量的特征匹配性能，得到每帧图像中各关键点的匹配描述向量。
[0018]在注意力图神经网络结构中，首先利用多层感知机对关键点的位置坐标进行编码，并升维至与关键点特征描述向量相匹配的尺寸，然后将关键点特征描述向量与编码后的关键点位置坐标进行耦合，得到初始特征表达向量；
[0019]具体计算方法为：
[0020]X
k
＝D
k
+ENC(P
k
)，
[0021]其中，P
k
表示关键点k的位置坐标，ENC()表示通过多层感知机进行位置特征编码，
D
k
表示关键点的特征描述向量，X
k
表示初始特征表达向量。
[0022]完成特征编码后，采用交替进行的自注意力以及交叉注意力计算，以增强初始特征表达向量的特征匹配性能；最后使用匹配层计算各个匹配描述向量的内积得到匹配得分矩阵，并对得分矩阵进行优化，根据预设的得分矩阵的值，筛选得到匹配成功的关键点对。
[0023]步骤S3中，构建的二级分类器包括像素值特征分类器和运动特征分类器；
[0024]像素值特征分类器，先根据视频序列中相邻帧的同一目标像素值变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频序列特征匹配的空天背景极小目标检测方法，其特征在于，包括以下步骤：S1、构建特征提取网络，将视频序列作为输入，提取视频序列连续帧图像的关键点信息，所述关键点信息包括关键点的位置坐标、关键点的特征描述向量；S2、构建特征匹配网络，将步骤S1提取得到的关键点坐标和关键点特征描述向量，输入到特征匹配网络进行连续帧的关联匹配，输出连续帧匹配的关键点对；S3、根据目标的像素值特征和运动特征，构建二级分类器，对匹配成功的关键点对进行进一步的筛选和分类，得到的最终的关键点即为视频序列中的极小目标。2.根据权利要求1所述的一种基于视频序列特征匹配的空天背景极小目标检测方法，其特征在于，步骤S1中，构建的特征提取网络包括依次连接的输入层、特征编码层、特征提取层、输出层；所述特征提取层包括关键点特征提取分支和特征描述提取分支。3.根据权利要求2所述的一种基于视频序列特征匹配的空天背景极小目标检测方法，其特征在于，步骤S1中，输入特征提取网络的视频序列连续帧图像在特征编码层进行统一的特征编码，得到每帧图像对应的包含关键点特征信息的特征图，关键点特征提取分支对各特征图的关键点特征进行提取，特征描述提取分支对各特征图的关键点特征描述向量进行提取，以得到每帧图像包含的关键点的位置坐标和特征描述向量。4.根据权利要求3所述的一种基于视频序列特征匹配的空天背景极小目标检测方法，其特征在于，步骤S1中，关键点特征提取分支的输出为与输入尺寸相同的关键点概率图，并通过对概率图进行解码以获取关键点位置坐标；关键点特征描述提取分支对各特征图上的每个像素输出长度统一的特征描述向量，并利用解码得到的关键点位置坐标索引得到该关键点对应的特征描述向量。5.根据权利要求1所述的一种基于视频序列特征匹配的空天背景极小目标检测方法，其特征在于，步...

【专利技术属性】
技术研发人员：许斌，祝中科，张子恒，吴昊天，李彤，李俊薇，陈碧乾，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：