联合可见光与红外的全天时多尺度低小慢目标检测方法技术

本发明专利技术公开了一种联合可见光与红外的全天时多尺度低小慢目标检测方法，获取含有低小慢目标的红外序列图像或可见光序列图像；将所述红外序列图像或可见光序列图像输入多尺度单帧目标检测网络模型，提取红外序列图像或可见光序列图像中每帧图像的目标检测结果，即备选点，将时域上所有的备选点构建为点云空间；将所述点云空间输入轨迹检测网络，得到检测结果

【技术实现步骤摘要】
联合可见光与红外的全天时多尺度低小慢目标检测方法


[0001]本专利技术涉及图像数据处理
，特别是一种联合可见光与红外的全天时多尺度低小慢目标检测方法
。

技术介绍

[0002]在对低小慢目标例如无人机进行监测的情景下，根据待检测目标距离远近，其在监测图像中呈现不同的尺度，当目标距离观测平台较近时，目标具有明显的形态特征，采用常用的单帧检测算法可以取得较好的检测效果，然而，当目标较远时，在图像中呈现为弱小点源目标，仅靠单帧检测算法难以分辨目标与噪声，另一方面，在环境光线较暗的情况下，可见光相机难以采集到目标信息，采用红外相机可以捕捉到黑暗环境下的低小慢目标的红外辐射信号，将可见光相机与红外相机融合，有望实现目标的全天时检测，然而现有的方法往往是针对可见光或者红外图像分别设计目标检测算法，两套算法需要分别进行算法设计和模型训练，调整步骤复杂
。
[0003]现有技术存在以下两个方面问题：
[0004](1)
对于低小慢目标，由于飞行范围大，在图像中存在尺度变化，现有的方
[0005]法无法适应这种大尺度目标变化，导致检测效果差
。
[0006](2)
现有可见光和红外方法往往是设计两套不同的算法分别对目标进行检测，这导致算法调参困难，且存在算法选择困难的问题
。

技术实现思路

[0007]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种联合可见光与红外的全天时多尺度低小慢目标检测方法，解决低小慢目标相平面尺度变化大以及全天时场景下可见光相机与红外相机差异大导致检测算法设计复杂的问题
。
[0008]为解决上述技术问题，本专利技术所采用的技术方案是：一种联合可见光与红外的全天时多尺度低小慢目标检测方法，包括以下步骤：
[0009]S1、
获取含有低小慢目标的红外序列图像或可见光序列图像；
[0010]S2、
将所述红外序列图像或可见光序列图像输入多尺度单帧目标检测网络模型，提取红外序列图像或可见光序列图像中每帧图像的目标检测结果，即备选点，将时域上所有的备选点构建为点云空间；
[0011]S3、
将所述点云空间输入轨迹检测网络，得到检测结果；其中，所述轨迹检测网络包括依次连接的特征提取层
、
特征聚合层和结果输出模块；所述特征提取层用于提取每个备选点的局部特征，所述特征聚合层将所有备选点的局部特征聚合为全局特征，所述结果输出模块将每个备选点的局部特征和全局特征进行拼接，形成每个备选点的最终特征，将所述最终特征经过多个全连接层即得到检测结果
。
[0012]本专利技术结合了多尺度单帧目标检测网络模型和轨迹检测网络，充分利用了无人机运动的时空信息，可以同时适用于可见光图像和红外图像，可以将两种数据混合在一起进
行训练，方便方法调整
。
本专利技术实现了全天时多尺度低小慢目标检测，具有调参简单方便
、
适用范围广
、
鲁棒性强的特点
。
[0013]本专利技术中，所述多尺度单帧目标检测网络模型包括多组级联的卷积层，相邻两组卷积层之间通过最大池化层连接；每组卷积层包括至少一个卷积层
。
[0014]本专利技术中，所述结果输出模块的输出为
N*2
的矩阵，矩阵每一行表示一个备选点，共有两列，第一列表示备选点是真实目标的置信度，第二列表示目标的轨迹号；当所述置信度高于设定阈值时，认为目标为真实的目标；
N
表示备选点目标数量
。
[0015]本专利技术中，为了提高检测精度，还包括：剔除置信度低于所述设定阈值的目标
。
[0016]本专利技术中，为了便于查看检测结果，还包括：可视化所述置信度高于设定阈值的目标
。
[0017]本专利技术中，所述特征提取层包括多个级联的全连接层
。
[0018]本专利技术中，所述特征提取层中的全连接层的个数为5；所述特征提取层的输入为
N*M
的矩阵，
N
表示备选点目标数量，
M
表示备选点的特征信息数量
。
[0019]本专利技术中，所述特征聚合层为最大池化层
。
[0020]本专利技术中，所述结果输出层中的全连接层的数量为
3。
[0021]与现有技术相比，本专利技术所具有的有益效果为：本专利技术充分利用了无人机运动的时空信息，在复杂场景和远距离目标场景下展现更明显的优势，同时，本专利技术的方法可以同时适用于可见光图像和红外图像，可以将两种数据混合在一起进行训练，方便方法调整
。
本专利技术实现了全天时多尺度低小慢目标检测，具有调参简单方便
、
适用范围广
、
鲁棒性强的特点
。
附图说明
[0022]图1为本专利技术实施例面向无人机的多尺度时空融合检测方法流程图；
[0023]图2为本专利技术实施例单帧目标检测网络原理图；
[0024]图3为本专利技术实施例多帧备选点示意图
(
已降维
)
；
[0025]图4为本专利技术实施例轨迹检测网络原理图；
[0026]图5为本专利技术实施例真实目标的运动轨迹图；
[0027]图6为本专利技术实施例低小慢目标检测模型训练损失趋势；
[0028]图7为本专利技术实施例不同场景下无人机检测效果展示；
(a)
无人机相面尺寸
782*411
，
(b)
无人机相面尺寸
5*5
，
(c)
黑暗环境
。
具体实施方式
[0029]为使本专利技术实施例的目的
、
技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地说明，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0030]在本文中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序
、
数量和重要性，而是仅仅用于对不同的元件进行区分
。
在本文中，术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物，而是表示有关描述仅仅针对所述事物中的一个，所述
事物可能具有一个或多个
。
在本文中，术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系，而不能视作表示空间结构上的关系
。
例如，“A
包括
B”意在表示在逻辑上
B
属于
A
，而不表示在空间上
B
位于
A
的内部
。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种联合可见光与红外的全天时多尺度低小慢目标检测方法，其特征在于，包括以下步骤：
S1、
获取含有低小慢目标的红外序列图像或可见光序列图像；
S2、
将所述红外序列图像或可见光序列图像输入多尺度单帧目标检测网络模型，提取红外序列图像或可见光序列图像中每帧图像的目标检测结果，即备选点，将时域上所有的备选点构建为点云空间；
S3、
将所述点云空间输入轨迹检测网络，得到检测结果；其中，所述轨迹检测网络包括依次连接的特征提取层
、
特征聚合层和结果输出模块；所述特征提取层用于提取每个备选点的局部特征，所述特征聚合层将所有备选点的局部特征聚合为全局特征，所述结果输出模块将每个备选点的局部特征和全局特征进行拼接，形成每个备选点的最终特征，将所述最终特征经过多个全连接层即得到检测结果
。2.
根据权利要求1所述的联合可见光与红外的全天时多尺度低小慢目标检测方法，其特征在于，所述多尺度单帧目标检测网络模型包括多组级联的卷积层，相邻两组卷积层之间通过最大池化层连接；每组卷积层包括至少一个卷积层
。3.
根据权利要求1所述的联合可见光与红外的全天时多尺度低小慢目标检测方法，其特征在于，所述结果输出模块的输出为
N*2
的矩阵，矩阵每一行表示一个备选点，共有两列，第一列表示备...

【专利技术属性】
技术研发人员：盛卫东，陈诺，安玮，李卫星，李淼，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：