基于多光谱多模的低慢小目标感知方法及系统技术方案

本发明专利技术公开了一种基于多光谱多模的低慢小目标感知方法及系统，涉及无人机技术领域，主要技术方案包括：对采集设备采集到的视频数据基于多层次融合的多光谱多模目标表征学习，得到目标特征；将所述目标特征输入深度神经网络模型，得到可见光特征与红外特征的组合途径，并根据所述可见光与红外特征的组合途径对视频数据进行图像融合；对融合后的视频数据进行小目标的表征学习机理；基于演进型神经网络算法对除目标特征外的其他视频元素进行优化；将优化后的其他视频元素及对针对小目标的表征学习机理的学习结果输入嵌入式学习设备，选取并保存最优感知低慢小目标的模型参数。应用于感知低慢小无人机的行进过程中。

【技术实现步骤摘要】
基于多光谱多模的低慢小目标感知方法及系统
本专利技术实施例涉及无人机
，特别是涉及一种基于多光谱多模的低慢小目标感知方法及系统。
技术介绍
随着商用小型无人机技术及其产业的日益成熟，对空中低慢小无人机的探测压力日渐增大，特别是在城市复杂环境下的快速准确探测识别低慢小无人机，仍面临着诸多挑战。因此，如何解决复杂环境下低慢小无人机的检测、跟踪、识别问题具有十分重要的理论与实际意义。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于多光谱多模的低慢小目标感知方法及系统，主要目的在于实现在复杂环境下对低慢小无人机的精准检测、跟踪、识别。为了解决上述问题，本专利技术实施例主要提供如下技术方案：第一方面，本专利技术实施例提供了一种基于多光谱多模的低慢小目标感知方法，该方法包括：对采集设备采集到的视频数据基于多层次融合的多光谱多模目标表征学习，得到目标特征；将所述目标特征输入深度神经网络模型，得到可见光特征与红外特征的组合途径，并根据所述可见光与红外特征的组合途径对视频数据进行图像融合；本文档来自技高网...

【技术保护点】
1.一种基于多光谱多模的低慢小目标感知方法，其特征在于，包括：/n对采集设备采集到的视频数据基于多层次融合的多光谱多模目标表征学习，得到目标特征；/n将所述目标特征输入深度神经网络模型，得到可见光特征与红外特征的组合途径，并根据所述可见光与红外特征的组合途径对视频数据进行图像融合；/n对融合后的视频数据进行小目标的表征学习机理；/n基于演进型神经网络算法对除目标特征外的其他视频元素进行优化；/n将优化后的其他视频元素及对针对小目标的表征学习机理的学习结果输入嵌入式学习设备，选取并保存最优感知低慢小目标的模型参数。/n

【技术特征摘要】
1.一种基于多光谱多模的低慢小目标感知方法，其特征在于，包括：
对采集设备采集到的视频数据基于多层次融合的多光谱多模目标表征学习，得到目标特征；
将所述目标特征输入深度神经网络模型，得到可见光特征与红外特征的组合途径，并根据所述可见光与红外特征的组合途径对视频数据进行图像融合；
对融合后的视频数据进行小目标的表征学习机理；
基于演进型神经网络算法对除目标特征外的其他视频元素进行优化；
将优化后的其他视频元素及对针对小目标的表征学习机理的学习结果输入嵌入式学习设备，选取并保存最优感知低慢小目标的模型参数。


2.根据权利要求1所述的方法，其特征在于，在将所述目标特征输入深度神经网络模型之前，所述方法还包括：
对所述目标特征采用矩形框进行标注，标注矩形框的左上角和右下角；
根据矩形框的左上角和右下角分别对应的坐标，转换为矩形框的中心坐标以及矩形框的宽高；
将转换后的目标特征进行分组，以便根据不同的分组将所述目标特征输入所述深度神经网络模型。


3.根据权利要求1所述的方法，其特征在于，对融合后的视频数据进行小目标的表征学习机理包括：
将所述视频数据采用三段式表示，分别为：RGB特征、共有特征及红外线特征；
根据分段后的视频数据构建特征矩阵；
对所述特征矩阵使用特征计算得到相似度矩阵；
在所述相似度矩阵中使用图卷积神经网络GCN进行跨模态特征迁移，进行特征传播；
对传播后的特征进行融合小目标表征学习。


4.根据权利要求3所述的方法，其特征在于，根据分段后的视频数据构建特征矩阵包括：
针对所述RGB特征，其对应的红外线特征为0；
针对红外线特征，其对应的RGB特征为0。


5.根据权利要求1所述的方法，其特征在于，在对采集设备采集到的视频数据基于多层次融合的多光谱多模目标表征学习之前，所述方法还包括：
对所述视频数据进行图像辐射与几何误差的校正、仿射变换、特征增强、图像配准、类别区分。


6.一种基于多光谱多模的低慢小目标感知系统，其特征在于，包括：
第一学习单元，用于对采集设备采集到的视频数据基于多层次融...

【专利技术属性】
技术研发人员：赵健，温志津，刘阳，李晋徽，鲍雁飞，雍婷，晋晓曦，张清毅，温可涵，
申请(专利权)人：中国人民解放军三二八零二部队，
类型：发明
国别省市：北京;11