面向无人机视频数据的弱监督显著性目标检测方法及系统技术方案

本发明专利技术提出了面向无人机视频数据的弱监督显著性目标检测方法及系统，分别对视频的

【技术实现步骤摘要】
面向无人机视频数据的弱监督显著性目标检测方法及系统


[0001]本专利技术属于计算机视觉检测
，尤其涉及面向无人机视频数据的弱监督显著性目标检测方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]近年来，全监督的视频显著性目标检测已经得到了相关研究人员的广泛研究
。
由于全监督的标注提供充分而准确的监督信息，现有的显著性检测模型可以相对轻易地获得令人瞩目的性能
。
然而，全监督信息的获取代价是非常高昂的，难以高效地迁移到复杂且多样的计算机视觉任务中
。
由此，研究人员开始探索如何使用低成本的标注信息甚至不使用带有标注的监督信息实现深度学习模型的训练，视频显著性目标检测也面临类似问题
。
弱监督标签所提供的监督信息十分有限，如何最大化利用有限的显著性信息，在视频显著性目标检测中应用弱监督信息实现达到全监督训练的模型的检测效果，是本领域技术人员亟待解决的问题
。

技术实现思路

[0004]为克服上述现有技术的不足，本专利技术提供了面向无人机视频数据的弱监督显著性目标检测方法及系统，分别对视频的
RGB
图像和光流图进行浅层特征和深层特征的提取，将不同模态的浅层特征进行模态对齐和校准，能够更加关注每个模态的显著性信息；不同模态的深层特征进行跨模态融合，充分融合了深层特征的显著性语义信息，然后基于跨模态浅层增强特征和跨模态深层交互特征进行融合得到检测结果，能够很好地抑制视频中复杂背景信息，提高了视频显著性目标检测的准确性
。
[0005]为实现上述目的，本专利技术的第一个方面提供面向无人机视频数据的弱监督显著性目标检测方法，包括：
[0006]获取视频片段的
RGB
图像
、
光流图像；
[0007]分别对所述
RGB
图像
、
光流图像进行多尺度的特征提取，得到
RGB
图像的浅层特征和深层特征，光流图像的浅层特征和深层特征；
[0008]采用跨模态特征增强模块，将所述
RGB
图像和所述光流图像不同模态的浅层特征进行模态对齐，基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到跨模态浅层增强特征；
[0009]采用深度感知交互模块，将所述
RGB
图像和所述光流图像不同模态的深层特征基于多头注意力机制实现跨模态融合，得到跨模态深层交互特征；
[0010]利用长时跨帧对比模块基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对跨模态浅层增强特征和跨模态深层交互特征进行融合，得到显著性目标检测结果
。
[0011]本专利技术的第二个方面提供面向无人机视频数据的弱监督显著性目标检测系统，包括：
[0012]获取模块：用于获取视频片段的
RGB
图像
、
光流图像；
[0013]特征提取模块：用于分别对所述
RGB
图像
、
光流图像进行多尺度的特征提取，得到
RGB
图像的浅层特征和深层特征，光流图像的浅层特征和深层特征；
[0014]浅层特征增强模块：用于将所述
RGB
图像和所述光流图像不同模态的浅层特征进行模态对齐，并基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到跨模态浅层增强特征；
[0015]深度感知交互模块：用于将所述
RGB
图像和所述光流图像不同模态的深层特征基于多头注意力机制进行跨模态融合，得到跨模态深层交互特征；
[0016]长时跨帧对比模块：用于基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对跨模态浅层增强特征和跨模态深层交互特征进行融合，得到显著性目标检测结果
。
[0017]本专利技术的第三个方面提供一种计算机设备，包括：处理器
、
存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种基于弱监督的视频显著性目标检测方法
。
[0018]本专利技术的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种基于弱监督的视频显著性目标检测方法
。
[0019]以上一个或多个技术方案存在以下有益效果：
[0020]在本专利技术中，分别对视频的
RGB
图像和光流图进行浅层特征和深层特征的提取，浅层特征包括物体的边缘和纹理等特征信息，深层特征包括丰富的显著性语义内容，将不同模态的浅层特征进行模态对齐和校准，能够更加关注每个模态的显著性信息
。
不同模态的深层特征进行跨模态融合，充分融合了深层特征的显著性语义信息，然后基于跨模态浅层增强特征和跨模态深层交互特征进行融合得到检测结果，能够很好地抑制视频中复杂背景信息，提高了视频显著性目标检测的准确性，而且应用在弱监督中可达到部分全监督检测效果
。
[0021]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到
。
附图说明
[0022]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定
。
[0023]图1为本实施例一中层级交互长时弱监督显著性目标检测网络结构图；
[0024]图2为本实施例一中不同视频显著性检测方法的可视化结果
。
具体实施方式
[0025]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明
。
除非另
有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义
。
[0026]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式
。
[0027]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合
。
[0028]实施例一
[0029]本实施例公开了一种面向无人机视频数据的弱监督显著性目标检测方法，包括：
[0030]获取视频片段的
RGB
图像
、
光流图像；
[0031]分别对所述
RGB
图像
、
光流图像进行多尺度的特征提取，得到
RGB
...

【技术保护点】

【技术特征摘要】
1.
面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，包括：获取视频片段的
RGB
图像
、
光流图像；分别对所述
RGB
图像
、
光流图像进行多尺度的特征提取，得到
RGB
图像的浅层特征和深层特征，光流图像的浅层特征和深层特征；采用跨模态特征增强模块，将所述
RGB
图像和所述光流图像不同模态的浅层特征进行模态对齐，基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到跨模态浅层增强特征；采用深度感知交互模块，将所述
RGB
图像和所述光流图像不同模态的深层特征基于多头注意力机制实现跨模态融合，得到跨模态深层交互特征；利用长时跨帧对比模块基于连续帧之间背景和前景的相似度以及不同帧之间背景和前景的差异性，对跨模态浅层增强特征和跨模态深层交互特征进行融合，得到显著性目标检测结果
。2.
如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，采用跨模态特征增强模块，将所述
RGB
图像和所述光流图像不同模态的浅层特征进行模态对齐，并基于通道注意力机制对不同模态的浅层特征进行通道维度校准，将不同模态浅层特征对齐后特征和通道维度校准后特征进行融合，得到目标跨模态浅层增强特征，具体为：对所述
RGB
图像的浅层特征和所述光流图像的浅层特征基于公共部分计算空间权重图；将所计算的空间权重图分别与所述
RGB
图像浅层特征
、
所述光流图像浅层特征进行融合对齐，分别得到对齐特征；将对齐特征基于通道注意力机制进行校准，得到校准特征；将不同模态的对齐特征与对应的校准特征进行融合，得到不同模态的跨模态浅层增强特征
。3.
如权利要求2所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，将不同模态的对齐特征与对应的校准特征进行融合后，还包括：将不同模态的对齐特征与对应的校准特征进行融合，分别得到不同模态的增强特征；对不同模态的增强特征进行特征维度上的级联操作；将级联操作的结果经过全局平均池化操作；将全局平均池化操作的结果基于多层感知机的门控信号进行不同模态权重的选择；利用所选择的权重以及对应模态的增强特征，得到跨模态浅层增强特征
。4.
如权利要求1所述的面向无人机视频数据的弱监督显著性目标检测方法，其特征在于，采用深度感知交互模块，将所述
RGB
图像和所述光流图像不同模态的深层特征基于多头注意力机制进行跨模态融合，得到跨模态深层交互特征，具体包括：将所述
RGB
图像和所述光流图像不同模态的深层特征经过映射，得到对应的查询变量
、
关键变量和值变量；根据所得到的不同模态的查询变量
、
关键变量和值变量，基于跨模态注意力机制，得到
RGB
图像运动模态增强特征和光流图像纹理增强特征；将
RGB
图像运动模态增强特征
、
光流图像纹理增强特征分别经过线性映射，然后基于多
头自注意力进行单模态特征的学习，得到跨模态深层交互特征

【专利技术属性】
技术研发人员：丛润民，张伟，仇梓峰，宋然，陈宇，李晓磊，陈韬亦，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：