基于难易感知的聚焦式视频运动小目标检测方法技术

本发明专利技术涉及基于难易感知的聚焦式视频运动小目标检测方法，包括步骤：构建视频运动小目标难易感知模型；对视频运动小目标难易感知模型的

【技术实现步骤摘要】
基于难易感知的聚焦式视频运动小目标检测方法


[0001]本专利技术涉及图像处理
，特别涉及一种基于难易感知的聚焦式视频运动小目标检测方法
。

技术介绍

[0002]人类观察视频图像中的运动小目标时，比如视频图像中的飞鸟，距离摄像机较近且飞行缓慢时，较为清晰，容易识别；距离摄像机较远
、
或背景复杂
、
或飞行较快时，不容易识别
。
识别方法主要采取两种类型：第一类，没有区分目标的难易程度，统一当成较难识别的目标进行处理，这类方法可以取得一定的效果，但不符合实际情况；第二类，一定程度上采用了越难的目标，处理的程序越复杂的模型，这类方法感知困难目标的方法时依据目标的预测分数来确定，但无法确定模型是否预测错误，而进行错误的处理
。

技术实现思路

[0003]本专利技术的目的在于当数据集中目标存在容易识别
、
不容易识别
、
较难识别等情况的场景时，提供一种基于难易感知的聚焦式视频运动小目标检测方法，提高困难目标的检出率，降低误检率
。
[0004]为了解决数据集中存在多种难易程度的目标时，模型不能区分目标的难易程度，而进行相适应的检测的问题，本专利技术实施例提供了以下技术方案：
[0005]基于难易感知的聚焦式视频运动小目标检测方法，包括以下步骤：
[0006]步骤1，构建视频运动小目标难易感知模型；
[0007]步骤2，对视频运动小目标难易感知模型的
nr/>个子网络及检测头分支对应的标签进行分配，将图像输入视频运动小目标难易感知模型进行训练，得到视频运动小目标难易感知卷积神经网络模型；
[0008]步骤3，将实时获取的图像输入视频运动小目标难易感知卷积神经网络模型中，得到检测结果；根据目标难度等级，截取相应帧数目标的运动区域，构建目标的时空立方体；将时空立方体输入基于时空立方体的轻量化细检模型中进行聚焦式的检测，预测目标的类别及位置
。
[0009]在上述方案中，所述视频运动小目标难易感知模型具有
n
个子网络及检测头分支，用于感知目标的难易程度，根据目标的难易程度合理分配计算资源，对于难度等级高的目标分配更长的路径进行处理，可以提高困难目标的检出率，降低误检率
。
[0010]所述视频运动小目标难易感知模型包括一个特征聚合网络
、
一个特征提取主干网络
、n
个子网络
、n
个检测头
、n
‑1个空间注意力模块；其中，特征聚合网络的输出端与特征提取主干网络的输入端连接，特征提取主干网络与第一个子网络的输入端连接，每个子网络与每个检测头一一对应连接，且每个子网络的输出端还与一个空间注意力模块的输入端连接，该空间注意力模块的输出端与下一个子网络的输入端连接，直到第
n
‑1的注意力模块的输出端与第
n
个子网络的输入端连接
。
[0011]在所述步骤2之前，还包括步骤：
[0012]将目标的难度等级分为
n
个难度等级，分别为难度等级
0、
难度等级
1、...、
难度等级
n
‑1，其中难度等级0为最容易识别的难度等级，难度等级
n
‑1为最难识别的难度等级；
[0013]其中，第1个子网络及检测头分支负责预测所有难度等级的目标，第2个子网络及检测头分支负责预测除难度等级为0之外的目标，第3个子网络及检测头分支负责预测除难度等级为0和1之外的目标，以此类推，第
(n
‑
1)
个子网络及检测头分支负责预测难度等级为
(n
‑
2)
和
(n
‑
1)
的目标，第
n
个子网络及检测头分支负责预测难度等级为
(n
‑
1)
的目标
。
[0014]在上述方案中，根据目标的难度等级，对于难度等级越高的目标，投入越多的算力去处理，而对于难度等级低的目标，则使用较少的算力，合理的分配了计算资源
。
对于困难的目标，识别更精准，对于简单的目标，节约了识别资源
。
[0015]所述步骤2中，对视频运动小目标难易感知模型的
n
个子网络及检测头分支对应的标签进行分配的步骤，包括：
[0016]对连续多帧图像中目标的分数进行标注，形成每帧图像对应的标签，依据标签中目标的分数，对目标进行难度等级的划分，一共有
n
个难度等级；
[0017]随机选择一批量图像和对应的标签，根据图像中目标的难度等级进行标签重新分配，将标签分为
n
组，第1组包含所有目标的标签，对应视频运动小目标难易感知模型的第1个子网络及检测头分支；第2组包含除难度等级为0之外的目标的标签，对应第2个子网络及检测头分支；第3组包含除难度等级为
0、1
之外的目标的标签，对应第3个子网络及检测头分支；以此类推，第
(n
‑
1)
组包含难度等级为
(n
‑
2)、(n
‑
1)
的目标的标签，对应第
(n
‑
1)
个子网络及检测头分支；第
n
组包含难度等级为
(n
‑
1)
的目标的标签，对应第
n
个子网络及检测头分支
。
[0018]在上述方案中，对
n
个子网络及检测头分支分配对应的标签，使得模型能够在不同的结构阶段感知难易程度不同的目标
。
[0019]所述步骤2中，将图像输入视频运动小目标难易感知模型进行训练，得到视频运动小目标难易感知卷积神经网络模型的步骤，包括：
[0020]对
n
个子网络及检测头分支对应的标签进行分配后，将图像输入视频运动小目标难易感知模型进行训练，经过前向推理，得到视频运动小目标难易感知模型输出的结果；
[0021]在训练过程中，利用置信度损失函数
、
类别分类损失函数以及定位回归损失函数计算视频运动小目标难易感知模型与对应标签之间的损失；
[0022]使用目标的分数对每个目标所对应的损失进行加权，损失反向传播更新视频运动小目标难易感知模型的权重；直到训练一定的步长或损失收敛到期望值后，固定视频运动小目标难易感知模型的权重，得到视频运动小目标难易感知卷积神经网络模型
。
[0023]所述步骤3中，将实时获取的图像输入视频运动小目标难易感知卷积神经网络模型中，得到检测结果；根据目标难度等级，截取相应帧数目标的运动区域，构建目标的时空立方体的步骤，包括：
[0024]将连续
n...

【技术保护点】

【技术特征摘要】
1.
基于难易感知的聚焦式视频运动小目标检测方法，其特征在于：包括以下步骤：步骤1，构建视频运动小目标难易感知模型；步骤2，对视频运动小目标难易感知模型的
n
个子网络及检测头分支对应的标签进行分配，将图像输入视频运动小目标难易感知模型进行训练，得到视频运动小目标难易感知卷积神经网络模型；步骤3，将实时获取的图像输入视频运动小目标难易感知卷积神经网络模型中，得到检测结果；根据目标难度等级，截取相应帧数目标的运动区域，构建目标的时空立方体；将时空立方体输入基于时空立方体的轻量化细检模型中进行聚焦式的检测，预测目标的类别及位置
。2.
根据权利要求1所述的基于难易感知的聚焦式视频运动小目标检测方法，其特征在于：所述视频运动小目标难易感知模型包括一个特征聚合网络
、
一个特征提取主干网络
、n
个子网络
、n
个检测头
、n
‑1个空间注意力模块；其中，特征聚合网络的输出端与特征提取主干网络的输入端连接，特征提取主干网络与第一个子网络的输入端连接，每个子网络与每个检测头一一对应连接，且每个子网络的输出端还与一个空间注意力模块的输入端连接，该空间注意力模块的输出端与下一个子网络的输入端连接，直到第
n
‑1的注意力模块的输出端与第
n
个子网络的输入端连接
。3.
根据权利要求2所述的基于难易感知的聚焦式视频运动小目标检测方法，其特征在于：在所述步骤2之前，还包括步骤：将目标的难度等级分为
n
个难度等级，分别为难度等级
0、
难度等级
1、...、
难度等级
n
‑1，其中难度等级0为最容易识别的难度等级，难度等级
n
‑1为最难识别的难度等级；其中，第1个子网络及检测头分支负责预测所有难度等级的目标，第2个子网络及检测头分支负责预测除难度等级为0之外的目标，第3个子网络及检测头分支负责预测除难度等级为0和1之外的目标，以此类推，第
(n
‑
1)
个子网络及检测头分支负责预测难度等级为
(n
‑
2)
和
(n
‑
1)
的目标，第
n
个子网络及检测头分支负责预测难度等级为
(n
‑
1)
的目标
。4.
根据权利要求2所述的基于难易感知的聚焦式视频运动小目标检测方法，其特征在于：所述步骤2中，对视频运动小目标难易感知模型的
n
个子网络及检测头分支对应的标签进行分配的步骤，包括：对连续多帧图像中目标的分数进行标注，形成每帧图像对应的标签，依据标签中目标的分数，对目标进行难度等级的划分，一共有
n
个难度等级；随机选择一批量图像和对应的标签，根据图像中目标的难度等级进行标签重新分配，将标签分为
n
...

【专利技术属性】
技术研发人员：华泽玺，孙自伟，薛恒，龙海鹏，王俊淇，
申请(专利权)人：四川都睿感控科技有限公司，
类型：发明
国别省市：