【技术实现步骤摘要】
本专利技术属于人工智能领域，具体涉及一种基于跟踪和自适应切图的端上小目标检测方法和装置。
技术介绍
1、如何快速、准确的定位出可见光场景下感兴趣物体，一直是最近研究热点，直接影响到算法落地和使用可行性。早期有two-stage的rcnn系列定位算法，第一步先通过cnn在原始图像上提取特征图，根据anchor预测提取region proposals,第二步在proposals的基础上进行分类和精确位置回归。后期有单阶段的ssd系列和yolo系列算法，通过cnn深度卷积网络提取featuremap，直接预测物体类别、回归精确位置框。
2、上述两种算法最终检测精度都与featuremap表征能力直接相关，特征提取模块从原始的深度卷积cnn网络结构也变得愈加复杂，增加了fpn（特征金字塔）、residualbuilding blocks（残差模块）、pafpn、cspresnet、transformer模块，在提升特征表征能力的同时增加了算法复杂度。为了提升网络性能，增加了深度可分离卷积、自学习模块、图像缩放模块，但是在提升性能的同时也损失了算法精度，尤其是缩放系数过高，小目标面积本来就小，缩放后人眼都无法辨别。近期也有用单阶段算法在原始图上固定比例滑窗扫描，小图预测方式来弥补缩放损失，但是滑窗步长和尺寸太大，效果不明显，过小耗时又严重增加。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于跟踪和自适应切图的端上小目标检测方法，包括：
2、步骤1，将原始大图按照
3、步骤2，根据目标所在位置的热力图，所在位置出现目标的概率、目标的运动趋势判断所述目标的大小范围；
4、步骤3，跟踪小目标的动态图像，判断所述小目标的运动趋势，根据所述运动趋势对小目标的动态图像进行切分；
5、步骤4，对于所述小目标存在的多个预测框，判断是否存在重复预测；若其中至少一个预测框为其他预测框的子框时，根据所述小目标出现的预测框所在图片的面积大小为阈值，对多个预测框中的重叠区域的目标进行抑制。
6、特别地，所述步骤2中根据目标所在位置的热力图，所在位置出现目标的概率、目标的运动趋势判断所述目标的大小范围具体包括：根据如下公式判断所述目标的大小范围，
7、；其中，为根据给定条件计算得到的目标大小评估值，根据第一步累积的热力图得到的位置 (x, y) 处的热力值；为目标在位置 (x, y) 处的概率值的比值的绝对值；其中，表示位置 (x, y) 处的目标概率值，表示整个图像中的目标概率值；用于调节的参数，表示切图尺寸或者裁剪子图的数量；为目标在位置(x, y) 处的高度变化值；为目标在位置 (x, y) 处的概率值，为热力图的平均熵值；为根据跟踪模块统计的目标面积变化情况得到的评估值的平均值。
8、特别地，所述步骤3中判断所述小目标的运动趋势包括:对每个所述小目标进入视野、离开视野建立完整跟踪链，在跟踪过程中，通过以下公式实现每个物体面积变化的监控，
9、
10、其中，表示在跟踪链中的时间范围内的面积最大值，表示在跟踪链中的时间范围内的面积的最小值，β表示权重因子，表示在相邻时间步之间尺寸或面积的变化的绝对值；t表示时间步的索引，从1到n；该公式中，通过分别计算小目标在相邻时间步之间面积变化的绝对值的总和，小目标在观察时间范围内的面积的最大值和最小值的差，得到小目标的运动趋势评分，该评分可以用于衡量小目标在观察时间范围内尺寸或面积的变化情况，从而判断其运动趋势；如果所述小目标的运动趋势是由面积由小变大，则减少裁切子图数量，增加子图尺寸；如果所述小目标的运动趋势是由面积由大变小，则增加裁切子图数量，减小子图尺寸。
11、特别地，所述步骤4中，若其中至少一个预测框为其他预测框的子框时，根据所述小目标出现的预测框所在图片的面积大小为阈值，对多个预测框中的重叠区域的目标进行抑制具体包括：根据预设阈值的面积，对大于所述预设阈值面积的多个预测框，按照面积由大到小排序；选择面积最大的框作为备选框；计算所述备选框与所述多个预测框之间的重叠程度，如果某个预测框与备选框的重叠程度大于预设的阈值，则将该边界框删除，否则保留；继续执行，直至所有预测框被处理。
12、特别地，所述步骤4中还包括，
13、若存在至少两个预测框为包括所述小目标的完整框时，根据置信度对所有预测框进行降序排序，选择置信度最高的框作为备选框，计算所述备选框与所述多个预测框之间的重叠程度，如果某个预测框与备选框的重叠程度大于预设的阈值，则将该边界框删除，否则保留；继续执行，直至所有预测框被处理。
14、特别地，通过交并比计算所述备选框与所述多个预测框之间的重叠程度时，使用交并比损失函数应用在模型中，该交并比损失函数中：
15、
16、其中，为预测框的交并比； 为交并比的目标值。
17、特别地，通过增强交并比得分计算所述备选框与所述多个预测框之间的重叠程度，所述增强交并比得分具体包括：
18、
19、公式由三个项组成，第一项测量了预测框中心和备选框中心之间的距离，相对于备选框的大小，代表备选框的宽度，代表备选框的高度；其中第二项测量了预测框与备选框之间宽度的差异，相对于备选框宽度的平方；代表预测框与备选框之间宽度的差异；第三项测量了预测框与备选框之间高度的差异，相对于备选框高度的平方；代表预测框与备选框之间高度的差异。
20、特别地，所述步骤4中还包括，若所述相邻多个预测框中均存在所述小目标的重叠，则根据重叠比例进行上下检测框或左右检测框之间的合并。
21、本专利技术还提出了一种基于跟踪和自适应切图的端上小目标检测装置，包括：
22、自学习模块，用于将原始大图按照固定比例和步长切分成多个子图，子图之间有一定的重叠区域；通过学习原始图像上每个位置出现的物体面积分布图来进行自适应切图；
23、运动趋势判断模块，用于根据目标所在位置的热力图，所在位置出现目标的概率、目标的运动趋势判断所述目标的大小范围；
24、动态图像切分模块，用于跟踪小目标的动态图像，判断所述小目标的运动趋势，根据所述运动趋势对小目标的动态图像进行切分；
25、重复区域抑制模块，用于对于所述小目标存在的多个预测框，判断是否存在重复预测；若其中至少一个预测框为其他预测框的子框时，根据所述小目标出现的预测框所在图片的面积大小为阈值，对多个预测框中的重叠区域的目标进行抑制。
26、有益效果：
27、1、自适应切图：通过学习原始图像上每个位置出现的物体面积分布图，实现对大图的自适应切图。这样可以根据不同位置的物体密度和分布情况，有效地划分子图的位置和大小，提高小目标检测的效果。
28、2、运动趋势判断：通过分析目本文档来自技高网...
【技术保护点】
1.一种基于跟踪和自适应切图的端上小目标检测方法，其特征在于，包括：
2.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤2中根据目标所在位置的热力图，所在位置出现目标的概率、目标的运动趋势判断所述目标的大小范围具体包括：根据如下公式判断所述目标的大小范围，
3.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤3中判断所述小目标的运动趋势包括:对每个所述小目标进入视野、离开视野建立完整跟踪链，在跟踪过程中，通过以下公式实现每个物体面积变化的监控，
4.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤4中，若其中至少一个预测框为其他预测框的子框时，根据所述小目标出现的预测框所在图片的面积大小为阈值，对多个预测框中的重叠区域的目标进行抑制具体包括：根据预设阈值的面积，对大于所述预设阈值面积的多个预测框，按照面积由大到小排序；选择面积最大的框作为备选框；计算所述备选框与所述多个预测框之间的重叠程度，如果某个预测框与备选框的重叠程度大于预设的阈值，则将边界框
5.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤4中还包括，
6.如权利要求4或5所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，通过交并比计算所述备选框与所述多个预测框之间的重叠程度时，使用交并比损失函数应用在模型中，该交并比损失函数中：
7.如权利要求4或5所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，通过增强交并比得分计算所述备选框与所述多个预测框之间的重叠程度，所述增强交并比得分具体包括：
8.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤4中还包括，若相邻多个预测框中均存在所述小目标的重叠，则根据重叠比例进行上下检测框或左右检测框之间的合并。
9.一种基于跟踪和自适应切图的端上小目标检测装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于跟踪和自适应切图的端上小目标检测方法，其特征在于，包括：
2.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤2中根据目标所在位置的热力图，所在位置出现目标的概率、目标的运动趋势判断所述目标的大小范围具体包括：根据如下公式判断所述目标的大小范围，
3.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤3中判断所述小目标的运动趋势包括:对每个所述小目标进入视野、离开视野建立完整跟踪链，在跟踪过程中，通过以下公式实现每个物体面积变化的监控，
4.如权利要求1所述的基于跟踪和自适应切图的端上小目标检测方法，其特征在于，所述步骤4中，若其中至少一个预测框为其他预测框的子框时，根据所述小目标出现的预测框所在图片的面积大小为阈值，对多个预测框中的重叠区域的目标进行抑制具体包括：根据预设阈值的面积，对大于所述预设阈值面积的多个预测框，按照面积由大到小排序；选择面积最大的框作为备选框；计算所述备选框与所述多个...
【专利技术属性】
技术研发人员：葛雷鸣，李煊，汪旭，贺秀伟，侯静静，
申请(专利权)人：中国兵器装备集团兵器装备研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。