一种基于切片筛选的目标检测推理加速方法及系统技术方案

本发明专利技术公开了一种基于切片筛选的目标检测推理加速方法及系统，首先将原图像划分成切片，切片通过概率预测模型得到切片包含目标的概率，再经过设置双阈值选择包含目标的切片和原图送入检测器进行目标检测，在鸟瞰图像中目标通常小且稀疏的场景下，保持高精度的同时实现了推理过程的加速。相比对原图直接检测的方法，本发明专利技术的方法准确率有大幅度提升；相比划分切片将所有切片都进行检测的方法，本发明专利技术的方法准确率有小幅度提升且推理速度有显著提升。本发明专利技术的系统可在通用目标检测数据集上得到的预训练模型基础上，微调到鸟瞰图数据集，不用从头开始训练模型，节省时间成本。本发明专利技术的系统可更换不同检测器，在目标小而稀疏的场景中具有通用性。景中具有通用性。景中具有通用性。

【技术实现步骤摘要】
一种基于切片筛选的目标检测推理加速方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于切片筛选的目标检测推理加速方法。

技术介绍

[0002]目标检测是计算机视觉领域的经典任务之一，旨在定位图像中感兴趣的目标物体的位置并识别物体的具体类别。在计算机视觉领域，目标检测的数据样本可以包含现实世界里的任何对象，比如人、动物、汽车、建筑物等。整个任务的训练阶段即输入大量数据样本，训练卷积神经网络提取目标类别相关的高级语义特征并输出物体的位置和类别结果，也就是搜索和求解模型最优参数。当模型参数已经求解出来，使用和部署模型则称为推断阶段。
[0003]随着人工智能技术的发展以及数据样本不断扩充，研究人员开始致力于使用深度学习技术来解决遥感、无人机、卫星等高空鸟瞰图像的目标检测问题。在鸟瞰图像(遥感、无人机图像)这类目标通常小而稀疏的场景中，目标检测对象大多是具有丰富自然属性和社会属性的地物，比如飞机、车辆、船舶、建筑等有清晰边界，可以明显区别于背景环境的目标。与一般场景相比，鸟瞰图场景在至少有两个方面存在较大的不同：(1)目标的尺度相比通用数据集(如MS COCO)的目标尺度小很多，这些小目标在通用检测器下采样过程中可能会丢失大部分信息或消失，因而导致在这些场景下通用检测器准确率较低，很难实现高精度的全图像检测。(2)物体在图像中稀疏分布，通常只在局部区域聚集。例如，车辆通常集中在道路上，油罐经常集中在工厂，图中的其他区域有大面积的背景，如森林、农田、海洋等。由于这些特征，鸟瞰图场景下的目标检测具有很大的挑战性。现有通用检测器无法在小目标的鸟瞰图场景下达到令人满意的检测精度，而从头训练专门为小目标而设计的检测器需要有时间和技术成本。
[0004]现有分块检测流程如CN113421253A公开的一种基于分块并行的目标检测方法，基于图像分析模型可将尺度较大或比例较极端的图像进行分块为多个子块进行检测，可防止缩放操作影响检测结果，实现了可对尺度较大或比例较极端的图像进行有效目标检测的目的。现有方法虽然可以有效提升该场景下的检测精度，却未考虑到鸟瞰图场景下物体目标尺度小且分布的稀疏性，将大量未包含目标物体的切片送入检测器，导致切片冗余、推理效率低下。

技术实现思路

[0005]本专利技术针对现有的划分切片方法对所有切片进行检测推理效率低的问题，提出了一种基于切片筛选的目标检测推理加速方法及系统，在现有划分切片检测方法基础上增加切片筛选机制来过滤掉不包含目标的切片，让鸟瞰图场景下的数据在通用检测器上达到高精度的同时实现了推理过程的加速。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一方面，本专利技术提供了一种基于切片筛选的目标检测推理加速方法，包括以下步骤：
[0008]S1、对鸟瞰图原图按设定的大小以相邻切片有一定重叠的方式进行划分，得到大小相同的切片；
[0009]S2、对划分得到的切片，使用由卷积神经网络来预测切片中每个区域包含目标的概率，输出关于切片的概率矩阵，取所有概率中最大值作为每个切片包含目标的概率；
[0010]S3、利用双阈值筛选方法对每个切片包含目标的概率进行筛选，得到明显和潜在包含目标的切片；
[0011]S4、对筛选出的明显和潜在包含有目标的切片进行目标检测，同时以原图作为辅助预测，输出相对于切片和原图的检测结果；
[0012]S5、将相对于切片的检测结果映射到原图上，再对所有检测结果进行后处理去除冗余项，得到融合后的最终检索结果。
[0013]进一步地，步骤S1中，切片大小设定方法为：基于预训练模型数据集中目标面积与原图面积的比率以及将数据集目标大小的统计结果，保持将数据集和预训练模型数据集目标大小与送入检测器的图像大小比率一致。
[0014]进一步地，步骤S1中相邻切片的重叠比例为0.25。
[0015]进一步地，步骤S1中，按照划分的顺序将切出的切片按照行列顺序记为表示该切片来自于第i行第j列，每一块的左上、右上、左下、右下坐标分别为(X
min
,Y
min
)、(X
max
,Y
min
)、(X
min
,Y
max
)、(X
max
,Y
max
)，其中：
[0016]X
min
＝i*S
width
‑
i*Overlap ratio
[0017]Y
min
＝j*S
height
‑
j*Overlap ratio
[0018]X
max
＝X
min
+S
width
[0019]Y
max
＝Y
min
+S
height
[0020]其中，Overlap ratio为重叠比例，采用0.25；S
width
为切片宽度，S
height
为切片高度，I
width
为原图宽度，I
height
为原图高度。
[0021]进一步地，步骤S2中切片为覆盖数据集85％以上目标大小的最小方格。
[0022]进一步地，步骤S3中，设置阈值为0.5，初步筛选出概率大于等于0.5的切片作为明显包含目标的切片S
obvious
，然后在明显包含目标的切片周围设置概率阈值为0.3，进一步筛选出潜在包含目标的切片S
potential
。
[0023]进一步地，步骤S5中，将相对于每个切片S
ij
的每个检测结果O
i
(X
o
,Y
o
,H,W)通过下式映射到原图上，为O
i
′
(X
o
′
,Y
o
′
,H,W)；
[0024]X
′
o
＝X
o
+X
min
[0025]Y
′
o
＝Y
o
+Y
min
[0026]其中，X
o
,Y
o
,H,W分别为第i个检测结果框O
i
的左上角坐标和框的高宽，X
o
′
,Y
o
′
,H,W分别为第i个检测结果框O
i
映射到原图后O
i
′
的左上角坐标和框的高宽，X
min
、Y
min
分别为第i个检测结果框O
i
所在切片的左上角坐标。
[0027]进一步地，步骤S5中后处理方法使用非极大值抑制或软化的非最大化抑制方法。
[0028]另一方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于切片筛选的目标检测推理加速方法，其特征在于，包括以下步骤：S1、对鸟瞰图原图按设定的大小以相邻切片有一定重叠的方式进行划分，得到大小相同的切片；S2、对划分得到的切片，使用由卷积神经网络来预测切片中每个区域包含目标的概率，输出关于切片的概率矩阵，取所有概率中最大值作为每个切片包含目标的概率；S3、利用双阈值筛选方法对每个切片包含目标的概率进行筛选，得到明显和潜在包含目标的切片；S4、对筛选出的明显和潜在包含有目标的切片进行目标检测，同时以原图作为辅助预测，输出相对于切片和原图的检测结果；S5、将相对于切片的检测结果映射到原图上，再对所有检测结果进行后处理去除冗余项，得到融合后的最终检索结果。2.根据权利要求1所述的基于切片筛选的目标检测推理加速方法，其特征在于，步骤S1中，切片大小设定方法为：基于预训练模型数据集中目标面积与原图面积的比率以及将数据集目标大小的统计结果，保持将数据集和预训练模型数据集目标大小与送入检测器的图像大小比率一致。3.根据权利要求1所述的基于切片筛选的目标检测推理加速方法，其特征在于，步骤S1中相邻切片的重叠比例为0.25。4.根据权利要求1所述的基于切片筛选的目标检测推理加速方法，其特征在于，步骤S1中，按照划分的顺序将切出的切片按照行列顺序记为表示该切片来自于第i行第j列，每一块的左上、右上、左下、右下坐标分别为(X
min
,Y
min
)、(X
max
,Y
min
)、(X
min
,Y
max
)、(X
max
,Y
max
)，其中：X
min
＝i*S
width
‑
i*Overlap ratioY
min
＝j*S
height
‑
j*Overlap ratioX
max
＝X
min
+S
width
Y
max
＝Y
min
+S
height
其中，Overlap ratio为重叠比例，采用0.25；S
width
为切片宽度，S
height
为切片高度，I
width
为原图宽度，I
height
为原图高度。5.根据权利要求1所述的基于切片筛选的目标检测推理加速方法，其特征在于，步骤S2中切片为覆盖数据集85％以上目标大小的最小方格。6.根据权利要求1所述的基于切片筛选的目标检...

【专利技术属性】
技术研发人员：吴铭，张闯，邓筱，吕成，王诗尊，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：