一种基于多尺度的目标检测方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于多尺度的目标检测方法、装置及系统，在对连续的视频帧进行目标检测时，本发明专利技术考虑了视频之间的连续性，将连续的视频帧划分为关键帧和非关键帧，对于关键帧建立稠密的尺度金字塔，对于非关键帧预测各个尺度，进而无需再通过尺度金字塔对尺度进行检验，从而避免了尺度金字塔多次进行循环，进而降低了I/O开销、提高了检测效率和实时性。

【技术实现步骤摘要】
一种基于多尺度的目标检测方法及装置
本专利技术涉及图像处理领域，尤其涉及一种基于多尺度的目标检测方法及装置。
技术介绍
目标检测的目的是将某既定目标从场景中分割和识别出来，是一种基于目标几何和统计特征的图像分割，该技术是图像处理过程中的关键步骤，在图像处理领域具有至关重要的作用。现有技术中包含很多目标检测方法，其中Cascade-RCNN为目前主流的目标检测技术，该技术通过建立尺度金字塔对图像视频帧进行目标检测，但是由于尺度金字塔循环次数多导致I/O开销大、检测效率低，实时性水平差等问题，因此亟待需要一种方法能够解决上述的难题。
技术实现思路
有鉴于此，本专利技术实施例公开了一种基于多尺度的目标检测方法、装置及系统，解决了现有技术中由于尺度金字塔的循环次数多导致I/O开销大和检测效率低的问题。本专利技术实施例公开了一种基于多尺度的目标检测方法，包括：将连续的视频帧划分为关键帧和非关键帧；针对于任意一个关键帧，建立关键帧的尺度金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测；针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测。可选的，将连续的视频帧划分为关键帧和非关键帧，包括：对于连续的视频帧，每间隔预定的视频帧的数量标记一个关键帧，两个关键帧之间的视频帧为非关键帧；或者对于连续的视频帧，每间隔预定的时间长度标记一个关键帧，两个关键帧时间的视频帧为非关键帧。可选的，还包括：获取目标检测系统的整体负载；所述目标检测系统用于执行所述基于多尺度的目标检测方法；根据目标检测系统的整体负载，设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。可选的，所述针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测，包括：获取当前处理的非关键帧的前一视频帧中任意一个尺度；分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子，计算当前处理的非关键帧的目标尺度集；依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。可选的，还包括：针对于任意一个非关键帧，遍历尺度金字塔的所有目标尺度，计算每两个目标尺度的距离；将小于预设阈值的距离对应的两个目标尺度进行合并。本专利技术实施例还公开了一种基于多尺度的目标检测装置，包括：划分单元，用于将连续的视频帧划分为关键帧和非关键帧；关键帧目标检测单元，用于针对任意一个关键帧，建立关键帧的尺度金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测；非关键帧目标检测单元，用于针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测。可选的，所述划分单元，包括：第一划分子单元，用于对于连续的视频帧，每间隔预定的视频帧的数量标记一个关键帧，两个关键帧之间的视频帧为非关键帧；或者第二划分子单元，用于对于连续的视频帧，每间隔预定的时间长度标记一个关键帧，两个关键帧时间的视频帧为非关键帧。可选的，所述非关键帧目标检测单元，包括：获取子单元，用于获取当前处理的非关键帧的前一视频帧中任意一个尺度；目标尺度集计算子单元，用于分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子，计算当前处理的非关键帧的目标尺度集；尺度包围金字塔建立子单元，用于依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。可选的，还包括：目标尺度合并单元，用于针对于任意一个非关键帧，遍历尺度金字塔的所有目标尺度，计算每两个目标尺度的距离；将小于预设阈值的距离对应的两个尺度进行合并。本专利技术实施例还公开了一种基于多尺度的目标检测系统，所述系统包括：前端目标检测器和后端目标检测器；所述前端目标检测器，用于执行权利要求1所述的方法；所述后端目标检测器，用于根据前端目标检测器的检测结果执行目标检测。本专利技术实施例公开了一种基于多尺度的目标检测方法、装置及系统，包括：将连续的视频帧划分为关键帧和非关键帧；针对于任意一个关键帧，建立关键帧的尺度金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测；针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测。由此可知，本专利技术考虑了视频之间的连续性，将连续的视频帧划分为关键帧和非关键帧，对于关键帧建立稠密的尺度金字塔，对于非关键帧预测各个尺度，进而无需再通过尺度金字塔对尺度进行检验，从而避免了尺度金字塔多次进行循环，进而降低了I/O开销、提高了检测效率和实时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了本专利技术实施例提供的一种基于多尺度的目标检测方法的流程示意图；图2，示出了本专利技术实施例公开的一种基于多尺度的目标检测装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参考图1，示出了本专利技术实施例提供的一种基于多尺度的目标检测方法的流程示意图，在本实施例中，该方法包括：S101：将连续的视频帧划分为关键帧和非关键帧；本实施例中，可以通过如下的两种方式对连续的视频帧进行划分：方式一：对于连续的视频帧，每间隔预定的视频帧的数量标记一个关键帧，两个关键帧之间的视频帧为非关键帧；方式二：对于连续的视频帧，每间隔预定的时间长度标记一个关键帧，两个关键帧时间的视频帧为非关键帧。其中，划分关键帧和非关键帧的预定的视频帧的数量和预定的时间是可以调整的，依据目标检测系统的整体负载程度对其进行调整。具体的，包括：获取目标检测系统的整体负载；所述目标检测系统用于执行所述基于多尺度的目标检测方法；根据目标检测系统的整体负载，设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。举例说明：在负载较高时，可以间隔较多视频帧，或者间隔较长的时间标记一个关键帧；若是对精度要求较高，可以间隔较少的视频帧，或者间隔较短的时间长度标记一个关键帧。举例说明：假设该目标检测系统为级联式的系统，其中，该系统包括前端检测器和后端检测器，例如为Cascade-RCNN系统，该系统在执行时，负载很高，这样降低了运算效率，因此，通过本实施例，可以依据该系统的负载将连续的视频帧划分为关键帧和非关键帧。然后对关键帧和非关键帧进行不同方式的目标检测，具体的，对于关键帧和非关键的目标检测方法会本文档来自技高网...

【技术保护点】
1.一种基于多尺度的目标检测方法，其特征在于，包括：将连续的视频帧划分为关键帧和非关键帧；针对于任意一个关键帧，建立关键帧的尺度金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测；针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测。

【技术特征摘要】
1.一种基于多尺度的目标检测方法，其特征在于，包括：将连续的视频帧划分为关键帧和非关键帧；针对于任意一个关键帧，建立关键帧的尺度金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测；针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测。2.根据权利要求1所述的方法，其特征在于，将连续的视频帧划分为关键帧和非关键帧，包括：对于连续的视频帧，每间隔预定的视频帧的数量标记一个关键帧，两个关键帧之间的视频帧为非关键帧；或者对于连续的视频帧，每间隔预定的时间长度标记一个关键帧，两个关键帧时间的视频帧为非关键帧。3.根据权利要求2所述的方法，其特征在于，还包括：获取目标检测系统的整体负载；所述目标检测系统用于执行所述基于多尺度的目标检测方法；根据目标检测系统的整体负载，设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。4.根据权利要求1所述的方法，其特征在于，所述针对任意一个非关键帧，获取历史视频帧的各个历史尺度，依据历史视频帧的各个历史尺度预测非关键帧的目标尺度，依据各个目标尺度建立非关键帧的尺度包围金字塔，得到多个尺度图像，并对每个尺度图像进行目标检测，包括：获取当前处理的非关键帧的前一视频帧中任意一个尺度；分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子，计算当前处理的非关键帧的目标尺度集；依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。5.根据权利要求1所述的方法，其特征在于，还包括：针对于任意一个非关键帧，遍历尺度金字塔的所有目标尺度，计算每两个目标尺度的距离；将小于预设阈值的距离对应的两个...

【专利技术属性】
技术研发人员：田光亚，
申请(专利权)人：中科创达软件股份有限公司，
类型：发明
国别省市：北京,11