一种基于循环帧缓冲区的检测与跟踪的方法及系统技术方案

本发明专利技术涉及一种基于缓冲的检测与跟踪的方法，包括若干个检测器，包括以下步骤：A、在时间轴上建立循环缓冲区；B、从实时输入的连续帧序列中按策略抽取一视频帧并记录帧序号；C、将选择出来的帧送到若干个目标检测器中进行并行目标检测；D、根据检测的源帧序号对缓冲区进行寻址读取并将其源帧号对应的帧设置为起始帧，设起始帧为StartFrame(a),StartFrame(b),StartFrame(c),StartFrame(d)....etc；E、在缓冲区内对每一个检测得到的目标及对应的起始帧进行初始化处理并对目标进行跟踪处理。提高到跟踪过程可用于实际计算的时间占比，从提高了跟踪的性能，支持更大的跟踪目标集。

Method and system for detecting and tracking based on cyclic frame buffer

The invention relates to a method for detecting and tracking based on the buffer, which comprises a plurality of detector, which comprises the following steps: A, on the time axis to establish circular buffer; B, from a continuous sequence of frames according to the real input of a video frame extraction strategy and record the frame number; C, will be selected out of the frame to carry a plurality of parallel target detection target detector; D, according to the source frame number detection are addressed and the corresponding buffer to read the source frame number frame is set to start frame, a starting frame for StartFrame (a), StartFrame (b), StartFrame (C), StartFrame (d).Etc; target... E, and the corresponding initial frame in the buffer zone for each test to get the initialization processing and the target tracking. The enhancement to the tracking process can be used for actual computation of the time share, from improving the tracking performance to supporting a larger tracking target set.

【技术实现步骤摘要】
一种基于循环帧缓冲区的检测与跟踪的方法及系统
本专利技术属于帧数据的检测跟踪
，尤其涉及一种基于循环帧缓冲区的检测与跟踪的方法及系统。
技术介绍
目前基于视频智能分析及处理已经越来越广泛地应用于各个领域当中。在这些应用中，一个重点的问题是：对于连续多帧的视频和/或图像，如何从中高效的检测出感兴趣的目标，并对这些检测出来的目标进行持续不断跟踪；即视频流中目标的检测和跟踪问题。通常情况下，这类问题的通用解决方案的框架如图1所示。在以上的检测与中跟踪处理框架中，通常目标的检测与跟踪所用的算法都非常消耗计算资源，通常无法在单个处理器的单个线程中实现数据的实时处理。在一些特别复杂的算法中（如人脸目标的检测），由于计算消耗的原因，通常还对连续帧的输入进行抽帧检测的策略，在随后的逐帧对目标进行跟踪计算的过程中，通常对目标集中的所有目标进并行处理。以上是常用在目标检测跟踪时进行并行处理解决方案。但以上提到的常用的或现有的解决方案没有解决一个关键的瓶颈问题，从而导致并行度极大的受限，原因如下：1、逐帧的跟踪计算虽然是虽然可以比较高并发的进行，但如上述的叙述中可知，由于逐帧跟踪计算的目标来自于目标检测过程中，当处于检测帧时，跟踪计算将阻塞，直到目标检测部分完成检测并维护完跟踪目标集后，才能继续进行。2、由于目标检测操作是耗时的，将较长时间的阻塞跟踪运行。3、同时由于检测操作和跟踪目标集的维护是串行的，目标检测操作本也无法并行。整个处理框架无法全速并行运行，速度受限于目标检测的串行过程。4、同时由于目标检测串行操作，需要引入抽帧才能满足实时处理需求，这大大增加了目标漏检的概率。基于上述问题，如果考虑目标检测的完成状态，持续非阻塞的进行跟踪。则当某一帧的目标检测完成后，由于检测时延的原因，由目标跟踪的帧时间轴已经超前于检测帧，造成检测得到的目标失效，无法对此检测结目标行设置和/及后续跟踪。如图2所示。如图2所示，当第n帧的时候，目标检测过程对视频帧内的目标进行检测，但由于检测计算时延的原因，直到第m帧才检测毕。从图中可以看到，第n帧的在左上角的目标经过多帧的运动后，已经沿一定的路线运动到图像帧的右上角。所以对于跟踪过程来讲，检测出来的目标一开始就已经失效了。综上所述，所有的解决方案，没有根本解决如图1所示的处理框架中的实现并行化处理的关键问题。即使有部分的并行处理，也抵消在其余部分的串行处理中。而简单对检测进行并行化处理，则带来检测目标失效等问题。为了解决上述问题，实现完全并行的目标检测与跟踪，本专利技术针对现有的通用方案的瓶颈，重新设计了计算处理方案，实现了完全并行的目标检测以及完全解耦的检测与跟踪的PipeLine处理。并在此基础上解决如下问题：1：由检测不够并行而进行抽帧检测造成的目标丢失遗漏问题。2：由于检测的阻塞压缩了跟踪可用计算时间，造成目标跟踪的处理的速度/规模所限问题。如前面说的技术方案中，存在一些关键的瓶颈问题，导致总体运算的并行并受限，而由于并行度受限将引发系统连带问题如：1：同时由于目标检测串行操作，需要引入抽帧才能满足实时处理需求，这大大增加了目标漏检的概率。2：由于检测的阻塞压缩了跟踪可用计算时间，造成目标跟踪的处理的速度/规模所限问题。3：由于检测时延导致的检测目标失效问题。为了解决上述问题，实现完全并行的目标检测与跟踪，本专利技术针对现有的通用方案的瓶颈，重新设计了计算处理方案，实现了完全并行的目标检测以及完全解耦的检测与跟踪的PipeLine处理。
技术实现思路
本专利技术的目的在于提供一种基于循环帧缓冲区的检测与跟踪的方法，旨在解决的问题。本专利技术是这样实现的，一种基于循环帧缓冲区的检测与跟踪的方法,该方法中包括若干个检测器，所述方法包括以下步骤：A、在时间轴上建立循环缓冲区；B、从实时输入的连续帧序列中按策略抽取一视频帧并记录帧序号；C、将选择出来的帧送到若干个目标检测器中进行并行目标检测；D、根据检测的源帧序号对缓冲区进行寻址读取并将其源帧号对应的帧设置为起始帧，设起始帧为StartFrame(a),StartFrame(b),StartFrame(c),StartFrame(d)....etc；E、在缓冲区内对每一个检测得到的目标及对应的起始帧进行初始化处理并对目标进行跟踪处理。本专利技术的进一步技术方案是：所述步骤E中还包括以下步骤：E1、检测到新对象设为Object(a)在缓冲区内根据StartFrame参数在缓冲区内找到起始帧；E2、根据Object(a)的参数初始化目标开始跟踪位置；E3、利用逐帧目标跟踪方式对目标的位置进行逐帧的跟踪和修正；E4、在缓冲区的帧消耗完之前对帧进行持续处理直到消耗完缓冲区内的帧为止将其转为实时计算。本专利技术的进一步技术方案是：所述步骤A中的循环缓冲区，随着时间轴的推进新一帧将覆盖缓冲区内最老的一帧数据；所有的跟踪目标共享同一个缓冲区；缓冲区在满足并行过程中数据访问的需求支持顺序访问和随机访问两种模式。本专利技术的进一步技术方案是：所述步骤B中连续帧序列中的帧在时间轴序列不重叠；不同的Object,维护各自相互独立的时间轴，每个Object按各自的时间轴进行跟踪运算。本专利技术的进一步技术方案是：所述步骤C中若干目标检测器之间相互独立进行、且并发检测；多个检测器进行并行目标检测完成的时间在时间轴上是随机的；多个检测器在并行检测完成后，检测得到的目标交由归并模块进行同步、收集，归并等操作，得到跟踪的Object集合。本专利技术的另一目的在于提供一种基于循环帧缓冲区的检测与跟踪的系统，该系统中包括若干个检测器，该系统包括：缓冲区建立模块，用于在时间轴上建立循环缓冲区；帧序号设置模块，用于从实时输入的连续帧序列中按策略抽取一视频帧并记录帧序号；并行检测模块，用于将选择出来的帧送到若干个目标检测器中进行并行目标检测；帧设置模块，用于根据检测的源帧序号对缓冲区进行寻址读取并将其源帧号对应的帧设置为起始帧，设起始帧为StartFrame(a),StartFrame(b),StartFrame(c),StartFrame(d)....etc；初始化并跟踪模块，用于在缓冲区内对每一个检测得到的目标及对应的起始帧进行初始化处理并对目标进行跟踪处理。本专利技术的进一步技术方案是：所述初始化并跟踪模块还包括：搜索单元，用于检测到新对象设为Object(a)在缓冲区内根据StartFrame参数在缓冲区内找到起始帧；位置跟踪单元，用于根据Object(a)的参数初始化目标开始跟踪位置；跟踪与修正单元，用于利用逐帧目标跟踪方式对目标的位置进行逐帧的跟踪和修正；处理转换单元，用于在缓冲区的帧消耗完之前对帧进行持续处理直到消耗完缓冲区内的帧为止将其转为实时计算。本专利技术的进一步技术方案是：所述缓冲区建立模块中的循环缓冲区，随着时间轴的推进新一帧将覆盖缓冲区内最老的一帧数据；所有的跟踪目标共享同一个缓冲区；缓冲区在满足并行过程中数据访问的需求支持顺序访问和随机访问两种模式。本专利技术的进一步技术方案是：所述帧序号设置模块中连续帧序列中的帧在时间轴序列不重叠；不同的Object,维护各自相互独立的时间轴，每个Object按各自的时间轴进行跟踪运算。本专利技术的进一步技术方案是：所述并行检测模块中若干目标检测器之间相互本文档来自技高网...

【技术保护点】
一种基于循环帧缓冲区的检测与跟踪的方法，该方法中包括若干个检测器，其特征在于，所述方法包括以下步骤：A、在时间轴上建立循环缓冲区；B、从实时输入的连续帧序列中按策略抽取一视频帧并记录帧序号；C、将选择出来的帧送到若干个目标检测器中进行并行目标检测；D、根据检测的源帧序号对缓冲区进行寻址读取并将其源帧号对应的帧设置为起始帧，设起始帧为StartFrame(a),StartFrame(b),StartFrame(c),StartFrame(d)....etc；E、在缓冲区内对每一个检测得到的目标及对应的起始帧进行初始化处理并对目标进行跟踪处理。

【技术特征摘要】
1.一种基于循环帧缓冲区的检测与跟踪的方法，该方法中包括若干个检测器，其特征在于，所述方法包括以下步骤：A、在时间轴上建立循环缓冲区；B、从实时输入的连续帧序列中按策略抽取一视频帧并记录帧序号；C、将选择出来的帧送到若干个目标检测器中进行并行目标检测；D、根据检测的源帧序号对缓冲区进行寻址读取并将其源帧号对应的帧设置为起始帧，设起始帧为StartFrame(a),StartFrame(b),StartFrame(c),StartFrame(d)....etc；E、在缓冲区内对每一个检测得到的目标及对应的起始帧进行初始化处理并对目标进行跟踪处理。2.根据权利要求1所述的方法，其特征在于，所述步骤E中还包括以下步骤：E1、检测到新对象设为Object(a)在缓冲区内根据StartFrame参数在缓冲区内找到起始帧；E2、根据Object(a)的参数初始化目标开始跟踪位置；E3、利用逐帧目标跟踪方式对目标的位置进行逐帧的跟踪和修正；E4、在缓冲区的帧消耗完之前对帧进行持续处理直到消耗完缓冲区内的帧为止将其转为实时计算。3.根据权利要求2所述的方法，其特征在于，所述步骤A中的循环缓冲区，随着时间轴的推进新一帧将覆盖缓冲区内最老的一帧数据；所有的跟踪目标共享同一个缓冲区；缓冲区在满足并行过程中数据访问的需求支持顺序访问和随机访问两种模式。4.根据权利要求3所述的方法，其特征在于，所述步骤B中连续帧序列中的帧在时间轴序列不重叠；不同的Object,维护各自相互独立的时间轴，每个Object按各自的时间轴进行跟踪运算。5.根据权利要求4所述的方法，其特征在于，所述步骤C中若干目标检测器之间相互独立进行、且并发检测；多个检测器进行并行目标检测完成的时间在时间轴上是随机的；多个检测器在并行检测完成后，检测得到的目标交由归并模块进行同步、收集，归并等操作，得到跟踪的Object集合。6.一种基于循环帧缓冲区的检测与跟踪的系统，该系统中包括若干个检测器...

【专利技术属性】
技术研发人员：钟斌，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东,44