跟踪控制方法、设备、计算机可读存储介质技术

一种跟踪控制方法、设备、计算机可读存储介质，所述方法包括：获取输入图像序列，该输入图像序列可以包括多帧输入图像(101)；基于检测算法，对所输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框(102)；基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像(即进行检测的一帧输入图像)后面的多帧输入图像中对所述目标对象进行跟踪(103)。本方法可以提高人脸检测的准确性和可靠性，降低网络复杂度和计算量，达到实时检测效果。

Tracking control method, equipment, computer readable storage medium

【技术实现步骤摘要】
【国外来华专利技术】跟踪控制方法、设备、计算机可读存储介质
本专利技术涉及电子信息
，尤其是涉及一种跟踪控制方法、设备、计算机可读存储介质。
技术介绍
现有的人脸检测方法可以包括级联分类器检测方法、DPM(DeformablePartsModels，可变型部件模型)检测方法等，然而，这些人脸检测方法的可靠性和准确性均比较差。因此，随着CNN(ConvolutionalNeuralNetwork，卷积神经网络)的兴起，基于CNN的人脸检测方法被越来越多地尝试。基于CNN的人脸检测方法，通常在具有高性能GPU(GraphicsProcessingUnit，图形处理器)和高性能CPU(CentralProcessingUnit，中央处理器)的服务器上训练及运行，训练出来的网络存在网络复杂、层数多、参数多和内存开销大等缺陷，从而导致计算过程复杂，无法达到实时检测的效果。
技术实现思路
本专利技术提供一种跟踪控制方法、设备、计算机可读存储介质，可以提高人脸检测的准确性和可靠性，降低网络复杂度和计算量，达到实时检测效果。本专利技术实施例第一方面，提供一种跟踪控制方法，所述方法包括：获取输入图像序列；基于检测算法，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。本专利技术实施例第二方面，提供一种跟踪控制设备，可以包括：存储器和处理器；其中，所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取输入图像序列；基于检测算法，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。本专利技术实施例第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述跟踪控制方法，如实现本专利技术实施例第一方面所述的跟踪控制方法。基于上述技术方案，本专利技术实施例中，可以提高人脸检测的准确性和可靠性，降低网络复杂度和计算量，达到实时检测效果，实现多人脸检测，可以减少读写开销和CPU开，不需要频繁调用检测算法，从而降低网络调用频次，解决了功耗过高的问题，避免完全依赖检测算法时的实时性低问题。附图说明为了更加清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，而不是所有实施例，对于本领域普通技术人员来讲，还可以根据本专利技术实施例的这些附图获得其它的附图。图1是一个跟踪控制方法的流程示意图；图2是一个精简后MTCNN的示意图；图3A是检测算法的状态机及同步机制示意图；图3B是跟踪算法的状态机及同步机制示意图；图4是一个跟踪控制设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。本专利技术使用的术语仅仅是出于描述特定实施例的目的，而非限制本专利技术。本专利技术和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解的是，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者，“当……时”，或者，“响应于确定”。实施例1：本专利技术实施例中提出一种跟踪控制方法，该方法可以应用于跟踪控制设备，如可移动平台等，其中，所述可移动平台可以包括但不限于无人机、地面机器人(例如无人车等)。此外，该可移动平台可以配置拍摄设备(如相机、摄像机等)，并通过该拍摄设备采集拍摄图像，另外，可移动平台还可以配置有云台，该云台可以承载该拍摄设备，以为该拍摄设备增稳和/或调整。参见图1所示，为跟踪控制方法的流程示意图，该方法可以包括：步骤101，获取输入图像序列，该输入图像序列可以包括多帧输入图像。其中，所述输入图像序列可以是视频数据中的连续帧的输入图像。具体地，所述方法的执行主体可以为可移动平台，如可移动平台的处理器，处理器可以为一个或多个，处理器可以为通用处理器或者专用处理器。如前所述，可移动平台可以配置有拍摄设备，在可移动平台对目标对象进行跟踪的过程中，则拍摄设备可以对目标对象进行拍摄，以获取拍摄图像，可移动平台的处理器可以获取所述拍摄图像。其中，每个拍摄图像就是一帧输入图像，并且可以将多帧输入图像的集合作为输入图像序列。其中，所述目标对象具体可以为可移动平台跟踪的对象。其中，输入图像包括的目标对象可以为至少一个，且目标对象包括人脸。步骤102，基于检测算法，对该输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框。其中，这里是基于检测算法，只对该输入图像序列中的一帧输入图像(如该输入图像序列中的第一帧输入图像)进行检测，而不是基于检测算法，对该输入图像序列中的每帧输入图像进行检测。在一个例子中，基于检测算法，对该输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，可以包括但不限于：通过特定CNN检测算法对输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；其中，所述特定CNN检测算法可以包括但不限于弱分类器。例如，所述特定CNN检测算法可以是包括pnet和rnet，但不包括onet的MTCNN(MultiTaskConvolutionalNeuralNetwork，多任务卷积神经网络)检测算法。例如，所述特定CNN检测算法可以包括至少一个弱分类器，且不同的弱分类器可以具有相同或者不同的过滤策略；所述过滤策略可以包括但不限于：形态学过滤策略，和/或，肤色过滤策略，也就是说，弱分类器可以采用形态学过滤策略进行过滤处理，或者，也可以采用肤色过滤策略进行过滤处理。此外，该弱分类器可以部署在特定CNN检测算法的任意一级网络。在一个例子中，通过特定CNN检测算法对输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，可以包括但不限于：针对输入到特定CNN检测算法的弱分类器的跟踪框，则通过该弱分类器检测该跟踪框是否符合过滤策略；如果不符合过滤策略，则可以将该本文档来自技高网...

【技术保护点】
1.一种跟踪控制方法，其特征在于，所述方法包括：/n获取输入图像序列；/n基于检测算法，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；/n基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。/n

【技术特征摘要】
【国外来华专利技术】1.一种跟踪控制方法，其特征在于，所述方法包括：
获取输入图像序列；
基于检测算法，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；
基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。


2.根据权利要求1所述的方法，其特征在于，
通过第一线程实现所述检测算法；通过第二线程实现所述跟踪算法。


3.根据权利要求2所述的方法，其特征在于，
所述根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪，包括：
通过所述第一线程向所述第二线程输出所述目标对象的跟踪框；
通过所述第二线程根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。


4.根据权利要求2所述的方法，其特征在于，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框之后，所述方法还包括：
通过第一线程停止对所述一帧输入图像后面的多帧输入图像进行检测。


5.根据权利要求2所述的方法，其特征在于，
所述根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪，包括：
在通过所述第一线程得到包括所述目标对象的跟踪框后，启动所述第二线程；在所述第二线程启动后，通过所述第二线程根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪。


6.根据权利要求2所述的方法，其特征在于，
在检测算法开启、且当前输入图像是所述输入图像序列中的第一帧输入图像时，通过第一线程将所述第一状态机设置为启动状态；在第一状态机为启动状态时，通过所述第一线程对输入图像进行检测；
在检测算法开启、且当前输入图像不是所述输入图像序列中的第一帧输入图像时，通过第一线程将所述第一状态机设置为空闲状态；在第一状态机为空闲状态时，停止通过所述第一线程对输入图像进行检测；
在检测算法关闭时，通过第一线程将第一状态机设置为关闭状态；在第一状态机为关闭状态时，停止通过所述第一线程对输入图像进行检测。


7.根据权利要求2所述的方法，其特征在于，
在跟踪算法开启时，通过第二线程将第二状态机设置为启动状态；在第二状态机为启动状态时，通过所述第二线程对输入图像进行跟踪；
在跟踪算法关闭时，通过第二线程将第二状态机设置为关闭状态；在第二状态机为关闭状态时，停止通过所述第二线程对输入图像进行跟踪。


8.根据权利要求1所述的方法，其特征在于，基于检测算法，对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，包括：
通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框；
其中，所述特定CNN检测算法包括弱分类器。


9.根据权利要求8所述的方法，其特征在于，所述特定CNN检测算法是包括pnet和rnet，但不包括onet的MTCNN检测算法。


10.根据权利要求8所述的方法，其特征在于，
所述通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，包括：
针对输入到所述特定CNN检测算法的弱分类器的跟踪框，则通过所述弱分类器检测所述跟踪框是否符合过滤策略；
如果否，则将所述跟踪框输出给所述特定CNN检测算法的下一级网络。


11.根据权利要求8所述的方法，其特征在于，所述通过所述弱分类器检测所述跟踪框是否符合过滤策略之后，所述方法还包括：
如果符合过滤策略，则过滤所述跟踪框。


12.根据权利要求8-11任一项所述的方法，其特征在于，所述特定CNN检测算法包括至少一个弱分类器，不同弱分类器具有相同或不同的过滤策略；
其中，所述弱分类器部署在所述特定CNN检测算法的任意一级网络；
所述过滤策略具体包括：形态学过滤策略，和/或，肤色过滤策略。


13.根据权利要求8所述的方法，其特征在于，
所述通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，包括：
将输入图像和网络参数转换为定点数据，通过所述特定CNN检测算法利用转换后的定点数据进行处理，得到包括所述目标对象的跟踪框。


14.根据权利要求8所述的方法，其特征在于，所述特定CNN检测算法通过定点网络实现，所述定点网络中的输入图像和网络参数均为定点数据；
所述通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，包括：通过所述特定CNN检测算法利用定点数据进行处理，得到包括所述目标对象的跟踪框。


15.根据权利要求8所述的方法，其特征在于，
所述通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框之前，所述方法还包括：
对所述输入图像序列中的一帧输入图像进行预处理，得到预处理后的输入图像；通过特定CNN检测算法对预处理后的输入图像进行处理，得到包括所述目标对象的跟踪框。


16.根据权利要求15所述的方法，其特征在于，
所述预处理包括：压缩感知处理；和/或，肤色检测处理。


17.根据权利要求8所述的方法，其特征在于，
所述通过特定CNN检测算法对所述输入图像序列中的一帧输入图像进行检测，得到包括目标对象的跟踪框，包括：
利用时域信息预测目标对象的参考区域；
通过特定CNN检测算法对所述输入图像序列中的一帧输入图像中的参考区域进行检测，得到包括目标对象的跟踪框。


18.根据权利要求1所述的方法，其特征在于，
所述基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪，包括：
获取基于上一帧输入图像得到的所述目标对象的跟踪框以及所述目标对象的空间上下文模型，所述空间上下文模型用于指示在所述上一帧输入图像中所述目标对象与周围图像区域的空间相关性；
基于所述空间上下文模型，在当前帧输入图像中对应所述跟踪框的位置处以及周围区域中确定所述目标对象。


19.根据权利要求18所述的方法，其特征在于，所述空间上下文模型包括以下之一或者任意组合：灰度特征、hog特征、矩特征、sift特征。


20.根据权利要求1所述的方法，其特征在于，
所述基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪，包括：
通过卡尔曼滤波预测目标对象的参考区域；
基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中的所述参考区域，对所述目标对象进行跟踪。


21.根据权利要求1所述的方法，其特征在于，
所述基于跟踪算法，根据所述目标对象的跟踪框在所述一帧输入图像后面的多帧输入图像中对所述目标对象进行跟踪之后，所述方法还包括：
利用第一输入图像中的第一跟踪框和第二输入图像中的第二跟踪框确定所述目标对象的目标跟踪框；其中，所述第一跟踪框是基于检测算法在所述第一输入图像中得到的包括目标对象的跟踪框；所述第二跟踪框是基于跟踪算法在所述第二输入图像中对所述目标对象进行跟踪时得到的跟踪框；
基于跟踪算法，根据所述目标跟踪框对所述目标对象进行跟踪。


22.根据权利要求21所述的方法，其特征在于，
所述利用第一输入图像中的第一跟踪框和第二输入图像中的第二跟踪框确定所述目标对象的目标跟踪框，包括：
计算所述第一跟踪框与所述第二跟踪框的重合程度；
根据所述重合程度确定所述目标对象的目标跟踪框。


23.根据权利要求22所述的方法，其特征在于，
所述根据所述重合程度确定所述目标对象的目标跟踪框，包括：
若所述重合程度大于或者等于预设阈值，则将所述第二跟踪框确定为所述目标对象的目标跟踪框；或者，若所述重合程度小于所述预设阈值，则将所述第一跟踪...

【专利技术属性】
技术研发人员：胡攀，邹文，郑洪涌，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44