用于跟踪视频序列中的对象的装置和方法以及存储介质制造方法及图纸

本公开涉及用于跟踪视频序列中的对象的装置和方法以及存储介质。对象跟踪装置可以包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

Devices and methods for tracking objects in video sequences and storage media

【技术实现步骤摘要】
用于跟踪视频序列中的对象的装置和方法以及存储介质
本公开涉及用于跟踪视频序列中的对象的装置和方法以及存储介质。
技术介绍
用于跟踪视频序列中的对象的对象跟踪技术确定对象在视频序列中的每个视频帧中的位置，并且生成对象的长时跟踪轨迹。对象跟踪技术在监控领域变得越来越重要。对象跟踪技术通常在“基于检测的跟踪”("tracking-by-detection")的工作流程下开发，该工作流程包括两个主要处理：使用检测器检测每个视频帧中的对象(或对象的一部分)的检测处理；以及使用跟踪模板跟踪视频帧中的对象(或对象的一部分)以建立长时跟踪轨迹的跟踪处理。更具体而言，对象跟踪技术在首次检测到对象(或对象的一部分)时初始化跟踪模板。之后，对象跟踪技术在后续视频帧中使用跟踪模板来跟踪对象(或对象的一部分)。此外，对象跟踪技术使用跟踪结果更新跟踪模板以避免跟踪的漂移。
技术实现思路
本公开的目的是提供具有改进的跟踪精度的对象跟踪装置和方法。本公开提出了一种用于跟踪视频序列中的对象的装置。该装置可以包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。从参考附图的以下描述中，本公开的其他特点特征和优点将变得清楚。附图说明并入说明书中并构成说明书的一部分的附图图示了本公开的实施例，并且与说明书一起用于解释本公开的原理而没有限制。在各图中，类似的标号用于表示类似的项目。不一定按比例绘制的各图描述了所选择的说明性实施例，并且不旨在限制本公开的范围。图1是根据本公开的一些实施例的示例性对象跟踪装置的框图。图2是图示出根据本公开的一些实施例的示例性对象跟踪方法的流程图。图3是根据本公开的一个示例性实施例的示例性对象跟踪装置的框图。图4是图示出根据本公开的所述一个示例性实施例的示例性对象跟踪方法的流程图。图5是图示出根据本公开的所述一个示例性实施例的由第一预测单元执行的示例性预测方法的流程图。图6是图示出根据本公开的所述一个示例性实施例的由第一预测单元执行的另一个示例性预测方法的流程图。图7A-图7C图示出从人脸跟踪切换到头肩(head-shoulder)跟踪的示例。图8图示出根据本公开的另一个示例性实施例的示例性对象跟踪装置的框图。图9是图示根据本公开的所述另一个示例性实施例的示例性对象跟踪方法的流程图。图10是图示出根据本公开的所述另一个示例性实施例的由第二预测单元执行的示例性预测方法的流程图。图11A-图11B图示出从头肩跟踪切换到人脸跟踪的示例。图12图示出根据本公开的又一个示例性实施例的示例性对象跟踪装置的框图。图13是图示出根据本公开的所述又一个示例性实施例的示例性对象跟踪方法的流程图。图14A-图14C图示出从头肩跟踪切换到人脸跟踪的另一个示例。图15图示出根据本公开的一些实施例的其中可应用本公开的一般硬件环境。具体实施方式在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。但是，对于本领域技术人员清楚的是，所描述的实施例可以在没有这些具体细节中的一些或全部的情况下进行实践。在所描述的示例性实施例中，为了避免不必要地模糊本公开的概念，没有详细描述众所周知的结构或处理步骤。下文所示的每个框图内的方框可以通过硬件、软件、固件或其任意组合来实现以实现本公开的原理。本领域技术人员应该理解的是，每个框图中描述的方框可以被组合或分成子框来实现本公开的原理。本公开中呈现的方法的步骤旨在是说明性的。在一些实施例中，该方法可以用未描述的一个或多个附加步骤来完成和/或在没有所讨论的一个或多个步骤的情况下完成。此外，方法的步骤被图示和描述的顺序并不旨在是限制性的。图1是根据本公开的一些实施例的用于跟踪视频序列中的对象的示例性装置100的框图。如图1所示，装置100可以包括：第一预测单元110，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元120，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元130，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。在本公开中，对第二跟踪模板进行更新包括：在第二跟踪模板第一次被创建的情况下初始化第二跟踪模板，或者在第二跟踪模板已经被创建的情况下更新第二跟踪模板。在本公开中，所述后续视频帧可以是紧接在当前视频帧之后的视频帧或者是在当前视频帧之后并且与当前视频帧间隔开一个或多个视频帧的视频帧。图2是图示出根据本公开的一些实施例的用于跟踪视频序列中的对象的示例性方法200的流程图。方法200可以包括：步骤S210，对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；步骤S220，在预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及步骤S230，对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。从人脸跟踪切换到头肩跟踪接下来，将参考图3至图7A-图7C描述本公开的一示例性实施例。在本实施例中，要跟踪的对象是视频序列中的人(下文中称为目标人)。使用人脸跟踪模板(对应于第一跟踪模板)和头肩跟踪模板(对应于第二跟踪模板)来跟踪目标人。并且，在本实施例中，要跟踪视频序列中的多个人。图3图示出根据本实施例的示例性对象跟踪装置300的框图。如图3所示，装置300可以包括：人脸跟踪单元310、头肩跟踪单元320、第一预测单元330、第一更新单元340、切换单元350和输出单元360。人脸跟踪单元310可以被配置成使用人脸跟踪模板来跟踪目标人的人脸。头肩跟踪单元320可以被配置成使用头肩跟踪模板来跟踪目标人的头肩。第一预测单元330可以被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用人脸跟踪模板跟踪人脸的结果来预测人脸在后续视频帧中是否可见。第一更新单元340可以被配置成在第一预测单元330预测人脸在后续视频帧中不可见的情况下，基于当前视频帧中的目标人的头肩图像来更新头肩跟踪模板。切换单元350可以被配置成对于后续视频帧，将跟踪方式从使用人脸跟踪模板跟踪人脸切换到使用更新后的头肩跟踪模板来跟踪头肩。输出单元360可以被配置成输出对于目标人的人脸和头肩的跟踪结果。人脸跟踪模板可以包括人脸的颜色直方图、人脸的一组特征图或者人脸的相关滤波器(correlation-filter)。也可以使用其它已知的人脸跟踪模板。类似地，头肩跟踪模板可以包括头肩的颜色直方本文档来自技高网...

【技术保护点】
1.一种用于跟踪视频序列中的对象的装置，其特征在于，所述装置包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

【技术特征摘要】
1.一种用于跟踪视频序列中的对象的装置，其特征在于，所述装置包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。2.如权利要求1所述的装置，其中，所述对象包括目标人，所述第一部位包括人脸，并且所述第二部位包括头-上半身。3.如权利要求2所述的装置，其中，所述第一预测单元还被配置成：基于当前视频帧和所述一个或多个先前视频帧的目标人的人脸几何信息，计算目标人的人脸几何信息的变化率；以及在计算出的变化率满足预先设定的标准的情况下，预测目标人的人脸在后续视频帧中不可见。4.如权利要求3所述的装置，其中，所述人脸几何信息包括表示人脸姿态的值和/或表示人脸大小的值。5.如权利要求2所述的装置，其中，所述第一更新单元还被配置成：对于当前视频帧，检测目标人的人脸附近的一个或多个头-上半身；以及在检测到的头-上半身当中的对应的头-上半身与目标人的人脸基于它们之间的几何关系相关联的情况下，使用所述对应的头-上半身的图像来更新第二跟踪模板。6.如权利要求5所述的装置，其中，所述第一更新单元还被配置成：对于当前视频帧，在未能将对应的头-上半身与目标人的人脸进行关联的情况下，使用在利用目标人的人脸的位置而估计出的目标人的头-上半身的位置处的头-上半身的图像来更新第二跟踪模板。7.如权利要求2所述的装置，还包括：第二预测单元，被配置成对于使用第二跟踪模板来跟踪目标人的头-上半身的第二当前视频帧，预测头-上半身在第二后续视频帧中是否可见；以及第二更新单元，被配置成在第二预测单元预测头-上半身在第二后续视频帧中不可见的情况下，基于第二当前视频帧中的目标人的人脸的图像来更新第一跟踪模板，并且其中，所述切换单元还被配置成：对于第二后续视频帧，将跟踪方式从使用第二跟踪模板跟踪头-上半身切换到使用更新后的第一跟踪模板跟踪人脸。8.如权利要求7所述的装置，其中，所述第二预测单元还被配置成：基于第二后续视频帧中的目标人的头-上半身的估计位置和第二后续视频帧中的其他人的估计位置，预测目标人的头-上半身在第二后续视频帧中是否被其他人遮挡。9.如权利要求7所述的装置，其中，所述第二更新单元还被配置成：对于第二当前视频帧，检测目标人的头-上半身附近的一个或多个人脸；以及在检测到的人脸当中的对应的人脸与目标人的头-上半身基于它们之间的几何关系相关联的情况下，使用所述对应的人脸的图像来更新第一跟踪模板。10.如权利要求9所述的装置，其中，所述第二更新单元还被配置成：对于第二当前视频帧，在未能将对应的人脸与目标人的头-上半身进行关联的情况下，使用在利用目标人的头-上半身的位置估计出的目...

【专利技术属性】
技术研发人员：李荣军，李献，黄耀海，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP