对象形状跟踪装置和方法以及图像处理系统制造方法及图纸

本发明专利技术公开了一种对象形状跟踪装置和方法以及图像处理系统。所述跟踪对象形状的装置包括：被配置为基于至少一个先前视频帧中的对象形状，确定当前视频帧中的对象形状的单元；被配置为基于所述至少一个先前视频帧中的所述对象形状的遮挡信息，确定所述确定的对象形状的遮挡信息的单元；被配置为基于所述确定的遮挡信息，更新所述确定的对象形状的单元；以及被配置为基于所述更新的对象形状，更新所述确定的遮挡信息的单元。根据本发明专利技术，在跟踪视频中的对象形状的过程中，在视频中的对象被其他对象遮挡的情况下，将提高对象形状的准确性及对象跟踪的准确性。

Object shape tracking device and method, and image processing system

The invention discloses an object shape tracking device and a method and an image processing system. The device for tracking the shape of an object includes: a unit configured to determine the shape of an object in a current video frame based on the shape of an object in at least one previous video frame; and an occlusion letter configured to determine the shape of the object based on occlusion information of the shape of the object in the at least one previous video frame A unit of information; a unit configured to update the determined object shape based on the determined occlusion information; and a unit configured to update the determined occlusion information based on the updated object shape. According to the invention, in the process of tracking the object shape in the video, the accuracy of the object shape and the accuracy of the object tracking will be improved when the object in the video is occluded by other objects.

【技术实现步骤摘要】
对象形状跟踪装置和方法以及图像处理系统
本专利技术涉及图像处理，尤其涉及用于跟踪对象形状的装置和方法以及图像处理系统。
技术介绍
在跟踪视频中的对象(尤其是对象形状)的过程中，诸如跟踪视频中的人脸或人体关节，为了更准确地获得视频的一个视频帧(例如，当前视频帧)中的对象形状，通常使用从该视频帧的先前视频帧确定的对象形状来初始化该视频帧中的对象初始形状。然后，可基于初始化的对象初始形状来确定该视频帧中的对象最终形状。“FacialShapeTrackingviaSpatio-TemporalCascadeShapeRegression”(J.Yang.J.Deng,K.Zhang,andQ.Liu.,theIEEEInternationalConferenceonComputerVision(ICCV)Workshops,2015,pp.41-49)中公开了一种示例性技术。该示例性技术主要公开了以下过程：针对视频的当前视频帧，首先，将从当前视频帧的先前视频帧确定的对象形状视为当前视频帧中的对象初始形状；然后，对所述对象初始形状执行形状回归方法(例如，级联形状回归(CascadedShapeRegression，CSR)方法)，以确定当前视频帧中的对象最终形状。重复这些过程，直至到达视频末端。换言之，在跟踪视频中的对象形状的过程中，从先前视频帧确定的对象形状将被传递到后续视频帧，以确定对应的对象初始形状。也就是说，从先前视频帧确定的对象形状的准确性将直接影响要确定的后续视频帧甚至整个视频的对象形状的准确性。然而，在根据上述技术确定一个视频帧中对应的对象形状的过程中，仅考虑了从该视频帧的先前视频帧确定的对象形状，而沒有考虑其他信息。因此，在视频中的对象被其他对象(诸如，口罩、太阳镜、围巾、麦克风、手或人)遮挡的情况下，在确定一个视频帧中对应的对象形状的过程中，不考虑该遮挡所产生的影响将导致获得的该视频帧中的对象最终形状不准确。换言之，在根据上述技术跟踪视频中的对象(尤其是对象形状)的过程中，在视频中的对象被其他对象遮挡的情况下，该遮挡将影响一个视频帧甚至整个视频的对象跟踪结果的准确性。
技术实现思路
因此，鉴于上面的
技术介绍
中的记载，本公开旨在解决上述问题。根据本专利技术的一个方面，提供一种用于跟踪视频中的对象形状的装置，所述装置包括：形状确定单元，被配置为基于输入视频的当前视频帧的至少一个先前视频帧中的对象形状，确定所述当前视频帧中的对象形状；信息确定单元，被配置为基于所述至少一个先前视频帧中的对象形状的遮挡信息，确定由所述形状确定单元确定的对象形状的遮挡信息；形状更新单元，被配置为基于所述信息确定单元确定的遮挡信息，更新由所述形状确定单元确定的对象形状；以及信息更新单元，被配置为基于所述形状更新单元更新的对象形状，更新由所述信息确定单元确定的遮挡信息。其中，针对输入视频的任何一个视频帧，该视频帧中的对象形状的遮挡信息将对象形状的特征点表示为遮挡特征点和非遮挡特征点。利用本专利技术，在跟踪视频中的对象(尤其是对象形状)的过程中，在视频中的对象被其他对象(诸如，口罩、太阳镜、围巾、麦克风、手或人)遮挡的情况下，将提高对象形状的准确性及对象跟踪的准确性。根据以下参照附图的描述，本专利技术的其他特性特征和优点将显而易见。附图说明包含在说明书中并构成本说明书的一部分的附图例示本专利技术的实施例，并与文字描述一起用于解释本专利技术的原理。图1A至图1B示意性地示出视频中被其他对象遮挡的示例性对象。图2是示意性地示出可实现根据本专利技术的实施例的技术的硬件配置的框图。图3是例示根据本专利技术的实施例的对象形状跟踪装置的配置的框图。图4示意性地示出根据本专利技术的实施例的对象形状跟踪的流程图。图5A至图5B示意性地示出在对象区域中检测到的遮挡区域。图6示意性地示出根据本专利技术的如图4所示的步骤S420的流程图。图7A至图7D示意性地示出通过图6中所示的步骤S420，确定第t个视频帧中的对象形状的遮挡信息的示例。图8例示根据本专利技术的示例性图像处理系统的布置。图9A至图9B示意性地示出在拥挤的入场场景中的示例性的两个人。图10A至图10C示意性地示出在另一拥挤的入场场景中的示例性的两个人。具体实施方式下面将参照附图详细地描述本专利技术的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本专利技术及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本专利技术的范围。另外，本领域的技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。如上所述，在根据现有技术跟踪视频中的对象(尤其是对象形状)的过程中，在视频中的对象被其他对象(诸如，口罩、太阳镜、围巾、麦克风、手或人)遮挡的情况下，在确定视频的一个视频帧中对应的对象形状时，未考虑该遮挡所产生的影响。例如，图1A示意性地示出被口罩遮挡的示例性人脸，即人脸形状被口罩遮挡。图1B示意性地示出在拥挤的入场场景(acrowdedandwalk-throughscenario)中被其他人遮挡的人，即一个人的形状被其他人的形状遮挡，其中拥挤的入场场景例如是多人共同朝照相机的拍摄方向进入一个入口的场景。通常，在根据现有技术跟踪视频中的对象的过程中，由于视频中存在的遮挡将导致输出不准确的对象形状(即，存在的遮挡将影响对象形状的准确性)，且由于视频中存在的遮挡还将导致丢失正在跟踪的对象或切换正在跟踪的对象的跟踪身份编号(trackingidentification，ID)(即，存在的遮挡将影响对象跟踪的准确性)，因此在视频中存在对应遮挡的情况下，为了减小存在的遮挡所产生的影响，本领域的技术人员通常会考虑如何在对象跟踪过程中尽可能移除存在的遮挡。然而，专利技术人发现，在跟踪视频中的对象形状的过程中，在确定对应视频帧中的对象形状时，视频中存在的遮挡信息也可以用作很好的参考。因此，在跟踪视频中的对象形状的过程中，在视频中的对象被其他对象遮挡的情况下，本专利技术不是考虑如何移除存在的遮挡，而是考虑如何使用存在的遮挡来辅助进行对象形状的跟踪。因此，在跟踪视频中的对象形状的过程中，在确定视频的一个视频帧中对应的对象形状时，除了将从先前视频帧确定的对象形状传递到该视频帧以外，本专利技术还将从先前视频帧确定的遮挡信息传递到该视频帧。其中，所传递的对象形状用于确定该视频帧中的对象初始形状，而所传递的遮挡信息用于确定所确定的对象初始形状的遮挡信息。其中，针对视频的任何一个视频帧，该视频帧中的对象形状的遮挡信息将对象形状的特征点表示为遮挡特征点和非遮挡特征点。另外，对象形状的特征点也即对象形状的标志点，并且特征点例如为人脸特征点或人体关节特征点。为了确定视频的一个视频帧中的对象最终形状，基于该视频帧中的对象初始形状的对应遮挡信息，可分别使用不同的方法更新对象初始形状的遮挡部分(即，遮挡的特征点)的位置及更新对象初始形状的非遮挡部分(即，非遮挡特征点)的位置。此外，在确定该视频帧中的对象最终形状之后，将基于该视频帧中的对象最终形状更新该视频帧中本文档来自技高网...

【技术保护点】
1.一种用于跟踪视频中的对象形状的装置，所述装置包括：形状确定单元，被配置为基于输入视频的当前视频帧的至少一个先前视频帧中的对象形状，确定所述当前视频帧中的对象形状；信息确定单元，被配置为基于所述至少一个先前视频帧中的所述对象形状的遮挡信息，确定由所述形状确定单元确定的所述对象形状的遮挡信息；形状更新单元，被配置为基于由所述信息确定单元确定的所述遮挡信息，更新由所述形状确定单元确定的所述对象形状；以及信息更新单元，被配置为基于所述形状更新单元更新的所述对象形状，更新由所述信息确定单元确定的所述遮挡信息。

【技术特征摘要】
2017.04.17 CN 20171024889691.一种用于跟踪视频中的对象形状的装置，所述装置包括：形状确定单元，被配置为基于输入视频的当前视频帧的至少一个先前视频帧中的对象形状，确定所述当前视频帧中的对象形状；信息确定单元，被配置为基于所述至少一个先前视频帧中的所述对象形状的遮挡信息，确定由所述形状确定单元确定的所述对象形状的遮挡信息；形状更新单元，被配置为基于由所述信息确定单元确定的所述遮挡信息，更新由所述形状确定单元确定的所述对象形状；以及信息更新单元，被配置为基于所述形状更新单元更新的所述对象形状，更新由所述信息确定单元确定的所述遮挡信息。2.根据权利要求1所述的装置，其中，所述信息确定单元基于所述先前视频帧中的所述对象形状的所述遮挡信息，使用基于统计的方法确定由所述形状确定单元确定的所述对象形状的所述遮挡信息。3.根据权利要求1所述的装置，其中，在所述先前视频帧中的所述对象形状的所述遮挡信息稳定的情况下，所述信息确定单元将任何一个所述先前视频帧中的所述对象形状的所述遮挡信息视为，由所述形状确定单元确定的所述对象形状的所述遮挡信息。4.根据权利要求3所述的装置，其中，基于所述先前视频帧之间所述对象形状的每一个特征点的遮挡信息的变化频率，来确定所述先前视频帧中所述对象形状的所述遮挡信息是否稳定。5.根据权利要求1所述的装置，其中，针对任何一个视频帧，该视频帧中所述对象形状的所述遮挡信息将所述对象形状的特征点表示为遮挡特征点和非遮挡特征点。6.根据权利要求5所述的装置，其中，所述形状更新单元使用形状检测方法，更新由所述形状确定单元确定的所述对象形状的所述非遮挡特征点的位置。7.根据权利要求6所述的装置，其中，所述形状更新单元基于所述形状更新单元更新的所述非遮挡特征点的位置及非遮挡特征点与遮挡特征点之间的相对于对象区域的几何关系，更新由所述形状确定单元确定的所述对象形状的所述遮挡特征点的位置。8.根据权利要求1所述的装置，其中，所述信息更新单元通过基于预生成的遮挡分类器判断由所述形状更新单元更新的所述对象形状的每一个特征点的遮挡信息，来更新由所述信息确定单元确定的所述遮挡信息。9.根据权利要求1所述的装置，所述装置还包括：检测单元，被配置为，针对所述输入视频的第一个视频帧或针对从所述输入视频获取的一个视频帧序列中的第一个视频帧，检测所述第一个视频帧中的对象形状并检测所述第一个视频帧中...

【专利技术属性】
技术研发人员：陈存建，黄耀海，赵东悦，金浩，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP