The invention discloses an object shape tracking device and a method and an image processing system. The device for tracking object shape includes: a unit configured to determine the first object's attitude change information from the previous video frame to the current video frame based on the attitude of the first object in at least one video frame prior to the current video frame; and a unit configured to be based on the first object in the previous video frame. A unit for determining the first object's attitude in the current video frame based on the determined attitude of the first object; a unit for determining the shape of the first object in the current video frame based on the determined attitude of the first object; and a unit configured to update the determined first object in the current video frame The shape of the object and the element of the determined attitude of the first object are updated based on the shape of the updated first object.
【技术实现步骤摘要】
对象形状跟踪装置和方法以及图像处理系统
本专利技术涉及图像处理，尤其涉及用于跟踪对象形状的装置和方法以及图像处理系统。
技术介绍
在跟踪视频中处于运动情况下的对象的形状的过程中，诸如跟踪视频中运动的人脸的形状或运动的人体关节的形状，为了更准确地获得视频的一个视频帧(例如，当前视频帧)中的对象形状，通常使用从该视频帧的先前视频帧确定的对象姿态来初始化该视频帧中的对象初始形状。然后，可基于初始化的对象初始形状来确定该视频帧中的对象最终形状。例如，视频帧中的对象姿态表示对象在该视频帧的几何空间中的方向/倾角及位置。“FacialShapeTrackingviaSpatio-TemporalCascadeShapeRegression”(J.Yang.J.Deng,K.Zhang,andQ.Liu.,theIEEEInternationalConferenceonComputerVision(ICCV)Workshops,2015,pp.41-49.)中公开了一种示例性技术。该示例性技术主要公开了以下过程：针对视频的当前视频帧，首先，直接使用从当前视频帧的先前视频帧确定的...
【技术保护点】
1.一种用于跟踪视频中的对象形状的装置，所述装置包括：变化信息确定单元，被配置为基于当前视频帧之前的至少一个视频帧中的第一对象的姿态，确定所述第一对象从先前视频帧至所述当前视频帧的姿态变化信息；姿态确定单元，被配置为基于所述先前视频帧中的所述第一对象的姿态及所述变化信息确定单元确定的所述姿态变化信息，确定所述当前视频帧中的所述第一对象的姿态；形状确定单元，被配置为基于所述姿态确定单元确定的所述第一对象的姿态，确定所述当前视频帧中的所述第一对象的形状；及更新单元，被配置为更新所述形状确定单元确定的所述第一对象的形状及基于所述更新的所述第一对象的形状更新所述姿态确定单元确定的所述第一对象的姿态。
【技术特征摘要】
1.一种用于跟踪视频中的对象形状的装置，所述装置包括：变化信息确定单元，被配置为基于当前视频帧之前的至少一个视频帧中的第一对象的姿态，确定所述第一对象从先前视频帧至所述当前视频帧的姿态变化信息；姿态确定单元，被配置为基于所述先前视频帧中的所述第一对象的姿态及所述变化信息确定单元确定的所述姿态变化信息，确定所述当前视频帧中的所述第一对象的姿态；形状确定单元，被配置为基于所述姿态确定单元确定的所述第一对象的姿态，确定所述当前视频帧中的所述第一对象的形状；及更新单元，被配置为更新所述形状确定单元确定的所述第一对象的形状及基于所述更新的所述第一对象的形状更新所述姿态确定单元确定的所述第一对象的姿态。2.根据权利要求1所述的装置，所述装置还包括：变化约束确定单元，被配置为基于所述当前视频帧中的第二对象的姿态及所述当前视频帧中所述第一对象与所述第二对象之间的约束关系，确定所述当前视频帧中所述第一对象的姿态变化约束；其中，所述第二对象是约束所述当前视频帧中的所述第一对象的姿态的变化范围的对象；其中，所述姿态确定单元基于所述先前视频帧中的所述第一对象的姿态、所述变化信息确定单元确定的所述姿态变化信息及所述变化约束确定单元确定的所述姿态变化约束，确定所述当前视频帧中的所述第一对象的姿态。3.根据权利要求2所述的装置，其中，所述当前视频帧中的所述第二对象的姿态是通过对所述当前视频帧中的所述第二对象使用姿态检测器确定的。4.根据权利要求2所述的装置，其中，所述当前视频帧中的所述第二对象的姿态是基于所述先前视频帧中的所述第二对象的姿态及基于所述当前视频帧之前的所述至少一个视频帧中的所述第二对象的姿态确定的所述第二对象从所述先前视频帧至所述当前视频帧的姿态变化信息确定的。5.根据权利要求1所述的装置，所述装置还包括：特征点确定单元，被配置为确定所述当前视频帧中的所述第一对象的形状的特征点；其中，所述特征点确定单元确定的所述特征点是几何关系相对于所述视频中的所述第一对象的姿态的变化稳定的特征点；或者，所述特征点确定单元确定的所述特征点是由所述当前视频帧中的所述第一对象的形状的遮挡信息表示的非遮挡特征点。6.根据权利要求2所述的装置，所述装置还包括：特征点确定单元，被配置为确定所述当前视频帧中的所述第一对象的形状的特征点；其中，所述特征点确定单元确定的所述特征点是几何关系相对于所述视频中的所述第一对象的姿态的变化稳定的特征点；或者，所述特征点确定单元确定的所述特征点是由所述当前视频帧中的所述第一对象的形状的遮挡信息表示的非遮挡特征点。7.根据权利要求5或权利要求6所述的装置，其中，所述变化信息确定单元确定的所述第一对象从所述先前视频帧至所述当前视频帧的姿态变化信息是所述特征点确定单元确定的所述特征点从所述先前视频帧至所述当前视频帧的位置变化信息；其中，所述更新单元更新的所述第一对象的姿态是所述更新单元更新的所述第一对象的形状的所述特征点确定单元确定的特征点的位置。8.根据权利要求5或权利要求6所述的装置，其中，所述当前视频帧中的所述第一对象的形状的遮挡信息是基于所述当前视频帧之前的所述至少一个先前视频帧中的所述第一对象的形状的遮挡信息确定的；其中，针对任何一个视频帧，该视频帧中的所述第一对象的形状的所述遮挡信息将所述第一对象的形状的特征点表示为遮挡特征点和非遮挡特征点。9.根据权利要求8所述的装置，其中，所述更新单元使用形状检测方法，更新由所述形状确定单元确定的所述第一对象的形状的所述非遮挡特征点的位置；并且所述更新单元基于所述更新单元更新的所述非遮挡特征点的位置及所述非遮挡特征点与所述遮挡特征点之间的相对于所述第一对象的区域的几何关系，更新由所述形状确定单元确定的所述第一对象的形状的所述遮挡特征点的位置。10.根据权利要求9所述的装置，其中，通过基于预生成的遮挡分类器判断所述更新单元更新的所述第一对象的形状的每一个特征点的所述遮挡信息，来更新所述当前视频帧中的所述第一对象的形状的所述遮挡信息。11.根据权利要求1或权利要求2或权利要求5或权利要求6所述的装置，所述装置还包括：第一判断单元，被配置为基于所述当前视频帧中的所述第一对象的置信度，判断所述第一对象在所述当前视频帧中是否可见；其中，在所述第一判断单元判断所述第一对象在所述当前视频帧中可见的情况下，所述更新单元更新所述形状确定单元确定的所述第一对象的形状并且基于所述更新的所述第一对象的形状更新所述姿态确定单元确定的所述第一对象的姿态。12.根据权利要求11所述的装置，所述装置还包括：检测单元，被配置为，针对所述视频的第一个视频帧或针对其中所述第一对象被所述第一判断单元判断为可见的当前视频帧，检测该视频帧中的所述第一对象的姿态并且检测该视频帧中的所述第一对象的形状；其中，所述第一对象被所述第一判断单元判断为在所述当前视频帧的先...
【专利技术属性】
技术研发人员：金浩，黄耀海，陈存建，赵东悦，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。