一种物体跟踪方法和设备技术

提供一种物体跟踪方法和设备，所述方法包括：接收用于跟踪的图像；基于第一帧图像初始化被跟踪物体的三维形状模型的参数；在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板；更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至预定程度。

【技术实现步骤摘要】
一种物体跟踪方法和设备
本专利技术涉及物体跟踪，更具体地讲，涉及一种使用三维模型和三维纹理进行物体跟踪的方法和设备。
技术介绍
根据目标表达方式的不同，常见的物体跟踪方法可以分为基于外观的方法和基于特征的方法。在基于外观的跟踪方法中，模型和输入图像中被跟踪目标的整个外观纹理图像都参与匹配过程，通过最小化二者之间的差距找到状态参数。基于特征的方法通常选择一些容易跟踪，且对光照、角度、变形等比较鲁棒的图像特征，如颜色、边缘、角点等，通过这些特征获得物体状态的估计。物体跟踪算法还可以被分为确定性的方法和随机性的方法两类。确定性方法有梯度下降法，最大期望算法，回归技术等。随机方法有Condensation算法，动态贝叶斯网络等。物体跟踪算法还可以分为基于运动的方法和基于模型的方法。在基于运动的方法中，首先使用光流算法，或者基于块结构的运动估计算法，或者基于图像特征匹配的方法，估计出前后帧之间物体或者物体上某些部分的位移。然后，根据位移信息计算目标模型的运动参数。在基于模型的跟踪方法中，使用模型描述目标状态，通过改变模型参数，可以使模型描述与当前输入图像中相应信息之间的误差最小，实现对物体的跟踪。WO2008/106725介绍了一种对三维人脸进行实时跟踪的方法。这是一种基于特征的方法。使用当前模型参数，如位置、姿态、形状等，可以渲染出处于此种参数条件下的人脸图像，从图像上选择有利于跟踪的角点特征，并对每个特征点在输入图像上寻找对应的位置，从而使用特征点的对应关系，计算出图像中的人脸相对于当前模型参数的变化，实现跟踪。然而，在现有的物体跟踪方法中，需要使用从大量训练样本学习得到模型。这种基于模型学习的方法存在的主要问题是，模型所描述对象的范围受到训练模型时使用的样本的限制，模型无法表达出样本集中没有出现过的模式。对于物体跟踪来说，如果目标形变的范围或方式超出了样本集中所包含的内容，由于模型无法跟踪目标的变化，会导致跟踪中断。此外，在现有的跟踪方法中，被跟踪目标被假设为刚性物体。即在跟踪过程中，物体的形状不发生变化，只有位置和尺寸发生变化。然而，很多实际物体(如人脸、人体器官等)均为非刚性物体。由于个体差异的存在，其形状和表观本来就存在差异，又可能在运动过程中产生形状的改变，使得跟踪的难度增加。此外，在现有的跟踪方法中，被跟踪目标的面外旋转角度必须在一个比较小的范围内，如果超出了这一范围，由于目标在图像中的外观变化过大，就会导致跟踪中断。以人脸为例，大部分跟踪方法对于正面人脸上的特征，如眼睛、眉毛、嘴等，具有良好的跟踪能力。然而如果头部姿态发生变化，图像中的人脸不再是正面情况时，跟踪效果就会变差。因此，需要一种能够即使被跟踪目标在跟踪过程中发生形状改变并且姿态变化很大的情况下也能实现精确跟踪的方法和设备。
技术实现思路
本专利技术的目的在于提供一种物体跟踪方法和设备，该物体跟踪方法和设备在被跟踪目标在跟踪过程中发生形状改变并且姿态变化很大的情况下也能实现精确跟踪，从而获得被跟踪目标的位置、姿态和形状变化参数。本专利技术的一方面提供一种物体跟踪方法，所述方法包括：接收用于跟踪的图像；基于第一帧图像初始化被跟踪物体的三维形状模型的参数；在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度。所述方法还可包括：根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；当确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，其中，当确定当前帧图像为非关键帧时，结束对当前帧的跟踪。三维形状模型的参数可包括：位置参数、姿态参数和形变参数。在先前帧图像中获得的三维形状模型的参数可以是姿态参数。将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理。三维形状模型的三维姿态空间可被划分多个区域，每个区域表示一个姿态范围并且能够对应于一个纹理模板，存在的对应的纹理模板的集合形成纹理模板库。判断当前帧图像是否是关键帧的步骤可包括：当更新的参数中的姿态参数所在的区域没有对应的纹理模板时，确定当前帧图像是关键帧。判断当前帧图像是否是关键帧的步骤还可包括：当更新的参数中的姿态参数所在的区域存在对应的纹理模板时，当更新的参数中的姿态参数所表示的姿态比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态时，确定当前帧图像是关键帧。判断当前帧图像是否是关键帧的步骤还可包括：确定与更新的参数中的姿态参数对应的区域；确定该对应的区域是否存在对应的纹理模板；如果存在对应的纹理模板，则确定更新的参数中的姿态参数所表示的姿态是否比该对应的纹理模板被生成时三维形状模型的姿态更接近该对应的区域的中心的坐标所表示的姿态；如果确定不更接近，则将当前帧设置为非关键帧。判断当前帧图像是否是关键帧的步骤还可包括：如果确定更接近，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定对齐至第二预定程度，将当前帧设置为关键帧；如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧；如果确定更接近，则在确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度之前，确定更新的参数中的姿态参数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表示的姿态更远离该对应的区域的中心的坐标所表示的姿态；如果确定更远离，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定不更远离，则将当前帧设置为非关键帧。判断当前帧图像是否是关键帧的步骤还可包括：如果不存在对应的纹理模板，则确定从当前帧图像获得的被跟踪物体的规范化纹理与该对应的纹理模板是否对齐到至第二预定程度；如果确定对齐至第二预定程度，将当前帧设置为关键帧；如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧。第一预定程度可小于等于第二预定程度。基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包括：通过调整三维形状模型的参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。形变参数可包括个性化形变参数和运动形变参数。基于第一帧图像初始化被跟踪物体的三维形状模型的参数的步骤可包括：通过调整个性化形变参数、位置参数和姿态参数使得三维形状模型的顶点投影到第一帧图像上时与第一帧图像上的对应顶点重合至预定程度。将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理，其中，通过去除该纹理的形变特性而获得规范化纹理的步骤包括：将在形变参数为零的条件下的三维形状模型的顶点投影到二维平面，根据每个网格的顶点的坐标与每个网格所覆盖的像素的位置关系，将每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体跟踪方法，所述方法包括：接收用于跟踪的图像；基于第一帧图像初始化被跟踪物体的三维形状模型的参数；在跟踪当前帧图像中的被跟踪对象时，根据在先前帧图像中获得的三维形状模型的参数，从纹理模板库中选择纹理模板，以对当前帧图像中的被跟踪对象进行跟踪；更新三维形状模型的参数，以使得从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板对齐至第一预定程度，其中，当当前帧图像为关键帧时，从当前帧图像获得的被跟踪物体的规范化纹理是基于更新了参数的三维形状模型获得的。2.根据权利要求1所述的方法，还包括：根据更新的三维形状模型的参数确定当前帧图像是否是关键帧；当确定当前帧图像为关键帧时，基于更新了参数的三维形状模型重新获得被跟踪物体的规范化纹理；将基于更新了参数的三维形状模型而重新获得的规范化纹理设置为纹理模板，以产生或更新与更新的参数对应的纹理模板，其中，当确定当前帧图像为非关键帧时，结束对当前帧的跟踪。3.根据权利要求1所述的方法，其中，三维形状模型的参数包括：位置参数、姿态参数和形变参数。4.根据权利要求3所述的方法，其中，在先前帧图像中获得的三维形状模型的参数是姿态参数。5.根据权利要求1所述的方法，其中，将三维形状模型的顶点投影到图像上，连接投影在图像上的顶点形成网格，该网格所覆盖的像素作为被跟踪物体的纹理，通过去除该纹理的形变特性而获得规范化纹理。6.根据权利要求2所述的方法，其中，三维形状模型的三维姿态空间被划分多个区域，每个区域表示一个姿态范围并且能够对应于一个纹理模板，存在的对应的纹理模板的集合形成纹理模板库。7.根据权利要求6所述的方法，其中，确定当前帧图像是否是关键帧的步骤包括：当更新的参数中的姿态参数所在的区域没有对应的纹理模板时，确定当前帧图像是关键帧。8.根据权利要求7所述的方法，其中，确定当前帧图像是否是关键帧的步骤还包括：当更新的参数中的姿态参数所在的区域存在对应的纹理模板时，并且当更新的参数中的姿态参数所表示的姿态比该对应的纹理模板被生成时三维形状模型的姿态更接近该更新的参数中的姿态参数所在的区域的中心的坐标所表示的姿态时，确定当前帧图像是关键帧。9.根据权利要求8所述的方法，其中，确定当前帧图像是否是关键帧的步骤还包括：确定与更新的参数中的姿态参数对应的区域；确定该与更新的参数中的姿态参数对应的区域是否存在对应的纹理模板；如果存在对应的纹理模板，则确定更新的参数中的姿态参数所表示的姿态是否比该对应的纹理模板被生成时三维形状模型的姿态更接近该与更新的参数中的姿态参数对应的区域的中心的坐标所表示的姿态；如果确定不更接近，则将当前帧设置为非关键帧。10.根据权利要求9所述的方法，其中，确定当前帧图像是否是关键帧的步骤还包括：如果确定更接近，则确定从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板是否对齐到至第二预定程度；如果确定对齐至第二预定程度，将当前帧设置为关键帧；如果确定没有对齐至第二预定程度，则将当前帧设置为非关键帧；如果确定更接近，则在确定从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板是否对齐到至第二预定程度之前，确定更新的参数中的姿态参数所表示的姿态是否比在前一帧图像更新的参数中的姿态参数所表示的姿态更远离该与更新的参数中的姿态参数对应的区域的中心的坐标所表示的姿态；如果确定更远离，则确定从当前帧图像获得的被跟踪物体的规范化纹理与选择的纹理模板是否对齐到至第二预定程度；如果确定不更远离，则将当前帧设置为非关键帧。11.根据权利要求9所述的方法...

【专利技术属性】
技术研发人员：冯雪涛，黄向生，沈晓璐，金培亭，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：