用于利用积分梯度投影的面部跟踪的方法和装置制造方法及图纸

提供了一种方法、装置和计算机程序产品以用于估计和验证在面部跟踪期间在相应帧中面部区域之间的平移运动和/或缩放因子。方法基于第一帧中面部区域和第二帧中对应窗口的积分梯度投影确定两个连续帧中面部区域之间的平移运动。方法也利用积分梯度投影验证第一帧和第二帧之间的平移运动。方法也确定与具有预定位置和预定尺寸的第一帧中面部区域以及第二帧中相同尺寸共置窗口的积分投影曲线相关的转移函数，基于转移函数确定缩放因子以及继而利用积分梯度投影验证缩放因子。

【技术实现步骤摘要】
【国外来华专利技术】用于利用积分梯度投影的面部跟踪的方法和装置
本专利技术的示例实施例总体上涉及面部跟踪，并且更具体地，涉及利用积分梯度投影以用于估计平移运动和/或缩放因子的面部跟踪。
技术介绍
在各种图像处理应用中，可能期望在视频中的连续帧之间跟踪诸如面部的对象。为了从一个帧至下一个帧跟踪面部，可能需要确定从一帧至下一帧的面部的平移运动和面部的缩放。然而，从一个图像至下一个图像确定面部的平移运动和缩放可以是计算密集的过程，至少对于那些具有有限的计算资源的设备而言以有效和及时的方式执行这种方法可能是挑战。面部跟踪出于各种原因而言可以是计算密集的。例如，一些面部跟踪技术分析整个帧或者帧的至少相对大的部分，这与而集中在面部区域截然相反。附加地或者备选的，一些面部跟踪技术利用多维搜索，这进一步增加计算需求。这样，将期望提供一种以减少的计算需求提供精确结果的、用于在诸如视频的帧的帧之间的面部跟踪的改进的技术。
技术实现思路
为了提供一种用于面部跟踪的改进的技术，根据本专利技术的示例实施例提供了一种方法、装置和计算机程序产品。在这点上，可以按照减小相关联的计算需求而同时继续提供可靠的和鲁棒的面部跟踪的方式来提供一个实施例的方法、装置和计算机程序产品以用于面部跟踪。确实地，一个示例实施例的方法、装置和计算机程序产品可以提供面部跟踪，包括以计算高效的方式利用积分投影估计连续帧的面部区域之间的平移运动和/或缩放因子。利用积分梯度投影完成对在连续帧的面部区域之间的平移运动和/或缩放因子的验证。在一个实施例中，提供了一种方法，包括基于第一帧中的具有预定位置(x0，y0)和预定尺寸的面部区域以及第二帧中的相同尺寸的共置窗口的相应积分投影来确定第一帧和第二帧的面部区域之间的平移运动。该方法也包括验证属于相应帧的第一面部区域和第二面部区域之间的平移运动。在这点上，验证包括确定在通过第一面部区域和第二面部区域之间的平移运动移动第二帧中的窗口之后针对第一面部区域和窗口的积分梯度投影。验证也包括确定在通过平移运动移动之后的窗口和面部区域的积分梯度投影之间的距离。此夕卜，验证包括确定是否基于距离和预定阈值之间的关系来验证两个帧中的面部之间的平移运动。一个实施例的方法也可以包括确定在第一和第二互相正交的方向中第一帧中面部区域的积分投影，以及确定在第一和第二互相正交的方向针对第二帧中的窗口的积分投影。在一个实施例中，确定平移运动包括移位第一面部区域和第二面部区域的相应积分投影曲线，并且确定在第一面部区域和第二面部区域的相应积分投影曲线之间创建最小距离的移位的量。确定在通过平移运动移动第二帧中的窗口之后针对窗口的积分梯度投影可以包括确定在第一和第二互相正交的方向中针对第二帧中的窗口的积分梯度投影。此外，确定针对第一帧中的面部区域的积分梯度投影可以包括确定在第一和第二互相正交的方向中针对第一帧中的面部区域的积分梯度投影。一个实施例的方法也可以包括在其中验证了平移运动的情形下基于平移运动来重新限定针对其他帧的预定位置。在又一实施例中，方法可以包括在其中因为距离未能满足预定阈值而未验证平移运动的情形下评价第一帧的面部区域与第二帧中相同尺寸的共置窗口之间的缩放因子。在另一实施例中，提供了一种装置，包括至少一个处理器以及包括计算机程序代码的至少一个存储器，计算机程序代码被配置用于与至少一个处理器一起使得装置基于第一帧中的具有预定位置和预定尺寸的面部区域和第二帧中相同尺寸共置窗口的相应积分投影来确定第一面部区域和第二面部区域之间的平移运动。至少一个处理器包括计算机程序代码，还被配置用于与至少一个存储器一起使得装置验证第一和第二面部区域之间的平移运动。在这点上，验证包括确定在通过第一面部区域和第二面部区域之间的平移运动移动第二帧中的窗口后第一帧中的面部区域与窗口的积分梯度投影。验证也包括确定针对第一帧中的面部区域的积分梯度投影，以及确定在通过平移运动移动之后的窗口和面部区域的积分梯度投影之间的距离。此外，验证包括确定是否基于距离和预定阈值之间的关系来验证面部区域之间的平移运动。一个实施例的包括计算机程序代码的至少一个存储器也被配置用于与至少一个处理器一起使得装置确定在第一和第二互相正交的方向中第一帧中的面部区域的积分投影，并且确定在第一和第二互相正交的方向中针对第二帧中的窗口的积分投影。在一个实施例中，确定面部区域之间的平移运动包括移位第一帧和第二帧的相应积分投影曲线，并且确定在第一帧和第二帧的相应积分投影曲线之间创建最小距离的移位的量。确定在通过平移运动移动窗口之后针对第二帧中的窗口的积分投影可以包括确定在第一和第二互相正交的方向中针对第二帧中的窗口的积分投影。此外，确定针对第一帧中的面部区域的积分投影可以包括确定在第一和第二互相正交的方向中针对第一帧中的面部区域的积分投影。包括计算机程序代码的至少一个处理器也被配置用于与至少一个处理器一起使得装置在其中验证了平移运动的情形下基于平移运动来重新限定针对其他帧的预定位置。在又一实施例中，包括计算机程序代码的至少一个处理器也配配置用于与至少一个处理器一起使得装置在其中因为距离未能满足预定阈值而未验证平移运动的情形下评价第一帧的面部区域和第二帧的窗口之间的缩放因子。在又一实施例中，提供了一种计算机程序产品，包括具有存储在其中的计算机可读程序指令的至少一个非瞬态计算机可读存储介质，其中计算机可读程序指令包括被配置用于基于第一帧中具有预定位置和预定尺寸的面部区域与第二帧中相同尺寸的共置窗口的相应积分投影来确定第一面部区域和第二面部区域之间的平移运动的程序指令。计算机可读程序指令也包括被配置用于验证相应帧中的第一面部区域和第二面部区域之间的平移运动的程序指令。在这点上，验证包括确定在通过第一面部区域和第二面部区域之间的平移运动移动第二帧中的窗口之后针对窗口的积分梯度投影。验证也包括确定针对第一帧中的面部区域的积分梯度投影，以及确定在通过平移运动移动之后窗口的积分梯度投影和面部区域之间的距离。此外，验证包括确定是否基于距离和预定阈值之间的关系来验证平移运动。在又一实施例中，提供了一种设备，包括用于基于第一帧中具有预定位置和预定尺寸的面部区域和第二帧中相同尺寸共置窗口的相应积分投影来确定第一面部区域和第二面部区域之间的平移运动的装置。设备也包括用于验证在相应帧中的第一面部区域和第二面部区域之间的平移运动的装置。在这点上，验证包括确定在通过第一面部区域和第二面部区域之间的平移运动移动第二帧中的窗口之后针对窗口的积分梯度投影。验证也包括确定针对第一帧中的面部区域的积分梯度投影，以及确定在通过平移运动移动之后窗口的积分梯度投影和面部区域之间的距离。此外，验证包括确定是否基于距离和预定阈值之间的关系来验证平移运动。在又一实施例中，提供了一种计算机程序，该计算机程序当被执行时被配置用于基于第一帧中具有预定位置和预定尺寸的面部区域和第二帧中相同尺寸共置窗口的相应积分投影来确定第一面部区域和第二面部区域之间的平移运动。该计算机程序当被执行时还被配置用于验证相应帧中的第一面部区域和第二面部区域之间的平移运动。在这点上，验证包括确定在通过第一面部区域和第二面部区域之间的平移运动移动第二帧中的窗口之后针对窗口的积分梯度投影。验证也包括确定针对第本文档来自技高网...

【技术保护点】
一种方法，包括：确定与第一帧中的具有预定位置和预定尺寸的面部区域的积分投影曲线以及第二帧中的共置窗口的积分投影曲线有关的转移函数；基于所述转移函数确定缩放因子；确定针对所述第二帧中的所述窗口的积分梯度投影，其中所述窗口具有基于所述缩放因子并且被用于所述缩放因子的验证的尺寸；确定所述第一帧中的所述面部区域的积分梯度投影与所述第二帧中的具有基于所述缩放因子的尺寸的所述窗口的所述积分梯度投影之间的距离；以及确定是否基于所述距离与预定阈值之间的关系验证所述缩放因子。

【技术特征摘要】
【国外来华专利技术】2011.06.30 IN 2228/CHE/20111.一种方法，包括: 确定与第一帧中的具有预定位置和预定尺寸的面部区域的积分投影曲线以及第二帧中的共置窗口的积分投影曲线有关的转移函数； 基于所述转移函数确定缩放因子； 确定针对所述第二帧中的所述窗口的积分梯度投影，其中所述窗口具有基于所述缩放因子并且被用于所述缩放因子的验证的尺寸； 确定所述第一帧中的所述面部区域的积分梯度投影与所述第二帧中的具有基于所述缩放因子的尺寸的所述窗口的所述积分梯度投影之间的距离；以及确定是否基于所述距离与预定阈值之间的关系验证所述缩放因子。2.根据权利要求1所述的方法，其中确定所述转移函数包括确定在所述积分投影曲线之间提供最小点到点距离的转移函数线。3.根据权利要求1或2所述的方法，其中确定所述缩放因子包括基于第一和第二互相正交的方向中的缩放因子来确定所述缩放因子。4.根据权利要求1至3中任一项所述的方法，进一步包括在其中因为所述距离未能满足所述预定阈值而未验证所述缩放因子的情形下使用基于模式识别的面部分类器来执行面部搜索。5.根据权利要求1至4中任一项所述的方法，进一步包括在其中验证了所述缩放因子的情形下基于所述缩放因子针对其他帧重新限定所述预定尺寸。6.一种装置，包括: 至少一个处理器；以及 至少一个存储器，包括计算机程序代码，配置用于与所述至少一个处理器一起使得所述装置至少执行以下: 确定与第一帧中的具有预定位置和预定尺寸的面部区域的积分投影曲线以及第二帧中的共置窗口的积分投影曲线有关的转移函数； 基于所述转移函数确定缩放因子； 确定针对所述第二帧中的所述窗口的积分梯度投影，其中所述窗口具有基于所述缩放因子并且被用于所述缩放因子的验证的尺寸； 确定所述第一帧中的所述面部区域的积分梯度投影与所述第二帧中的具有基于所述缩放因子的尺寸的所述窗口的所述积分梯度投影之间的距离；以及确定是否基于所述距离与预定阈值之间的关系验证所述缩放因子。7.根据权利要求6所述的装置，其中包括所述计算机程序代码的所述至少一个存储器被配置用于与所述至少一个处理器一起使得所述装置通过确定在所述积分投影曲线之间提供最小点到点距离的转移函数线来确定所述转移函数。8.根据权利要求6或7所述的装置，其中包括所述计算机程序代码的所述至少一个存储器被配置用于与所述至少一个处理器一起使得所述装置通过基于第一和第二互相正交的方向中的缩放因子确定所述缩放因子来确定所述缩放因子。9.根据权利要求6至8中任一项所述的装置，其中包括所述计算机程序代码的所述至少一个存储器还被配置用于与所述至少一个处理器一起使得所述装置在其中因为所述距离未能满足所述预定阈值而未验证所述缩放因子的情形下使用基于模式识别的面部分类器来执行面部搜索。10.根据权利要求6至9中任一项所述的装置，其中包括所述计算机程序代码的所述至少一个存储器还被配置用于与所述至少一个处理器一起使得所述装置在其中验证了所述缩放因子的情形下基于所述缩放因子针对其他帧重新限定所述预定尺寸。11.一种包括计算机可读程序代码部分的计算机程序，包括: 被配置用于确定与第一帧中的具有预定位置和预定尺寸的面部区域的积分投影曲线以及第二帧中的共置窗口的积分投影曲线有关的转移函数的程序代码指令； 被配置用于基于所述转移函数确定缩放因子的程序代码指令； 被配置用于确定针对所述第二帧中的所述窗口的积分梯度投影的程序代码指令，其中所述窗口具有基于所述缩放因子并且被用于所述缩放因子的验证的尺寸； 被配置用于确定所述第一帧中的所述面部区域的积分梯度投影与所述第二帧中的具有基于所述缩放因子的尺寸的所述窗口的所述积分梯度投影之间的距离的程序代码指令；以及 被配置用于确定是否基于所述距离与预定阈值之间的关系验证所述缩放因子的程序代码指令。12.根据权利要求11所述的计算机程序，其中被配置用于确定所述转移函数的所述程序代码指令包括被配置用于确定在所述积分投影曲线之间提供最小点到点距离的转移函数线的程序代码指令。13.根据权利要求11或12所述的计算机程序，其中被配置用于确定所述缩放因子的所述程序代码指令包括被配置用 于基于在第一和第二互相正交的方向中的缩放因子来确定所述缩放因子的程序代码指令。14.根据权利要求11至13中任一项所述的计算机程序，其中所述计算机可读程序代码部分进一步包括被配置用于在其中因为所述距离未能满足所述预定阈值而未验证所述缩放因子的情形下使用基于模式识别的面部分类器来执行面部搜索的程序代码指令。15.根据权利要求11至14中任一项所述的计算机程序，其中所述计算机可读程序代码部分进一步包括被配置用于在其中验证了所述缩放因子的情形下基于所述缩放因子针对其他帧重新限定所述预定尺寸的程序代码指令。16.—种设备,包括: 用于确定与第一帧中的具有预定位置和预定尺寸的面部区域的积分投影曲线以及第二帧中的共置窗口的积分投影曲线有关的转移函数的装置； 用于基于所述转移函数确定缩放因子的装置； 用于确定针对所述第二帧中的所述窗口的积分梯度投影的装置，其中所述窗口具有基于所述缩放因子并且被用于所述缩放因子的验证的尺寸； 用于确定所述第一帧中的所述面部区域的积分梯度投影与所述第二帧中的具有基于所述缩放因子的尺寸的所述窗口的所述积分梯度投影之间的距离的装置；以及 用于确定是否基于所述距离和预定阈值之间的关系来验证所述缩放因子的装置。17.根据权利要求16所述的设备，其中用于确定所述转移函数的所述装置包括用于确定在所述积分投影曲线之间提供最小点到点距离的转移函数线的装置。18.根据权利要求16或17所述的设备，其中所述用于确定所述缩放因子的所述装置包括用于基于第一和第二互相正交的方向中的缩放因子来确定所述缩放因子的装置。19.根据权利要求16至18中任一项所述的设备，进一步包括用于在其中因为所述距离未能满足所述预定阈值而未验证所述缩放因子的情形下使用基于模式识别的面部分类器来执行面部搜索的装置。20.根据权利要求16至19中任一项所述的设备，进一步包括用于在其中验证了所述缩放因子的情形下基于所述缩放因子针对其他帧重新限定所述预定尺寸的装置。21.—种方法,包括: 基于第一帧中的具有预定位置和预定尺寸的面部区域与第二帧中的共置窗口的相应积分投影来确定第一面部区域和第二面部区域之间的平移运动；以及验证所述第一帧和所述第二帧之间的所述平移运动，其中验证包括: 确定在通过在所述第一帧和所述第二帧之间的所述平移运动移动所述第二帧中的所述窗口之后针对所述窗口的积分梯度投影； 确定针对所述第一帧中的面部区域的积分梯度投影； 确定在由所述平移运动移动之后所述窗口的所述积分梯度投影与所述面部区域的所述积分梯度投影之间的距离；以及 确定是否基于所述距离与预定阈值之间的关系验证所述平移运动。2...

【专利技术属性】
技术研发人员：V·慕尼恩德，
申请(专利权)人：诺基亚公司，
类型：
国别省市：