用于跟踪人脸的设备和方法技术

本发明专利技术提供一种用于跟踪人脸的设备和方法，所述设备包括：人脸位置确定单元，用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪。

【技术实现步骤摘要】
用于跟踪人脸的设备和方法
本专利技术涉及针对人脸以及人脸上关键点进行跟踪的设备和方法。
技术介绍
对图像或视频中的人脸以及人脸上关键点的位置进行跟踪，在很多以人脸图像或视频作为输入的应用中具有十分重要的作用，这里，所述关键点可以是诸如眼睛、鼻子、眉毛、嘴等处于人脸关键位置的点。例如，在基于视频的人脸识别系统中，需要使用每帧图像上的人脸关键点位置对待匹配的人脸图像进行几何归一化。在面部动作和表情捕捉系统中，需要根据人脸关键点的位置分析面部器官的形状和运动。在一些三维人脸建模系统中，也需要根据人脸关键点的位置信息对不同姿态的人脸图像进行配准和融合。对于一般物体的跟踪，常常使用基于特征点或特征区域匹配的技术。首先，从当前帧图像中选择或者检测到若干特征点或者特征区域，记录特征点周围或者特征区域内的像素颜色值，对这些像素颜色值进行变换来得到用于表示特征点或特征区域的特征向量。然后，从下一帧图像中以同样的方法选择或者检测特征点或者特征区域并计算特征向量。最后，根据特征向量间的相似性对来自两帧图像的特征点或者特征区域进行匹配，从而估计出物体在视频中的运动。或者，在对当前帧中的特征点或特征区域提取特征向量之后，直接在下一帧图像的感兴趣区域内搜索具有最相似特征向量的特征点或特征区域，从而实现运动跟踪。或者，用于表示特征点或特征区域的特征向量不是从当前帧图像中获得，而是从手工标定的样本图像中获得。人脸关键点跟踪与一般物体跟踪存在两点明显的区别。第一，人脸是一个非刚性物体，除了具有在空间中运动时产生的平移、旋转等六个自由度外，还会由于表情的变化产生各种复杂的变形。第二，人脸具有相似性，也就是说，所有自动人脸跟踪系统所需要处理的人脸对象都具有相似但不完全一样的形状和纹理。基于以上两点，大部分人脸跟踪系统都会使用可以描述人脸相似性，同时可以适应不同人脸个性的模型，这些模型可以表示为一组感兴趣的关键点。例如，在基于主动表观模型的跟踪方法中，需要对人脸的形状和面部纹理建立参数模型，人脸形状用一系列关键点的坐标组成的向量表示，面部纹理用将模型覆盖的人脸像素映射到平均形状模版后的纹理向量表示。当设置不同的参数时，可以产生不同的人脸形状和面部纹理。通过改变参数，使得产生的人脸形状和纹理与输入的当前帧图像中人脸形状和纹理相同，就可以得到当前帧图像中人脸和人脸上关键点的坐标。人脸跟踪技术需要处理很多方面的困难。例如，当被跟踪的人脸发生剧烈的运动或姿态变化时，相邻两帧图像中的人脸距离较远或存在较大的外观差异，这时有些方法会跟踪失败。当人脸处于强烈的非均匀光照环境中时，由于阴影的存在，随着姿态、表情的变化，不同帧图像上人脸区域的外观会产生巨大的变化，从而导致跟踪失败。而且，人脸区域上经常存在遮挡，例如墨镜、头发、口罩等，这会给跟踪带来困难。尤其当遮挡面积较大，以及遮挡的位置随时间会发生变化时，现有的技术难以提供稳定可靠的跟踪结果。通常，在现有技术中，为了解决遮挡条件下的跟踪问题，需要首先根据不同帧图像之间的差别，或者根据人脸模型给出的人脸外观与实际图像中人脸区域外观的差别，估计出可能的遮挡发生的区域，然后将这些遮挡区域排除在跟踪时使用的特征区域范围之外。然而，如何准确地估计出遮挡区域，从而使人脸跟踪得以准确进行，仍然是一个难以解决的问题。
技术实现思路
本专利技术的目的在于提供一种能够在人脸存在遮挡的情况下有效地进行人脸跟踪的设备和方法。根据本专利技术的一方面，提供一种用于跟踪人脸的设备，包括：人脸位置确定单元，用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪。所述设备可还包括：跟踪效果确定器，用于利用分类器来确定对人脸的跟踪是否成功。在所述设备中，分割单元可使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并且，遮挡估计单元可基于图像片遮挡概率模型来估计每个图像片被遮挡的概率，并基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。在所述设备中，分割单元可将人脸位置的图像分割成与各个人脸器官对应的至少一个图像区域，并且，遮挡估计单元可基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。在所述设备中，分割单元可将人脸位置的图像分割成至少一个图像片和至少一个图像区域，并且，遮挡估计单元基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率，并基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。在所述设备中，分割单元可使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一个图像片中对应于相同人脸器官的图像片合并为图像区域。在所述设备中，人脸位置确定单元可在当前帧图像中检测人脸特征点，在关键帧数据库中选择与人脸特征点在特征向量方面匹配的对应特征点，然后通过使对应特征点在当前帧图像上的投影与人脸特征点之间的距离度量最小，来计算一种人脸三维形状模型的三维位置和旋转参数，使用此三维位置和旋转参数计算人脸二维形状模型的关键点在图像中的位置，从而确定当前帧图像中人脸的位置，其中，关键帧数据库包括与之前成功跟踪到的人脸对应的人脸关键帧，在跟踪开始时建立，在成功跟踪每一帧图像后更新，其中，所述人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配的特征点的三维位置坐标和特征向量。在所述设备中，人脸位置确定单元可基于人脸特征点与计算出的所述一种人脸三维形状模型中的对应特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定所述人脸特征点是否为被成功匹配的特征点。在所述设备中，遮挡估计单元可包括：图像片遮挡估计单元，用于基于图像片遮挡概率模型来估计每个图像片被遮挡的概率；图像区域遮挡估计单元，用于基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率；综合估计单元，用于基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。在所述设备中，如果跟踪效果确定器确定对人脸的跟踪成功，则图像片遮挡估计单元可在当前帧没有被遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型，图像区域遮挡估计单元可在当前帧没有被遮挡的情况下利用相应的图像区域来更新图像区域遮挡概率模型。在所述设备中，在所述匹配误差函数中，基于每个像素被遮挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。在所述设备中，所述匹配误差函数还可包括人脸二维形状模型与人脸三维形状模型的二维投影之间的偏差项。根据本发本文档来自技高网...

【技术保护点】
一种用于跟踪人脸的设备，包括：人脸位置确定单元，用于从当前帧图像确定人脸位置；分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪。

【技术特征摘要】
1.一种用于跟踪人脸的设备，包括：
人脸位置确定单元，用于从当前帧图像确定人脸位置；
分割单元，用于将人脸位置的图像分割成组成人脸的各部分图像；
遮挡估计单元，用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率，并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率；
关键点获取单元，用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数，使人脸的二维形状模型相对于人脸形状进行匹配，从而获取当前帧图像上人脸关键点的位置，以完成对人脸的跟踪，
其中，在所述匹配误差函数中，基于每个像素被遮挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。


2.如权利要求1所述的设备，还包括：
跟踪效果确定器，用于利用分类器来确定对人脸的跟踪是否成功。


3.如权利要求1或2所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并且，遮挡估计单元基于图像片遮挡概率模型来估计每个图像片被遮挡的概率，并基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。


4.如权利要求1或2所述的设备，其中，分割单元将人脸位置的图像分割成与各个人脸器官对应的至少一个图像区域，并且，遮挡估计单元基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率，并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。


5.如权利要求1所述的设备，其中，分割单元将人脸位置的图像分割成至少一个图像片和至少一个图像区域，并且，遮挡估计单元基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率，并基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。


6.如权利要求5所述的设备，其中，分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片，并按照预先定义的人脸器官，将所述至少一个图像片中对应于相同人脸器官的图像片合并为图像区域。


7.如权利要求1、2或5所述的设备，其中，人脸位置确定单元在当前帧图像中检测人脸特征点，在关键帧数据库中选择与人脸特征点在特征向量方面匹配的对应特征点，然后通过使对应特征点在当前帧图像上的投影与人脸特征点之间的距离度量最小，来计算一种人脸三维形状模型的三维位置和旋转参数，使用此三维位置和旋转参数计算人脸二维形状模型的关键点在图像中的位置，从而确定当前帧图像中人脸的位置，
其中，关键帧数据库包括与之前成功跟踪到的人脸对应的人脸关键帧，在跟踪开始时建立，在成功跟踪每一帧图像后更新，其中，所述人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配的特征点的三维位置坐标和特征向量。


8.如权利要求7所述的设备，其中，人脸位置确定单元基于人脸特征点与计算出的所述一种人脸三维形状模型中的对应特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定所述人脸特征点是否为被成功匹配的特征点。


9.如权利要求5或6所述的设备，其中，遮挡估计单元包括：
图像片遮挡估计单元，用于基于图像片遮挡概率模型来估计每个图像片被遮挡的概率；
图像区域遮挡估计单元，用于基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率；
综合估计单元，用于基于每个图像片和每个图像区域被遮挡的概率，估计人脸位置的图像中每个像素被遮挡的概率。


10.如权利要求9所述的设备，其中，如果跟踪效果确定器确定对人脸的跟踪成功，则图像片遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型，图像区域遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像区域来更新图像区域遮挡概率模型。


11.如权利要求1、2或5所述的设备，其中，所述匹配误差函数还包括人脸二维形状模型与人脸三维形状模型的二维...

【专利技术属性】
技术研发人员：冯雪涛，沈晓璐，张辉，金亭培，金智渊，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11