【技术实现步骤摘要】
用于跟踪人脸的设备和方法
本专利技术涉及针对人脸以及人脸上关键点进行跟踪的设备和方法。
技术介绍
对图像或视频中的人脸以及人脸上关键点的位置进行跟踪,在很多以人脸图像或视频作为输入的应用中具有十分重要的作用,这里,所述关键点可以是诸如眼睛、鼻子、眉毛、嘴等处于人脸关键位置的点。例如,在基于视频的人脸识别系统中,需要使用每帧图像上的人脸关键点位置对待匹配的人脸图像进行几何归一化。在面部动作和表情捕捉系统中,需要根据人脸关键点的位置分析面部器官的形状和运动。在一些三维人脸建模系统中,也需要根据人脸关键点的位置信息对不同姿态的人脸图像进行配准和融合。对于一般物体的跟踪,常常使用基于特征点或特征区域匹配的技术。首先,从当前帧图像中选择或者检测到若干特征点或者特征区域,记录特征点周围或者特征区域内的像素颜色值,对这些像素颜色值进行变换来得到用于表示特征点或特征区域的特征向量。然后,从下一帧图像中以同样的方法选择或者检测特征点或者特征区域并计算特征向量。最后,根据特征向量间的相似性对来自两帧图像的特征点或者特征区域进行匹配,从而估计出物体在视频中的运动。或者,在对当前帧中的特征点或特征区域提取特征向量之后,直接在下一帧图像的感兴趣区域内搜索具有最相似特征向量的特征点或特征区域,从而实现运动跟踪。或者,用于表示特征点或特征区域的特征向量不是从当前帧图像中获得,而是从手工标定的样本图像中获得。人脸关键点跟踪与一般物体跟踪存在两点明显的区别。第一,人脸是一个非刚性物体,除了具有在空间中运动时产生的平移、旋转等六个自由度 ...
【技术保护点】
一种用于跟踪人脸的设备,包括:人脸位置确定单元,用于从当前帧图像确定人脸位置;分割单元,用于将人脸位置的图像分割成组成人脸的各部分图像;遮挡估计单元,用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率,并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率;关键点获取单元,用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数,使人脸的二维形状模型相对于人脸形状进行匹配,从而获取当前帧图像上人脸关键点的位置,以完成对人脸的跟踪。
【技术特征摘要】
1.一种用于跟踪人脸的设备,包括:
人脸位置确定单元,用于从当前帧图像确定人脸位置;
分割单元,用于将人脸位置的图像分割成组成人脸的各部分图像;
遮挡估计单元,用于基于遮挡概率模型来估计分割后的各部分图像被遮挡的概率,并基于所述各部分图像被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率;
关键点获取单元,用于通过最小化与每个像素被遮挡的概率有关的匹配误差函数,使人脸的二维形状模型相对于人脸形状进行匹配,从而获取当前帧图像上人脸关键点的位置,以完成对人脸的跟踪,
其中,在所述匹配误差函数中,基于每个像素被遮挡的概率来调整人脸表观模型与人脸形状无关纹理图像的表观向量之间的差异。
2.如权利要求1所述的设备,还包括:
跟踪效果确定器,用于利用分类器来确定对人脸的跟踪是否成功。
3.如权利要求1或2所述的设备,其中,分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片,并且,遮挡估计单元基于图像片遮挡概率模型来估计每个图像片被遮挡的概率,并基于每个图像片被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。
4.如权利要求1或2所述的设备,其中,分割单元将人脸位置的图像分割成与各个人脸器官对应的至少一个图像区域,并且,遮挡估计单元基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率,并基于每个图像区域被遮挡的概率来估计人脸位置的图像中每个像素被遮挡的概率。
5.如权利要求1所述的设备,其中,分割单元将人脸位置的图像分割成至少一个图像片和至少一个图像区域,并且,遮挡估计单元基于遮挡概率模型来分别估计每个图像片和每个图像区域被遮挡的概率,并基于每个图像片和每个图像区域被遮挡的概率,估计人脸位置的图像中每个像素被遮挡的概率。
6.如权利要求5所述的设备,其中,分割单元使用基于颜色和位置坐标的像素聚类算法将人脸位置的图像分割成至少一个图像片,并按照预先定义的人脸器官,将所述至少一个图像片中对应于相同人脸器官的图像片合并为图像区域。
7.如权利要求1、2或5所述的设备,其中,人脸位置确定单元在当前帧图像中检测人脸特征点,在关键帧数据库中选择与人脸特征点在特征向量方面匹配的对应特征点,然后通过使对应特征点在当前帧图像上的投影与人脸特征点之间的距离度量最小,来计算一种人脸三维形状模型的三维位置和旋转参数,使用此三维位置和旋转参数计算人脸二维形状模型的关键点在图像中的位置,从而确定当前帧图像中人脸的位置,
其中,关键帧数据库包括与之前成功跟踪到的人脸对应的人脸关键帧,在跟踪开始时建立,在成功跟踪每一帧图像后更新,其中,所述人脸关键帧中保存有所述之前成功跟踪到的人脸上被成功匹配的特征点的三维位置坐标和特征向量。
8.如权利要求7所述的设备,其中,人脸位置确定单元基于人脸特征点与计算出的所述一种人脸三维形状模型中的对应特征点在当前帧图像上的投影之间的距离是否小于预定阈值来确定所述人脸特征点是否为被成功匹配的特征点。
9.如权利要求5或6所述的设备,其中,遮挡估计单元包括:
图像片遮挡估计单元,用于基于图像片遮挡概率模型来估计每个图像片被遮挡的概率;
图像区域遮挡估计单元,用于基于图像区域遮挡概率模型来估计每个图像区域被遮挡的概率;
综合估计单元,用于基于每个图像片和每个图像区域被遮挡的概率,估计人脸位置的图像中每个像素被遮挡的概率。
10.如权利要求9所述的设备,其中,如果跟踪效果确定器确定对人脸的跟踪成功,则图像片遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像片来更新图像片遮挡概率模型,图像区域遮挡估计单元在当前帧没有被遮挡的情况下利用相应的图像区域来更新图像区域遮挡概率模型。
11.如权利要求1、2或5所述的设备,其中,所述匹配误差函数还包括人脸二维形状模型与人脸三维形状模型的二维...
【专利技术属性】
技术研发人员:冯雪涛,沈晓璐,张辉,金亭培,金智渊,
申请(专利权)人:北京三星通信技术研究有限公司,三星电子株式会社,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。