一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置制造方法及图纸

本发明专利技术公开了一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置。首先获取人脸眼角点与嘴角点的位置；根据所述角点的位置确定出眼睛与嘴巴的中轴线；在所述眼睛的中轴线上确定眼睛和眉毛的外轮廓特征点，在所述嘴巴的中轴线上确定嘴巴外轮廓特征点。在此基础上，对人脸关键器官外轮廓特征点持续定位与跟踪。本发明专利技术实施例提供的方案，解决了在人脸做出各种姿态的时候对眼睛、嘴巴和眉毛外轮廓特征点定位不准确的问题，基于这些特征点的定位，可以实时驱动已有的二维和三维人脸模型，实时模拟摄像头前人的皱眉、眨眼、张嘴等表情和面部动作，生成各类真实生动的人脸动画。

【技术实现步骤摘要】

本专利技术涉及计算机图像处理
，尤其涉及一种人脸关键器官外轮廓 特征点定位与跟踪的方法及装置。
技术介绍
目前，在人脸检测与定位技术中，大抵分为基于器官的检测与定位方法和 基于模板的检测与定位方法等。基于器官的方法将人脸视为显著器官的组合，首先提取一些重要的器官眼、鼻、唇等，然后通过器官的位置和它们之间的 几何关系来检测人脸。人脸关键器官定位的性能很大程度上影响着人脸检测方 法的精度。传统的基于主动外貌模型(AAM， Active Appearance Models)、主动形状 模型(ASM, Active Shape Models)等方法， 一般采用训练模型实现面部器官 轮廓点的定位。这些方法在全局意义上获取人脸关键器官外轮廓特征点的位 置。根据实验结果，这些方法非常依赖训练模型的初值，很难获取某些夸张表 情下的人脸关键器官的外轮廓，例如，此类方法无法定位张大嘴巴的轮廓、紧 闭眼睛的轮廓等，这对三维人脸合成技术来说是个很严重的缺陷。申请人在之前已提出了 一系列与人脸检测技术相关的专利申请，其中，中 国专利申请号为200710304688.2的专利申请方案中，公开了 一种人脸作出各种 表情时仍可获取眼睛与嘴巴角点的准确位置的技术实施方案，从而改善现有的 人脸面部关键特征点的定位与跟踪技术的性能。但是，上述的专利申请中的方法无法准确定位人脸眼睛、眉毛和嘴巴的外 轮廓，同样无法准确的跟踪这些人脸面部关键器官的外轮廓点，因此，将其应 用于二维与三维人脸姿态估算、人脸动画合成时，存在一定的局限性。
技术实现思路
本专利技术实施例提供一种人脸关键器官外轮廓特征点定位与跟踪的方法及 装置，用以实现人脸眼睛外轮廓、眉毛外轮廓和嘴巴外轮廓的实时定位与跟踪， 从而改善现有的人脸关键器官外轮廓定位与跟踪技术的性能。一种人脸关键器官外轮廓特征点的定位方法之一，包括 获取输入人脸图像帧人脸眼角点位置； 确定出眼睛的中轴线；根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮 廓特征点的侯选点，并选取上眼皮外轮廓特征点的侯选点与下眼皮外轮廓特征 点的侯选点组成多对侯选点对；分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼晴的外轮 廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和， 得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度 的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大 和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选 点对作为人脸眼睛外轮廓特征点。一种人脸关键器官外轮廓特征点的定位方法之一，包括获取输入人脸图像帧人脸嘴角点位置；确定出嘴巴的中轴线；根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮 廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征 点的侯选点组成多对侯选点对；分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮 廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和， 得到与每对侯选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮 廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所 述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点；或 者将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。所述方法，还包括 根据所述嘴角点和定位的嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴 的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征 点。一种人脸关键器官外轮廓特征点的跟踪方法，包括 确定出人脸关键器官外轮廓的特征点； 获取人脸关键器官外轮廓特征点的跟踪点； 用所述特征点矫正所述跟踪点。一种人脸关键器官外轮廓特征点的定位装置之一，包括 获取单元，用于获取输入人脸图像帧人脸眼角点位置； 中轴线确定单元，用于确定出眼睛的中轴线；第一侯选点确定单元，用于根据眼睛外轮廓点边界强度大小，在所述中轴 线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓侯选点与 下眼皮外轮廓侯选点组成多对侯选点对；第一特征点确定单元，用于分别根据所述眼角点和每对侯选点对，利用抛 物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选 外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对 候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯 选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点； 或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。一种人脸关键器官外轮廓特征点的定位装置之一，包括获取单元，用于获取输入人脸图像帧人脸嘴角点位置；中轴线确定单元，用于确定出嘴巴的中轴线；侯选点确定单元，用于根据嘴巴外轮廓点边界强度大小，在所述中轴线上 确定多个上下嘴唇外轮廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征点的侯选点组成多对侯选点对；第一特征点确定单元，用于分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选 外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算所选 外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值， 以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标 准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差 值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作 为人脸嘴巴外轮廓特征点；或者将最大差值对应的侯选点对作为人脸嘴巴外轮 廓特征点。一种人脸关键器官外轮廓特征点的跟踪装置，包括 特征点确定单元，用于确定出人脸关键器官外轮廓的特征点； 跟踪点获取单元，用于获取人脸关键器官外轮廓特征点的跟踪点； 矫正单元，用于用所述特征点矫正所述跟踪点。本专利技术实施例综合考虑人脸眼睛、眉毛和嘴巴的部分规则特征，在角点定 位的基础上，确定各个器官的中轴线，根据器官外轮廓特征点边界强度大小， 选取外轮廓特征点的侯选点，组成侯选点对，再根据眼睛外轮廓点边界强度， 或者眼睛外轮廓点边界强度和侯选点对之间各像素点灰度均值，确定上下眼皮 外轮廓特征点和上下眉毛外轮廓特征点，再根据嘴巴外轮廓点边界强度，或者 嘴巴外轮廓点边界强度、外轮廓点外侧像素点的色度值与标准肤色的差值和外 轮廓点内侧像素点与嘴唇标准红色之间的差值，确定上下嘴唇外轮廓特征点， 并利用外轮廓的抛物线模型拟合嘴唇的外轮廓线，获取上下嘴唇其余的外轮廓 特征点，接下来，对已获取的外轮廓特征点进行持续定位与跟踪。本专利技术实施 例提供的方案，解决了在人脸做出各种姿态的时候对眼睛、嘴巴和眉毛外轮廓特征点定位不准确的问题，基于这些外轮廓特征点的定位，可以实时驱动已有 的二维和三维人脸模型，实时模拟摄像头前人的皱眉、眨眼、张嘴等表情和面 部动作，生成各类真实生动的人脸动画。附图说明图1为本专利技术实施例中人脸关键器官外轮廓特征点的定位结果示本文档来自技高网...

【技术保护点】
一种人脸关键器官外轮廓特征点的定位方法，其特征在于，包括：　获取输入人脸图像帧人脸眼角点位置；　确定出眼睛的中轴线；　根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓特征点的侯选点与下眼皮外轮廓特征点的侯选点组成多对侯选点对；　分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄英，谢东海，邓亚峰，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11[中国|北京]