确定正面的脸部姿态的方法技术

本发明专利技术提供了使用脸部的对称性来确定正面的脸部姿态的方法，其包括：在图像中检测脸部区域；在所检测的脸部区域中检测眼部区域；标准化脸部区域；分析标准化的脸部区域中的对称性；以及基于对称性分析确定脸部姿态是否是正面的脸部姿态。

【技术实现步骤摘要】

本专利技术总体上涉及用于，并且更具体地，涉及通过使 用脸部的对称性来。
技术介绍
通常，物理量化脸部姿态要求知道三个方向轴的旋转信息-偏转(yaw)、俯仰 (pitch)和侧倾(roll)。然而，由于通过照相机输入的图像信息被投影到二维(2D)平面上， 在实践中轴的测量是不可能的。结果，对这样的方案已经展开研究，在该方案中，脸部的形 状以类似于圆柱体的三维(3D)形式建模，计算与图像投影平面的关系，然后估计脸部的姿 态。然而，该方案不得不重复计算模型与投影平面之间的关系逆矩阵，这要求大量的处理时 间和并具有较高的复杂度。因此，该方案不能被应用于嵌入式环境中的实时应用，因为这样 的系统的性能关于测量值具有10度的允许误差(tolerance error)。已经对用于检测或跟踪检测到的脸部中的多个特征点(例如眼睛、鼻子、嘴等)并 使用它们之间的几何关系(例如距离、角度、面积等)来估计脸部的姿态的方法(“基于特 征点跟踪的方法”)展开了许多研究。这种方法在速度方面比基于圆柱体模型的方法更具 优势，但是几何姿态估计方法只有在必须独立检测每个特征点并且必须确保所检测位置的 准确性时才有意义，由此使得计算量不小，并且该方法的性能可能并不优于基于圆柱体模 型的方法。上述方法被用来估计脸部的姿态(即，偏转、俯仰或侧倾)，并且通常用于解决确 定姿态是否是正面的脸部姿态这一问题的方法大多通过学习来实现。换句话说，定义正面 的脸部姿态的可能范围，大量收集对应于正面脸部姿态的学习数据和对应于非正面脸部姿 态的学习数据，然后通过学习方法设计能够最大限度区分学习数据的分类器。为此，经常使 用诸如神经网络或支持矢量机(Support Vector Machine, SVM)的模式识别方法。然而，用于分析脸部姿态的传统方法需要可观的计算时间。基于模型的方法很难 应用到单个图像，甚至对于移动图像也必须定期地纠正错误。出于这个原因，基于模型的方 法不适合要求实时姿态分析功能的嵌入式系统。基于特征点跟踪的方法需要以准确检测必 要特征点为基础，并且具有较高的误差率，且在实时生成结果方面存在困难。利用脸部对称性对脸部进行分析的传统方法已经被用于检测图像中的脸部区域， 但是这些方法由于脸部对称性而对脸部姿态有所限制，从而在实践中具有许多问题。
技术实现思路
因此，本专利技术的方面提供使用脸部对称性来确定正面脸部姿态的方法。根据本专利技术的一个方面，提供了用于。该方法包括在 图像中检测脸部区域；在所检测的脸部区域中检测眼部区域；标准化脸部区域；分析标准 化的脸部区域中的对称性；以及基于对称性分析确定脸部姿态是否是正面的脸部姿态。附图说明通过以下结合附图的具体说明，本专利技术实施例的上述和其他特征和有益效果将变 得更明显，附图中图1是例示根据本专利技术的实施例的用于的流程图；图2是例示图1的脸部标准化过程的流程图；图3是例示图1的对称性分析过程的流程图；图4至图5B是例示图2的眼部区域检测过程的示图；图6是例示图2中的应用了掩模的图像的示图；图7A至图7E是例示图2中的安排了脸部的图像和应用了掩模的图像的示图；图8A至8C是例示旋转不变性局部二值模式(Rotation-invariant Local Binary Pattern, Ri-LBP)的示图；以及图9A至图9C是例示图1的对称性分析过程的示图。 具体实施例方式将参考附图详细说明本专利技术的实施例。附图全文中相同的附图标记表示相同的元 件。图1是例示根据本专利技术的实施例的用于的流程图。参考图1，如果在步骤100在正面的脸部姿态确定模式下输入图像，则在步骤200 控制器(未示出)检测图像的输入并且从输入图像中检测脸部区域。控制器使用基于Adaboost学习模式的窗口扫描方案(Adaboost learning pattern-based window scan scheme)利用输入图像形成具有N级的金字塔，然后扫描从每 个金字塔图像学习的脸部窗口以搜索候选图像。然后，合并在候选图像中位于相似位置的 对象以确定和检测脸部区域。一旦控制器在步骤200检测到脸部区域，控制器就在步骤300从所检测的脸部区 域中检测眼部区域。在步骤300，控制器如图4所示在包括脸部区域的方形脸部区域401中分配左眼区 域402a和右眼区域402b。左眼区域402a和右眼区域402b是用于扫描左眼和右眼的候选区域，并且用来在 脸部姿态(例如侧倾角)在图像平面上旋转时提高发现眼睛的概率。因此，控制器分析脸部区域中的根据脸部姿态而改变的眼睛周围的边缘方向，以 检测侧倾角的旋转方向(顺时针或逆时针方向)，并且根据所检测的侧倾角的旋转方向调 整左眼区域402a或右眼区域402b。根据侧倾角的旋转方向，左眼区域402a或右眼区域 402b的调整值事先存储在存储器中。图5A和图5B是例示根据侧倾角的旋转方向调整左眼区域402a或右眼区域402b 的示图。当脸部姿态向顺时针方向倾斜时，如图5A所示，控制器通过分析脸部区域中眼睛 周围的边缘方向来检测侧倾角的旋转方向，并且根据所检测的侧倾角的旋转方向向上调整 左眼区域402a。当脸部姿态向逆时针方向倾斜时，如图5B所示，控制器通过分析脸部区域中眼睛5周围的边缘方向来检测侧倾角的旋转方向，并且根据所检测的侧倾角的旋转方向向上调整 右眼区域402b。当在步骤300中通过根据侧倾角的旋转方向调整左眼区域402a或右眼区域402b 检测到眼睛之后，控制器在步骤400标准化所检测的脸部区域。将参考图2具体说明步骤400的脸部标准化过程。参考图2，控制器在步骤401安排在所检测的脸部区域中的脸部的位置。在步骤401，控制器将所检测的眼部区域中的眼睛的位置移动到预设图像的固定 的眼睛 位置，由此提取安排了脸部的图像IA。例如，如果预设图像的分辨率是50乘40并且预设图像中眼睛的位置分别是(15， 30)和(15，30)，则控制器将眼睛的位置移动到所检测的眼部区域中的(15，30)和(15，30)。在将所检测的眼部区域中眼睛的位置移动到预设图像的固定的眼睛位置 之后，控制器针对脸部区域中原始眼睛位置中的空像素计算仿射变换矩阵(Affine transformation matrix)，并且基于所计算的变换矩阵填充所述空像素。当在步骤401中提取了安排了脸部的图像Ia之后，在步骤402，控制器为图像14设 置用于过滤的掩模，由此提取其中分割(separate)出眼部区域、鼻部区域和嘴部区域的图 像Im°如图6所示，设置了掩模的图像Im是这样的图像其中，分割出眼部区域Re、鼻部 区域Rn和嘴部区域Rm，以便在对称性分析过程中被赋予权重值，并且可以设置与χ轴垂直 的虚拟对称轴Ak。图7A例示了图1的步骤100中的输入图像，图7B例示了图1的步骤200中检测 的脸部区域，图7C例示了图1的步骤300中检测的眼部区域，图7D例示了图2的步骤401 中的安排了脸部的图像Ia，图7E例示了图2的步骤402中的设置了掩模的图像IM。一旦控制器在步骤402提取了设置了掩模且过滤的图像IM，控制器在步骤500分 析其对称性。将参考图3具体说明步骤500的对称性分析过程。参考图3，控制器在步骤501在图像Im中设置校正了二轴对称(bi本文档来自技高网...

【技术保护点】
一种用于确定正面的脸部姿态的方法，所述方法包括：在图像中检测脸部区域；在所检测的脸部区域中检测眼部区域；标准化所述脸部区域；分析标准化的脸部区域中的对称性；以及基于对称性分析，确定脸部姿态是否是正面的脸部姿态。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：洪泰和，郑荣民，孙柱荣，金昌汉，赵成大，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR