基于用户人脸的分析控制移动终端的装置和方法制造方法及图纸

提供了一种通过检测输入图像中的人脸或者眼睛控制移动终端的装置和方法。所述方法包括：在面向移动终端的正面上配备的图像输入单元并被其捕获的输入图像上执行人脸识别，基于人脸识别，确定用户状态信息，和，根据用户状态信息执行移动终端的预定的功能，用户状态信息包括：用户是否存在、用户人脸的方向、距移动终端的距离，和/或用户人脸的位置。根据所述方法，可以控制移动终端的功能而无需来自用户的直接输入。

【技术实现步骤摘要】

本专利技术一般地涉及图像处理装置和方法，并更具体地涉及基于输入图像中用户人脸的分析控制移动终端的装置和方法。
技术介绍
移动终端已日益扩展其服务和额外的功能，其中，照相机功能被视为关键功能。为了增加移动终端的有用性和满足用户的不同期望，要求具有照相机的移动终端与其服务和额外功能的组合。作为组合的例子，存在从通过照相机输入的图像识别人脸的技术。人脸识别技术已被发现在很多的应用领域中非常重要，例如表情研究、驾驶员的困倦检测，或者身份检查。在人脸识别技术中存在一种方法，其中，在从照相机捕获的图像中识别三个或者更多个特征，例如脸、眼睛、嘴、颌、眉毛、面部轮廓等，图像的转动方向针对参考方向确定，并且图像沿所确定的转动方向显示。此外，存在通过识别用户的面部轮廓及其眼睛、颌和嘴的位置，计算连接双眼的线的转动角度，并确定信息的显示方向来显示信息的技术。就此而言，面部识别过程要求检测图像中的很多面部组成部分或者特征（诸如脸、眼睛、嘴、颌等）的正确位置。这样，由于大多数常规技术基于用户脸部以及例如眼睛、嘴、颌等至少一个面部组成部分的检测，从脸部被任何其他目标所遮蔽的图像或者因特定视角所致仅有脸部的一部分被捕获的图像，它们可能无法获得正常的人脸识别结果，也不能正确地执行和人脸识别结果对应的功能。此外，对于人脸识别技术，为了正确的人脸识别，需要完成正确的眼睛检测技术。但是，常规技术只关注检测脸部图像中眼睛位置的检测，并且不考虑脸部检测已经失败的情形。因此，存在对于即使在脸部检测已经失败的情形下也正确地检测眼睛位置的需求。此外，为了让用户执行移动终端的期望的操作，必须使用例如小键盘或者触摸屏的硬件接口。如果有可能通过眼睛检测控制移动终端而无需来自用户的直接输入，则其确保了更高质量的用户体验。
技术实现思路
已经做出了本专利技术来至少解决上面描述的问题和缺点，并至少提供下面描述的益处。因此，本专利技术的一个方面提供了通过检测输入图像中的人脸或者眼睛而无需来自用户的直接输入来控制移动终端的装置和方法。本专利技术的一个方面还提供了即使在输入图像中未检测到人脸也通过眼睛检测来控制移动终端的装置和方法。本专利技术的另一方面提供了甚至在输入图像中的部分人脸上执行人脸检测的装置和方法。根据本专利技术的一个方面，提供了一种用于基于用户人脸的分析控制移动终端的装置，所述装置包括：图像输入单元；图像处理器，用于在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测或者眼睛检测；以及，控制器，用于基于来自图像处理器的人脸识别结果或者眼睛识别结果确定用户状态信息，并控制根据用户状态信息来执行移动终端的预定的功能。根据本专利技术的另一方面，提供了一种在移动终端中基于用户人脸的分析控制功能的方法，所述方法包括：在发生预定的事件时，驱动图像输入单元，在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测；如果人脸检测失败则在输入图像上执行眼睛检测；基于人脸识别结果或者眼睛识别结果，确定用户状态信息；以及，根据用户状态信息，执行移动终端的预定的功能。附图说明通过结合附图详细描述本专利技术的实施例，本专利技术的上述和其他特征和益处将更为清晰，在附图中：图1是根据本专利技术实施例的移动终端的框图。图2是根据本专利技术实施例的移动终端操作的流程图；图3是图2流程图的人脸和眼睛检测操作的详细过程的流程图；图4根据本专利技术实施例示出了沿各个方向的人脸检测的图；图5根据本专利技术实施例示出了眼睛检测的图；图6根据本专利技术实施例示出了眼睛候选区域检测的图；图7根据本专利技术实施例示出了输入图像中可能的人脸位置；图8根据本专利技术实施例示出了说明使用人脸确定区域的扫描方法的图像帧；图9A和图9B根据本专利技术实施例示出了在不同比例的图像帧中人脸确定区域的移动；图10根据本专利技术实施例示出了位于图像帧的边缘的人脸确定区域和该图像帧之间的位置关系；图11A根据本专利技术实施例示出了其中部分人脸图像位于靠近图像帧的右边缘的图像帧；图11B根据本专利技术实施例示出了在不同扫描位置处被包括在人脸确定区域中的人脸图像；图11C根据本专利技术实施例示出了通过镜像方法补偿的图像；图12是根据本专利技术实施例说明镜像方法的图；图13根据本专利技术实施例示出了其中部分人脸位于底部右下角的底部的图像帧；图14根据本专利技术实施例示出了预定的人脸模板；图15是根据本专利技术实施例的图像补偿方法的流程图；图16是根据本专利技术另一实施例的图像补偿方法的流程图；和图17是根据本专利技术另一实施例的图像补偿方法的流程图。具体实施例现在将详细参考本专利技术的实施例，在附图中示出了它们的例子，其中，相同的参考数字通篇指示相同的元件。就此而言，本专利技术的实施例可以具有不同的形式，并且不应该被视为限于这里给出的描述。因此，下面通过参考附图描述这些实施例仅为了说明本专利技术的各方面。本专利技术提供了一种通过检测输入图像中的人脸或者眼睛控制移动终端的方法。所述方法包括：在面向移动终端的正面上配备的图像输入单元并被其捕获的输入图像上执行人脸识别；基于人脸识别，确定用户状态信息，和，根据用户状态信息执行移动终端的预定的功能，其中用户状态信息包括：用户是否存在、用户人脸的方向、距移动终端的距离，和/或用户人脸的位置。根据所述方法，可以控制移动终端的功能而无需来自用户的直接输入。现在将结合图1描述移动终端的特征和操作。图1是根据本专利技术实施例的移动终端的框图。移动终端可以是智能电话机、蜂窝电话机、游戏控制台、电视机、显示设备、车辆头部单元、笔记本计算机、膝上型计算机、平板个人计算机（PC）、个人媒体播放器（PMP）、个人数字助理（PDA），等等。参考图1，移动终端主要包括图像输入单元100、图像处理器105、控制器120、存储器130、显示单元140和通信单元150。在移动终端中还可以包括例如麦克风的其他部件，但是下面的描述将只描述与本专利技术实施例有关的部件。配备在移动终端正面的图像输入单元100面向用户，并且起到捕获用户的人脸的作用。图像输入单元100可以是例如照相机，包括透镜系统、图像传感器、闪光灯等。用户可以通过图像输入单元100捕获视频图像或者静态图像，并且其前方被捕获或者其中捕获了用户的图像被在图像信号中传递到图像处理器105。在处理构成静态图像或者视频图像的图像帧时，由按M×N矩阵排列的多个像素组成的图像传感器输出的图本文档来自技高网...

【技术保护点】
一种用于基于用户人脸的分析控制移动终端的装置，所述装置包含：图像输入单元；图像处理器，被配置成在通过图像输入单元接收到输入图像之后，在输入图像上执行人脸检测或者眼睛检测；和控制器，被配置成基于来自图像处理器的人脸识别结果或者眼睛识别结果确定用户状态信息，并控制来根据用户状态信息执行移动终端的预定的功能。

【技术特征摘要】
2012.05.02 KR 10-2012-0046548;2013.04.25 KR 10-201.一种用于基于用户人脸的分析控制移动终端的装置，所述装置包含：
图像输入单元；
图像处理器，被配置成在通过图像输入单元接收到输入图像之后，在输
入图像上执行人脸检测或者眼睛检测；和
控制器，被配置成基于来自图像处理器的人脸识别结果或者眼睛识别结
果确定用户状态信息，并控制来根据用户状态信息执行移动终端的预定的功
能。
2.如权利要求1所述的装置，其中，用户状态信息包括以下的至少一个：
用户的存在或不存在、距移动终端的距离，以及用户人脸的位置。
3.如权利要求1所述的装置，其中，控制器基于用户人脸的分析结果控
制移动终端，其特征在于在预定的事件发生时驱动图像输入单元。
4.如权利要求3所述的装置，其中，如果屏幕锁定模式开始则控制器驱
动图像输入单元，如果从来自图像输入单元的输入图像上的识别结果确定用
户存在则解锁屏幕，并且，只要确定用户存在，则即使已经过去了预定的时
间也保持屏幕不被锁定。
5.如权利要求1所述的装置，其中，图像处理器利用人脸识别算法确定
在输入图像中是否检测到人脸，并且，如果未检测到人脸，则利用眼睛识别
算法在输入图像上执行眼睛检测。
6.如权利要求5所述的装置，其中，图像处理器利用眼睛识别算法检测
一个或多个眼睛候选区域，并根据使用皮肤颜色的眼睛检测方案从所检测的
眼睛候选区域中确定最终眼睛区域。
7.如权利要求6所述的装置，其中，图像处理器把检测到的眼睛候选区
域沿水平方向和垂直方向划分为预定数量的区域，计算沿垂直方向划分的除
中间区域以外的区域中皮肤颜色的比例和沿水平方向划分的一部分区域中非
皮肤颜色的比例，并且，如果所计算的皮肤颜色和非皮肤颜色的比例分别大
于预定的阈值，则确定区域为最终眼睛区域。
8.如权利要求6所述的装置，其中，图像处理器通过使用检测到的眼睛
候选区域的Y、Cb和/或Cr的值确定对应于皮肤颜色的像素值。
9.如权利要求6所述的装置，其中，图像处理器在确定最终眼睛区域之

\t后，通过把最终眼睛区域的周围区域归一化来确定人脸的顶部和底部。
10.如权利要求1所述的装置，其中，在通过水平或者垂直地移动人脸
确定区域扫描输入图像的同时，图像处理器使用镜像方法和模板匹配方法其
中至少一个补偿人脸确定区域的偏离输入图像的边缘的部分。
11.如权利要求10所述的装置，其中，如果人脸确定区域移动到人脸确
定区域的一部分偏离输入图像的左或者右边缘的位置，则图像处理器通过使
用镜像方法，利用图像中所包括的人脸确定区域的部分的像素信息填充该部
分来补偿所述部分，并从包括被补偿部分的人脸确定区域检测部分人脸。
12.如权利要求10所述的装置，其中，如果人脸确定区域移动到人脸确
定区域的一部分偏离输入图像的上或者下边缘的位置，则图像处理器通过使
用模板匹配方法把从模板匹配产生的图像连接到所述部分来补偿所述部分，
并从包括被补偿部分的人脸确定区域检测部分人脸。
13.如权利要求10所...

【专利技术属性】
技术研发人员：孙秉准，金烘逸，洪泰和，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：