校正图像中用户的注视方向的方法和便携式终端技术

提供了用于校正图像中用户的注视方向的方法和便携式终端。在图像中检测用户的人脸。在检测的人脸中检测眼睛区域的轮廓点。将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点。通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。

【技术实现步骤摘要】
校正图像中用户的注视方向的方法和便携式终端
本专利技术一般涉及用于校正图像的方法，更具体地，涉及用于将用户注视的方向从显示单元校正到照相机的方法。
技术介绍
在视频电话通话和视频会议中，由于凝视照相机的用户的注视方向与凝视显示单元的用户的注视方向之间的差，使得对于照相机的每个位置，正在观看显示单元的用户的注视方向可能看上有所不同。当照相机位于显示单元的左上端时，观看显示单元的用户看起来像注视着显示单元的右下端。当照相机位于显示单元的右上端时，观看显示单元的用户看起来像注视着显示单元的左下端。当照相机位于显示单元的上端中部时，观看显示单元的用户看起来像注视着显示单元的下端中部。可以利用安装在显示单元的上端和下端、或者位于显示单元左侧或右侧的两个照相机所输入的两个图像之间的比较，来校正注视方向。分析两个图像之间的差，并生成看上去像直视前方（看着照相机）的图像。在使用三维人脸模型或三维人眼模型的技术中，可以生成直视前方的图像。为了试图解决注视方向视差（disparity）的问题，两个照相机的位置大部分是固定的。计算用户与每个照相机之间的距离、以及用户向显示单元的注视方向与用户向照相机的注视方向之间的差。这导致为了解决注视方向视差，整个人脸的姿势都将被改变。为了如上所述改变用户头部的姿势，需要将人脸轮廓区域从背景中分离出来的技术。用于自动地将人脸轮廓区域从背景中分离出来的技术需要大量的处理时间，并且没有成熟的执行方式。使用两个照相机也存在问题。便携式移动终端使用户能在移动的同时通电话，这使照相机、用户和背景之间的距离不断变化。这些因素可能导致更加难以利用便携式通信终端来进行实时视频通话、镜像功能、自拍等等。
技术实现思路
提出本专利技术以至少解决上述问题和/或缺点，并至少提供下述优点。从而，本专利技术的一方面提供一种用于将用户的注视方向从显示单元校正到照相机的方法。此外，本专利技术的另一个方面在于在所有应用技术和装置中实时地或高速地校正图像中用户的注视方向，其中，用户注视方向的视差是由用户向显示单元的注视方向与用户向照相机的注视方向之间的差所导致的。根据本专利技术的一方面，提供一种用于校正图像中用户的注视方向的方法。在图像中检测用户的人脸。在检测到的人脸中检测眼睛区域的轮廓点。将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点。通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。根据本专利技术的另一个方面，提供一种用于校正图像中用户的注视方向的制造产品。该制造产品包括：非瞬时性机器可读存储介质，用于记录一个或多个程序，所述一个或多个程序当被执行时实现如下步骤：在图像中检测用户的人脸；在检测到的人脸中检测眼睛区域的轮廓点；将在图像中检测到的眼睛区域的轮廓点改变成与朝向参考照相机的注视方向相对应的轮廓点；以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。根据本专利技术的再一方面，提供一种用于校正图像中用户的注视方向的便携式终端。该便携式终端包括用于捕获图像的照相机。该便携式终端还包括控制器，用于在图像中检测用户的人脸，在检测到的人脸中检测眼睛区域的轮廓点，将在图像中检测到的眼睛区域的轮廓点改变成与朝向参考照相机的注视方向相对应的轮廓点，以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。便携式终端还包括显示单元，用于显示控制器变换了眼睛区域的图像。附图说明从下面结合附图的详细说明，本专利技术的上述和其他特征、方面和优点将更加清楚，附图中：图1是图示根据本专利技术的实施例的通信终端的配置的框图；图2是图示根据本专利技术的实施例的用于校正注视方向的方法的流程图；图3是图示根据本专利技术的实施例的检测到的人脸图像的示图；图4是图示根据本专利技术的实施例的用于重新调整眼睛检测信息和鼻子检测信息的过程的流程图；图5是图示根据本专利技术的实施例的确定是否适于校正注视方向的示图；图6是图示根据本专利技术的实施例的检测到的眼睛的轮廓的示图；图7是图示根据本专利技术的实施例的变换眼睛的轮廓的示图；图8A和图8B是图示根据本专利技术的实施例的通过纹理变形（texturewarping）变换眼睛的形状的示图；图9是图示根据本专利技术的实施例的在纹理变形中使用的椭圆形遮罩(ovalmask)的示图；以及图10是图示根据本专利技术的实施例的用于校正注视方向的方法的效果的示图。具体实施方式将参照附图详细描述本专利技术的实施例。尽管在不同的图中图示，但相同或类似的参考标记仍可以指示相同或类似的组件。将省略对本领域中公知的构造或过程的详细描述，以避免模糊本专利技术的主题。图1是图示根据本专利技术的实施例的通信终端的配置的框图。通信终端100可以具体实现为便携式终端，如智能电话、移动电话、游戏控制台、便携式计算机、平板式个人计算机（PC）、个人媒体播放器（PersonalMediaPlayer，PMP）和个人数字助理（PDA）、电视机（TV）、显示设备、用于车辆的主机设备（headunit）等等。通信终端100包括用户接口110，用户接口110包括扬声器112、麦克风114和显示单元116。通信终端还包括传感器单元120、存储器130、通信单元140、照相机150和控制器160。通信终端100还可以包括包含多个按钮的键区、连接器、鼠标等等。扬声器112将从控制器160输入的语音信号（或语音数据）输出到外部。麦克风114将用户的语音检测为电语音信号，并且向控制器160输出电语音信号。显示单元116可以基于从控制器160输入的图像信号显示图像，并且同时地，可以接收用户输入数据并且可以向控制器160输出用户输入数据。显示单元116可以具体实现为液晶显示器（LCD）、有机发光二极管（OrganicLightEmittingDiode，OLED）或发光二极管（LightEmittingDiode，LED）。显示单元116还可以包括布置在显示单元下方或上方的触控板。触控板感测用户输入。当用户输入装置（例如，手指或触笔）按压显示单元116的表面时，触控板输出感测信号（或触摸感测信号），该感测信号具有关于输入位置（或输入坐标）和/或输入状态（鼠标向下、鼠标向上、鼠标运动等）的信息。例如，用户触摸在显示单元116的屏幕（换句话说，显示单元116的表面）上显示的各种可执行项目，并执行与项目相关的应用。显示单元116是用于接收来自用户的输入的装置。显示单元116还输出与应用相关的屏幕图像，所述应用诸如，例如：自拍应用，在该应用中，用户通过使用照相机150来捕获用户的图像；照相机应用；视频电话通话应用，用于向另一方的便携式终端传送由照相机150捕获的用户的图像，并且在该应用中，在用户观看另一方的图像的同时，用户进行电话通话；以及镜像应用，用于像镜子一样在显示单元116上显示照相机150捕获的用户的图像。包括显示单元和触控板的触摸屏可以用作显示单元116的例子。然而，显示单元116也可以实现为传统的显示单元。传感器单元120是用于感测通信终端100的位置、方位和运动的传感器，传感器单元120包括加速度传感器、重力传感器、冲击传感器（shocksensor）、全球定位系统（GlobalPositioningSystem，GPS）和指南针传感器中的至少一个。存储器130存储通信终本文档来自技高网...

【技术保护点】
一种用于校正图像中用户的注视方向的方法，该方法包括如下步骤：在图像中检测用户的人脸；在检测到的人脸中检测眼睛区域的轮廓点；将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点；以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向。

【技术特征摘要】
2012.02.29 KR 10-2012-00210911.一种用于校正图像中用户的注视方向的方法，该方法包括如下步骤：在图像中检测用户的人脸；在检测到的人脸中检测眼睛区域的轮廓点；将在图像中检测到的眼睛区域的轮廓点改变为与朝向参考照相机的注视方向相对应的轮廓点；以及通过根据改变后的轮廓点变换眼睛区域来校正图像中用户的注视方向，其中，所述方法还包括：通过执行以下步骤中的至少一个来确定是否适于校正注视方向：确定图像中两只眼睛之间的距离是否小于或等于预先设置的阈值；确定两只眼睛是否位于预先设置的指导区域中；以及确定使用两只眼睛的坐标测量的检测到的人脸的倾斜度是否小于或等于预先设置的倾斜度。2.如权利要求1所述的方法，其中，在图像中检测用户的人脸包括：将预设阈值与在前帧中每只眼睛的坐标和当前帧中每只眼睛的坐标之间的差进行比较；以及当所述差小于该阈值时，调整当前帧中每只眼睛的坐标。3.如权利要求2所述的方法，其中，调整每只眼睛的坐标包括：将当前帧中每只眼睛的坐标改变为位于在前帧中每只眼睛的坐标和当前帧中每只眼睛的坐标之间的坐标。4.如权利要求1所述的方法，其中，在检测到的人脸中检测眼睛区域的轮廓点包括：将在从眼睛区域的中心坐标起通过预先设置的眼睛模型的每个轮廓点的矢量方向上具有最大的像素亮度值变化的点，设置为眼睛区域的轮廓点。5.如权利要求1所述的方法，其中，朝向参考照相机的注视方向对应于直视前方的注视方向。6.如权利要求1所述的方法，其中，改变轮廓点包括：将检测到的轮廓点中的至少一些轮廓点改变成预先存储的、注视朝向参考照相机方...

【专利技术属性】
技术研发人员：孙秉准，赵成大，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：