一种自拍视频中眼睛图像的调正方法技术

本发明专利技术公开了一种自拍视频中眼睛图像的调正方法，包括以下步骤：步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的识别定位：根据灰度识别出巩膜图像和虹膜图像；根据纹理识别出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像平移到巩膜图像的中心，从而实现眼睛图像的调正。本发明专利技术在不增加额外装置的情况下，通过软件方法进行图像处理，从而使得当人脸面对显示装置而眼睛不注视摄像镜头时可在显示装置上获得眼睛注视显示装置的活动视频图像，大大降低了硬件系统的改进成本。

【技术实现步骤摘要】

本专利技术涉及视频数据处理和成像领域，特别是。
技术介绍
在数字视频处理的应用领域中，尤其随着3G通信网络的普及，视频自拍和网络视 频的应用越来越广泛。目前存在一个很令人烦恼的现状，就是视频采集装置一般都位于显 示装置的外边缘附近，如图2所示。在这种情况下，当被拍摄人目光注视显示装置的屏幕 时，显示装置上的成像结果是眼睛的注视点偏离显示装置的屏幕，简而言之，就是屏幕观察 者获得的人脸显示图像中眼睛图像歪的，而非正视的，人类视觉所感受到的眼睛图像的“正 视”与“非正视”主要是根据人眼中巩膜、虹膜以及瞳孔的相对位置感受的，一般认为虹膜和 瞳孔位于巩膜中心位置即为“正视”，否则为“非正视”。而当被拍摄人目光注视视频采集装 置时，显示装置上的成像结果是眼睛的注视点朝向显示装置的屏幕但被拍摄人自己看不到 这一成像结果，如图Ia和图Ib所示。
技术实现思路
专利技术目的本专利技术所要解决的技术问题是针对现有技术的不足，提供一种自拍视 频中眼睛图像的调正方法，从而使得被拍摄者在注视屏幕时，视频采集装置采集并最终显 示出来的是眼睛正视的图像。为了解决上述技术问题，本专利技术公开了，包 括以下步骤步骤一，目标眼睛图像检测和定位从视频图像中检测并定位眼睛的位置；步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的识别定位根据灰度区 分出巩膜图像和虹膜图像；根据纹理区分出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图 像、虹膜图像和瞳孔图像的相对位置；步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像平移到巩膜图 像的中心，从而实现眼睛图像的调正。本专利技术中，优选地，所述步骤一包括以下步骤步骤(11)，对自拍视频的图像进行预处理；包括使用腐蚀膨胀法加强图像中各个 分散点的连通性，使用中值滤波处理图像使得图像更加平滑。此步骤可以采用本领域常见 的图像处理方法，同时，本步骤不是本专利技术的必要步骤，只是优化步骤之一，本专利技术在脱离 了本步骤的情况下，仍然能够实现专利技术目的。步骤(12)，图像进行色度空间转换，由于在双色差或色调饱和度平面上，不同人 种的肤色变化不大，肤色的差异更多的是存在于亮度而不是色度，因此可以根据肤色情况 从自拍视频的图像中识别出人脸图像；例如在光照良好且对比度适宜的情况下，即平均亮 度值在100 200之间，对比度在50% 80%之间，肤色区域在YCbCr空间占据102 < Cb< 128，125 < Cr < 160 的范围。步骤(13)，根据灰度法从人脸图像中识别出左、右眼睛的图像；根据眼球区域和 面部图像在灰度上的截然不同，通过对该区域图像进行黑白二值化处理后即可根据灰度的 不同快速划分出两者的分界。本专利技术中，优选地，所述步骤二包括以下步骤步骤(21)，对识别出的眼睛图像进行黑白二值化处理，并根据灰度法识别出巩膜 图像和虹膜图像；根据巩膜和虹膜图像在灰度上的截然不同，通过对该区域图像进行黑白 二值化处理后即可根据灰度的不同快速划分出两者的分界。步骤(22)，根据纹理分析法识别出虹膜图像和瞳孔图像，并计算虹膜图像和瞳孔 图像的相对位置；虹膜区域有较多复杂的纹理，而瞳孔区域基本呈现单一纹理并且虹膜区 域总是呈现圆形，因此可以对该区域进行分块傅里叶变换分析或分块离散余弦变换，通过 分析变换域中高频分量，高频分量多表明该区域纹理复杂，为虹膜区域，反之则为瞳孔区 域，从而给出空间域两者之间的界限。步骤(23)，计算出瞳孔图像中心点距离虹膜中心点的方位角α和距离d。本专利技术中，优选地，所述步骤三包括以下步骤步骤(31)，将虹膜图像平移到巩膜图像的中心；步骤(32)，对于虹膜图像平移后巩膜图像上的图像缺失部分，使用平移前虹膜图 像周围的巩膜图像进行填充；步骤(33)，根据瞳孔图像中心点距离虹膜中心点的方位角α和距离d，将平移后 的虹膜图像所在的圆形区域以圆心为中心进行有向旋转；旋转方向为η+ α，旋转角度为 rtarT1 (d/r)，其中r为瞳孔的半径。步骤(34)，对于虹膜图像有向旋转后空缺部分，使用巩膜图像周围的虹膜图像进 行填充。本专利技术的原理是当被拍摄者视线对准显示屏幕时，将拍摄到的视频图像中人眼目 标检测之后根据瞳孔在眼球上的分布情况判断出视线和瞳孔中心到摄像机光心连线的夹 角，根据该角度对采集到的视频图像眼部附近的区域进行二次投影，最终实现在显示屏幕 上显示目光对准屏幕的视频图像。有益效果本专利技术在不增加额外装置的情况下，通过软件方法进行图像处理，从而 使得当人脸面对显示装置而眼睛不注视摄像镜头时可在显示装置上获得眼睛注视显示装 置的活动视频图像，大大降低了硬件系统的改进成本。本专利技术方法在视频通信，视频会议等 需要使用视频进行双向或者多向通讯的方面有重要的应用前景。附图说明下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和 /或其他方面的优点将会变得更加清楚。图1是现实中注视对准和注视不对准的示意图。图2是现有技术常见视频自拍装置的示意图。图3是本专利技术注视矫正计算的示意图。图4是本专利技术注视矫正计算的过程图。图5是本专利技术连通区域的检测的流程图。图6是本专利技术类Haar矩形特征示例图。图7是本专利技术方法简化流程图。具体实施例方式本专利技术硬件部分由单个视频拍摄装置、运算处理装置和显示装置组成，核心思路 是利用视频图像中目标识别、目标配准和目标二次投影，实现显示装置中显示观察者的目 光正视的视频图像。如图7所示，本专利技术公开了，包括以下步骤步骤一，目标眼睛图像检测和定位从视频图像中检测并定位眼睛的位置；所述步骤一包括以下步骤步骤11，对自拍视频的图像进行预处理；步骤12，从自 拍视频的图像中识别出人脸图像；步骤13，根据灰度法从人脸图像中识别出左、右眼睛的 图像。步骤11，对自拍视频的图像进行预处理；对自拍视频的图像进行预处理，由于图像的采集往往在多变的，不可预料的环境 (主要是光照环境)下进行，对图像进行预处理使其使其能够适应算法的要求显得尤为必 要，本专利技术中涉及到的图像预处理包括直方图均衡、形态学操作和中值滤波。直方图均衡化是数字图像处理中最为基本的一个操作，其作用是使得图像的对比 度分明。形态学操作，分为形态学腐蚀和形态学膨胀，它们针对二值图像进行。先腐蚀在 膨胀称为闭操作，可以使得图像中缺损的图形闭合，相反则称为开操作，使得闭合的图像断 裂。经过形态学操作可以去除图像中的孤立噪声点并且将由于各种原因造成的断裂连通区 域进行修复。中值滤波是一种能有效抑制噪声的非线性信号处理技术。中值滤波的基本原理是 把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，从而消除孤立 的噪声点。经过中值滤波波后图像将变得平滑。步骤12，从自拍视频的图像中识别出人脸 图像，包括基于肤色分割的人脸检测多数人脸分析的方法都是基于灰度图像，而肤色分割是利用了人类肤色的颜色色 度信息作为特征，进行人脸检测，是一种基于特征不变量的人脸检测方法。人类肤色与自然背景存在明显的区别，由于面部血管的作用，其红色分量较为饱 满；并且在不同光照、人种条件下的肤色相对维持在一个稳定的范围内。同时，这种方法只 需对全局图像进行数次遍历，运算速度快，易于实现，是一种被广泛运用于人脸检测系统的 基础算法。该算法主要分为三个步本文档来自技高网...

【技术保护点】
一种自拍视频中眼睛图像的调正方法，其特征在于，包括以下步骤：步骤一，目标眼睛图像检测和定位：从视频图像中检测并定位眼睛的位置；步骤二，眼睛图像中巩膜图像、虹膜图像以及瞳孔图像的区分和定位：根据灰度区分出巩膜图像和虹膜图像；根据纹理区分出虹膜图像和瞳孔图像；定位巩膜图像和虹膜图像、虹膜图像和瞳孔图像的相对位置；步骤三，虹膜图像和瞳孔图像的二次投影，将虹膜图像和瞳孔图像通过有向旋转移动到巩膜图像的中心，从而实现眼睛图像的调正。

【技术特征摘要】

【专利技术属性】
技术研发人员：袁杰，郑晖，刘诗诗，
申请(专利权)人：南京大学，
类型：发明
国别省市：84[中国|南京]