一种人眼识别跟踪的方法及将其应用于裸眼3D显示的装置制造方法及图纸

一种人眼识别跟踪技术，步骤为：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。

【技术实现步骤摘要】

本专利技术涉及图像处理及通信领域，尤其是涉及人眼识别跟踪的方法及其应用在裸眼3D显示领域的装置。
技术介绍
裸眼3D技术是根据人眼的视差来实现的，即人的左眼和右眼在观察同一个目标时会有图像上的差异，左眼看到的影像跟右眼看到的影像在大脑里合成就成为我们看到的3D内容。由此，通过在屏幕上做一些处理，将存在视差的图像分别映射到人的左眼和右眼，人看起来就是3D影像了。现有的裸眼3D显示技术主要为：（1）视差屏障技术：使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90°的垂直条纹，通过它们的光形成了垂直的细条栅的“视差障壁”，将左眼和右眼的可视画面分开，使观者看到3D影像；（2）柱状透镜技术：在液晶显示屏的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素；（3）指向光源技术：将TFT背光源配合画面以交替显示的方式使左右画面的光线投射到左右眼，利用背光模组和液晶面板使不同像素光线路径转变，视差图像经过分离后分别进入左右眼，形成立体效果。裸眼式3D显示技术的发展摆脱了传统3D眼镜的束缚，但是裸眼3D技术的发展受到以下几个因素的制约，主要为分辨率、可视角度和可视距离等方面还存在很多不足。专利CN2016105445948提供了一种裸眼3D显示装置及显示方法，用以解决在观看中观看者视点发生变化时，不能获得较佳的3D图像画面的问题，该专利主要是在显示屏的出光侧设置光栅面板，并设置了一个视点追踪装置，用于在3D显示模式下实时获取观看者当前视点在显示屏前方的位置信息，控制装置根据观看者当前视点在显示屏前方的位置信息，调整所述光栅面板相对于所述显示屏的位置，以使得当前观看者通过所述光栅面板观看到3D图像画面。该方法的问题在于：该视点追踪装置为红外摄像装置，应用于现有技术的手机、平板电脑或是笔记本电脑等设备上时，需要另外安装，带来不易安装固定、增加成本、影响美观等问题。所以将追踪眼球位置的技术应用在裸眼3D的领域还应该克服如下问题：（1）在可见光环境下，用单相机实现对人眼球主要是虹膜空间位置的检测；（2）在观者处于移动状态时，快速稳定的识别人眼位置；（3）在不同光线强度时，对人眼部亮度的自动适应；（4）观者在眨眼或闭眼时对眼睛的持续检测及睁眼后的快速追踪。
技术实现思路
为了解决上述将追踪眼球位置的技术应用在裸眼3D的领域所需要克服的技术问题，本专利技术提供了一种人眼识别跟踪的方法，其特征在于其实现步骤：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.利用PNP透视多点方法进行空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的位置信息。将上述方法应用于裸眼3D显示领域时，可以根据上述方法得到的人眼相对于显示屏的位置信息，调整裸眼3D模块的相关光学信息，包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。所述人眼识别跟踪的方法中c步骤涉及的人脸或人眼校准方法包括：c-1.眼球追踪模块初始化人脸或人眼的图像位置；c-2.基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；c-3.当c-2中的跟踪和识别过程均成功时，则直接进入c-6；c-4.当c-2中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学习，学习失败图像的相关特征，该分类器与现有跟踪识别算法一起确定人脸或人眼的图像位置；c-5.当c-2中的两个过程都失败时，返回c-2对全图像进行跟踪与识别；c-6.通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标。值得注意的是，随着对失败图像的学习，所述分类器在跟踪和识别过程中的权重自适应增加，检测率提高，学习的失败图像越来越少。上述方法中提到的单相机空间位置重建方法为:通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼特征点的二维坐标还原成相对于相机坐标系的人脸或人眼的三维坐标，得到人眼相对于显示屏的位置信息。其中人眼识别跟踪技术计算人眼相对于显示屏的位置信息的方法可以为：(1).通过标定获得一个先验模型数据库，其过程包括：a.启动特征点空间位置采集模块；b.保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；c.对图像进行人脸或人眼校准获取特征点的图像坐标d.根据计算机视觉原理获取特征点的空间坐标；e.形成特征点空间坐标数据库。所述通过标定获得一个先验模型数据库后，再通过人眼识别跟踪技术实现对人眼虹膜空间位置的检测方法，具体过程为：使用手机在受测者身体保持不动的情况下采集两幅以上图片(此处以两幅图片为例),通过拍摄图片计算脸部或眼部特征点的空间位置。假设P为人脸上的某一个特征点，其在世界坐标系中的位置为Xw=[xw yw zw]T，p为这一特征点P在手机拍摄图像上的投影，点P在相机所拍摄图像上投影点p的像素图像坐标为P=[u v]T。根据透视投影原理，可以知道世界坐标系中P点的坐标与其投影点p的坐标存在以下转换关系： 公式(1)公式(1)中，矩阵K为相机的内参数矩阵，其已由预先的检测过程获得。矩阵R和t分别表示世界坐标系向相机坐标系转换的旋转矩阵与平移矩阵，s为一个非零比例因子。假定在标定过程中，世界坐标系与第一次拍摄过程中的相机坐标系重合；特征点P在两次拍摄图像内的投影点p1和p2的坐标分别为P1和P2(P1和P2的图像已由人脸或人眼校准方法获得)，其在世界坐标系下的坐标为X(此变量未知)，拍摄相机的内参数矩阵为K（以通过预先的检测过程获得），第二次拍摄时相机坐标系与世界坐标系之间的转换关系由平移向量t和旋转矩阵R描述。由此，根据透视投影原理存在以下转换关系： 公式（2） 公式（3）以上两式中,s1和s2为两次透视投影过程的比例因子。由于公式(2)所确定的方程组只有两个方程而特征点P在世界坐标系下的坐标X存在3个未知量，所以只通过公式(2)不能直接计算出点X的数值。所以需要计算出公式(3)中的旋转矩阵R与平移矩阵t以确定X的数值。其计算计算过程如下：公式（2）两边同时乘以RK-1得： 公式（4）公式（3）两边同时乘以K-1后，再取转置得: 公式（5）如果t为三维向量，且t=[tx ty tz]T,则定义矩阵S为t对应的反对称矩阵： 公式（6）且S*t=0。公式5两边同时乘t的反对称矩阵S得： 公式（7）这样平移矩阵就由反对称矩阵S表示。公式7两边同时乘公式4的两边得： 公式（8）即： 公式（9）由公式(9)可见，旋转矩阵R与平移矩阵S可以由多个特征点在摄像机拍摄图像中的坐标确定。（公式(9)中，矩阵S与R一共包含11个未知量，理论上6个特征点就能确定矩阵S和R）当计算出S与R之后，标定过程就可以通过公式(2)和(3)计算出脸部或眼部特征点P在世界坐标系下的坐标X。已知脸部或眼部特征点P在世界坐标系下的坐标，标定方法可以将特征点的世界坐标转换为本文档来自技高网...

【技术保护点】
一种人眼识别跟踪的方法，其特征在于其实现步骤：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。

【技术特征摘要】
1.一种人眼识别跟踪的方法，其特征在于其实现步骤：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。2.如权利要求1所述的人眼识别跟踪的方法，其特征在于：将其应用于裸眼3D显示领域时的实现步骤：根据人眼相对于显示屏的位置信息，调整其中裸眼3D模块得到观看3D图像效果的最佳视差，所述调整包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。3.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述人脸或人眼校准方法包括：c-1.眼球追踪模块初始化人脸或人眼的图像位置；c-2.基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；c-3.当c-2中的跟踪和识别过程均成功时，则直接进入c-6；c-4.当c-2中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学，学习失败图像的相关特征，该分类器与现有跟踪识别过程一起确定人脸或人眼的图像位置； c-5.当c-2中的两个过程都失败时，返回c-2对全图像进行跟踪与识别；c-6.通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标。4.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述单相机空间位置重建的方法为:通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼的二维图像还原成相对于相机坐标系的人脸或人眼的三维信息，得到人眼相对于显示屏的位置信息。5.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述人眼识别跟踪技术实现对人眼虹膜空间位置的检测方法可以为：（1）.通过标定获得一个先验模型数据库，其过程包括：a.启动特征点空间位置采集模块；b.保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；c.对图像进行人脸或人眼校准获取特征点的图像坐标并根据计算机视觉原理获取特征点的空间坐标；d.形成特征点空间坐标数据库；e.通过检测到的人眼图像信息，调用先验数据库，对其虹膜空间位置进行重建，得到人眼相对于显示屏的位置信息；（2）.根据相似三角形原理，根据已知的观者瞳孔间距、相机采集到的图像中瞳孔间距和相机焦距f计算人眼相对于显示屏的位置信息，计算方法为L/f=D/d，所述观者瞳孔间距可以为固定的65mm，也可以让用户手动输入。6.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述眼球追踪技术在得...

【专利技术属性】
技术研发人员：杜煜，吴红波，汪江林，詹培忠，
申请(专利权)人：上海青研信息技术有限公司，
类型：发明
国别省市：上海;31