一种基于人眼跟踪的裸眼3D显示方法技术

本发明专利技术是提出一种基于人眼跟踪的裸眼3D显示方法，包括以下步骤：1.人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，对每一帧图像进行人脸识别并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度；2.裸眼视区修正模块在接收到人眼跟踪模块的观看视区数据后对裸眼输出视区进行调整；3.裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式；4.裸眼3D出屏舒适度修正模块对图像序列帧进行人眼疲劳监测并减缓出屏效果。本方法让手机用户时刻都能体验到无拘束的裸眼3D体验效果，让用户可以更加舒适的长时间使用裸眼3D产品。

【技术实现步骤摘要】
一种基于人眼跟踪的裸眼3D显示方法
本专利技术涉及人眼识别跟踪和裸眼3D显示领域，尤其涉及一种基于人眼跟踪的裸眼3D显示方法。
技术介绍
随着三维显示技术的逐渐成熟发展，裸眼3D技术的应用场景越来越广泛。不同于传统的二维显示技术，裸眼3D显示有着真实感、立体感、无需佩戴专用眼镜等优势且能有效避免沉浸式体验惯于带来的恶心、眩晕、视觉疲劳等不良反应，而被各种显示应用领域所看好、追捧。现在的裸眼3D显示技术都是通过区分左右眼来显示两幅图，通过让你左眼看到左眼的图像，右眼看到右眼的图像就可以让你的大脑合成一副有纵深感的立体画面，但是现在的裸眼3D技术都存在视点和视角固定，观看3D效果的时候既不能移动也不能晃动，大大的影响了使用体验，尤其对于裸眼3D手机用户来说一点震动或者晃动都会影响观看效果。本专利技术就是提出一种基于人眼跟踪的裸眼3D显示方法。本专利技术利用先进的人眼识别跟踪算法实时改变裸眼3D手机的显示视区和观看视角，让手机用户时刻都能体验到无拘束的裸眼3D体验效果，并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3D出屏效果的适应度从而实时改变3D深度信息，让用户可以更加舒适的长时间使用裸眼3D手机。
技术实现思路
本专利技术的目的是提供一种基于人眼跟踪的裸眼3D显示方法。该方法利用先进的人眼识别跟踪算法实时改变裸眼3D手机的观看视角和观看视区，让手机用户时刻都能体验到无拘束的裸眼3D体验效果，并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3D出屏效果的疲劳度从而实时改变3D深度信息。如上所述，实现一种基于人眼跟踪的裸眼3D显示方法包括如下步骤：本专利技术包括人眼跟踪模块，裸眼视区修正模块，裸眼显示模块和裸眼3D出屏舒适度修正模块；当手机用户打开裸眼3D显示功能后，人眼跟踪模块调用手机前置摄像头，将手机前置摄像头切换至视频拍摄状态，人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，在获取视频图像序列帧后对每一帧图像进行人脸识别并识别出人眼区域，计算出准确的左右眼相对位置，再获取当期手机陀螺仪姿态计算倾斜角度从而得到左右眼在当期手机姿态中的相对空间坐标；在识别匹配人眼区域时，一般包括：手机摄像头视频帧率通常为30帧，需要对每一帧进行人眼识别并且需要存储近5秒视频图像序列帧以供104裸眼3D出屏舒适度修正模块使用。在对每一帧进行人眼识别中，识别图像中的左右眼在图像上的坐标，单位为像素点个数；通过人眼跟踪模块计算图左右眼相对距离，计算出左右眼的空间坐标和左右眼相对手机裸眼屏幕的初始水平观看距离，再结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度，并对初始水平观看距离进行修正，同时可以提醒用户观看裸眼手机屏幕的最佳观看角度；其中，由于裸眼手机屏幕材质通常采用柱状透镜技术，柱状透镜技术是利用立体光栅对光线的折射配合人的双眼视差和会聚形成立体感，所以为了最佳的观看效果，观看者双眼需要与柱状透镜光栅保持相对水平。因此，在计算左右眼相对距离的同时，对人脸姿态进行计算，修正左右眼相对手机裸眼屏幕的初始水平观看距离并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度；其中，人眼跟踪模块对每一帧视频图像序列进行特征点匹配，首先检查出人脸位置和框架，再利用分类器进行特质筛选保留适合人体眼部特征的图像特征值，剔除独立的人眼特征值，保留符合左右眼相对距离范围内的参考点作为比对，最后比对预设左右眼瞳距像素阈值从而得到初始水平观看距离；进一步的，结合人脸姿态估计和裸眼手机当前陀螺仪姿态，以裸眼手机屏幕中心点为标准点来确定相对手机裸眼屏幕的观看视区并且修正左右眼的观看角度；进一步的，在识别匹配人眼区域时中，如果出现手机晃动或者人眼移动时，由于手机摄像头帧率较低，摄像头的传感器从接到信息到把图像序列帧输送到处理器中会有延迟。观看者双眼在移动或者手机晃动时，通常的裸眼视区修正算法会让观看者双眼看到串扰区或者逆视区，甚至出现视区跳动的现象，因此在人眼跟踪模块需要加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区；其中，裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区R来预测裸眼视区变动。优选的，当人眼跟踪模块检测通过裸眼手机陀螺仪传递手机出现晃动，读取前5秒视频图像序列帧的裸眼手机陀螺仪旋转速度，根据手机旋转角速度预测当前情况下用户真正的观看视区R；优选的，当人眼跟踪模块检测到左右眼出现水平垂直方向上大幅变动的情况下，读取前5秒视频图像序列帧的裸眼观看视区R，根据观看视区R的变速值来预测当前情况下用户真正的观看视区R；优选的，在预测跟踪观看视区R时，可以基于卡尔曼滤波器来辅助预测，用于削弱手机摄像头和陀螺仪带来的噪音干扰，基于卡尔曼滤波器可用包含正交状态变量的微分方程模型来描述前5秒观看视区R的变动，这种滤波器是将过去前5秒的测量估计误差合并到新的测量误差中来估计将来的观看视区R变动；人眼跟踪模块将视频图像序列每一帧的最终观看视区R数据传递给102裸眼视区修正模块，在修正视区时一般包括：裸眼视区修正模块在接收到人眼跟踪模块的实时信息观看视区R后需要对裸眼输出视区进行调整。视点数为N的裸眼手机总共有视区数N个，各个视区之间存在串扰区，并且当左右眼移动中，左右眼会看到相互逆转的逆视区，裸眼视区修正模块就需要根据人眼跟踪模块的数据来避免用户观看时出现串扰和逆视区现象；其中，人眼跟踪模块传递的观看视区R直接影响了最终裸眼显示的裸眼视区排图修正值Dis，裸眼修正模块需要根据观看视区R改变裸眼视区排图修正值Dis从而给当前用户的左右眼分别呈现完全正确的图像，由于左右眼距离裸眼手机屏幕的距离和观看者人数num也会影响裸眼修正模块计算的视区排图，因此裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图，并且最后在渲染裸眼图像时需要将两者或两者以上的视区进行重合交织；裸眼显示模块，在手机应用需要进行裸眼3D显示时打开，裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式，一般包括：其中，针对2D手机应用，将手机系统3DUI集成进应用中，添加3DUI按钮并且将2D应用界面渲染在裸眼手机的零平面中，102裸眼修正模块传递的裸眼视区排图修正值Dis将仅改变3DUI的裸眼效果，预设Dis值为0；其中，针对3D手机应用，将102裸眼修正模块传递的裸眼视区排图修正值Dis传递给3D渲染底层，将修正值Dis替换柱镜光栅映射表中的偏移量offset，根据裸眼修正模块传递的修正系数Dis来改变裸眼图像的物理排图序列，再根据3D渲染层零平面前后来决定修正值Dis的正负号，当大于零平面的3D渲染层修正值Dis为正；小于零平面的3D渲染层修正值Dis为负；裸眼3D出屏适应度修正模块，在手机应用例如视频播放，3D游戏裸眼显示时，由于出屏效果和观看距离不能统一，所以在观看者在观看裸眼3D出屏画面时往往会出现头晕，眼睛疲劳的情况，本专利技术优选的采用裸眼3D出屏舒适度修正模块来解决这一问题。其中，裸眼3D出屏舒适度修正模块需要手机摄像头拍摄的近5秒视频图像序列帧，在对这些图像序列帧进行人眼疲劳监测；进一步的，由于裸眼3D大视差会导致人的双眼在短时间内无法适应剧烈的出屏效果，因此裸眼3D出屏舒适度本文档来自技高网...

【技术保护点】
1.提供一种基于人眼跟踪的裸眼3D显示方法，其特征包括：本专利技术包括人眼追踪模块，裸眼视区修正模块，裸眼显示模块和裸眼3D出屏舒适度修模块；人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，对每一帧图像进行人脸识别并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度，再加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区；裸眼视区修正模块在接收到人眼跟踪模块的观看视区实时信息后对裸眼输出视区进行调整；裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式；裸眼3D出屏舒适度修正模块对图像序列帧进行人眼疲劳监测，减缓出屏效果左右眼过度视差值。

【技术特征摘要】
1.提供一种基于人眼跟踪的裸眼3D显示方法，其特征包括：本发明包括人眼追踪模块，裸眼视区修正模块，裸眼显示模块和裸眼3D出屏舒适度修模块；人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，对每一帧图像进行人脸识别并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度，再加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区；裸眼视区修正模块在接收到人眼跟踪模块的观看视区实时信息后对裸眼输出视区进行调整；裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式；裸眼3D出屏舒适度修正模块对图像序列帧进行人眼疲劳监测，减缓出屏效果左右眼过度视差值。2.如权利要求1所述的一种基于人眼跟踪的裸眼3D显示方法，其特征在于，所述计算出左右眼相对手机裸眼屏幕的观看视区步骤：结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度，并对初始水平观看距离进行修正，同时可以提醒用户观看裸眼手机屏幕的最佳观看角度。3.如权利要求2所述的一种基于人眼跟踪的裸眼3D显示方法，其特征在于，所述结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区步骤：观看视区可以通过以下公式计算得到：其中，L(x,y)是左右眼中心点到标准点的距离，(x,y)是左右眼中心点的横纵坐标，tanα是手机当前陀螺仪姿态中垂直方向上的偏转角度，x0是标准点在视频图像序列帧中的水平方向坐标值，s1是当前观看者左右眼的相对瞳距像素值，s0是标准点预设的瞳距像素值，而N是裸眼手机当前的总视点数，％是取余计算；通过上述公式可以计算出当前左右眼的实际观看视区R，将每一帧的观看视区R传递给裸眼视区修正模块用以改变裸眼视区排列，从而调整符合观看者左右眼的真实观看视区。4.如权利要求2所述的一种基于人眼跟踪的裸眼3D显示方法，其特征在于，所述结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看角度，并对初始水平观看距离进行修正步骤：当前观看者观看角度可以通过以下公式计算得到：其中，f(β，γ)代表了当前左右眼相对裸眼手机屏幕的观看角度，包括水平方向上和垂直方向上的角度，n代表着人脸姿态估计中人脸的待测特征点个数，优选的，本方法采用匹配人脸中左眼，右眼，鼻尖和双唇中心点总共4个点来计算观看角度即n＝4，qi代表待测的人脸特征点，pi代表待测人脸特征点在视频图像序列帧中对应的空间坐标值，F(x，y)是裸眼手机当前陀螺仪计算的旋转矩阵；其中，当β和γ同时等于零时，即观看者与裸眼手机屏幕保持完全水平，达到左右眼最佳的观看角度，在实例中，如附图2中B点是人眼实际位置，A点是最佳裸眼效果观看点，当人眼处于B点，这时β和γ不等于零，人眼跟踪模块可以提醒观看者抬头或者低头来改变用户观看裸眼手机屏幕的角度，使β和γ同时等于零以达到最理想的裸眼观看视角。5.如权利要求1所述的一种基于人眼跟踪的裸眼3D显示方法，其特征在于，再加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区步骤：裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区R来预测裸眼...

【专利技术属性】
技术研发人员：李万钟，
申请(专利权)人：成都泰和万钟科技有限公司，
类型：发明
国别省市：四川,51