一种裸眼3D显示的人眼跟踪方法技术

本发明专利技术涉及3D显示技术领域，尤其涉及一种裸眼3D显示的人眼跟踪方法。本发明专利技术包括步骤：a.根据双目裸眼3D显示参数，获取3D可视区域信息；b.对双目3D视频进行解码，获得左右眼视频序列帧图像；c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；d.根据实时采集的图像序列，获取观看者人眼位置信息；e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。该方法通过实时感知观看者人眼位置信息，结合3D可视区坐标分布情况，实时动态调整双目3D合成子像素排列，可有效解决现有双目裸眼3D显示技术中存在的观看视角窄、不能连续观看、观看位置固定等问题。观看位置固定等问题。观看位置固定等问题。

【技术实现步骤摘要】
一种裸眼3D显示的人眼跟踪方法
[0001]本专利技术涉及3D显示
，尤其涉及一种裸眼3D显示的人眼跟踪方法。

技术介绍

[0002]人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。随着社会的进步，传统的2D显示技术已经无法满足人们对于显示效果的追求。相较于2D显示技术，3D显示技术拥有图像逼真、强烈沉浸感和实时交互等优点，迅速占领显示市场。裸眼3D显示由于无需佩戴任何辅助设备即可观看到具有冲击力的立体视觉效果，能够给人们的生产、生活各方面带来全新的体验和视觉享受，代表了3D显示技术未来的发展方向。
[0003]裸眼3D显示技术主要采用分光原理来对左右眼图像进行分离，通过左眼看到左眼的图像，右眼看到右眼的图像就可以让用户的大脑合成一副有纵深感的立体画面。然而常规裸眼3D显示由于视区的周期性分布，存在观看视角窄、不能连续观看、观看位置固定等问题，如果用户的眼睛偏离最佳观看位置往往会看到重影或看不到立体感等情况。因此，如何设计出一种不受观看角度限制的裸眼3D显示方法，成为一个亟待解决的问题。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供了一种基于人眼追踪的裸眼3D显示方法，旨在解决现有双目裸眼3D显示技术中存在的观看视角窄、不能连续观看、观看位置固定等问题，其特征在于，至少包括：
[0006]a.根据双目裸眼3D显示参数，获取3D可视区域信息；
[0007]b.对双目3D视频进行解码，获得左右眼视频序列帧图像；
[0008]c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；
[0009]d.根据实时采集的图像序列，获取观看者人眼位置信息；
[0010]e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。
[0011]作为进一步优化，特征a中所述根据双目裸眼3D显示参数，获取3D可视区域信息，根据双目裸眼3D显示光学参数理论仿真，可得到裸眼3D可视区域的分布情况，该分布图呈菱形，以左、右眼物理位置的中心点为原点分别对左、右眼3D视区的坐标区域进行标记，其中水平坐标为观看者水平观看位置，垂直坐标为人眼距离双目裸眼3D显示设备的距离。左右眼只有分别落在相邻的左、右眼3D视区时，才感知到具有立体感的图像。通常成年人双眼之间的距离为65mm，假设左右交替的3D视区之间的距离为w，为了避免观看者左右眼都处于同一个3D视区，则w应满足：w<65mm且2w>65mm。还有一些区域，即不是左眼3D视区，也不是右眼3D视区，根据双目裸眼3D显示光学特性，该区域内观看者观看者将会同时看到左右眼视
图，从而造成左右眼视图的串扰重影现象。
[0012]作为进一步优化，特征b中所述对双目3D视频进行解码，获得左右眼视频序列帧图像，对解码的左右拼接双目3D视频进行解码及图像分割，可得到独立的左、右两路图像序列，假设左右双目3D视频的总体分辨率为mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN。
[0013]作为进一步优化，特征c中所述采用红外双目摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息，将红外双目摄像头放置于双目裸眼3D终端顶部位置，其间距设置为L。假设双目摄像头的光轴平行且成像平面处于同一平面，点P(x,y)为观看者在空间中的测量目标点，点P
l
(x
l
,y
l
)和P
r
(x
r
,y
r
)分别为点P投影到左、右摄像头成像平面的点，f为摄像头的焦距，B为双目摄像头之间的基线长度，O
l
和O
r
分别表示左摄像头和右摄像头的光心且其处于同一水平线上，则点P到裸眼3D显示终端的距离为：
[0014][0015]其中d＝x
r
‑
x
l
，其为测量目标点P在左、右摄像头成像平面的水平视差值，该值可通过双目立体匹配进行求取，可采用非局部视差聚合匹配算法(NCLA)计算双目摄像头采集图像的匹配点。
[0016]为较少立体匹配误差，当观看者不运动时，可在一定时间周期内自动对双目3D采集图像进行多次立体匹配计算，记录每次观看者到裸眼3D显示终端的距离D
i
，则可计算观看者到裸眼3D屏幕平均距离为：
[0017][0018]作为进一步优化，特征d中所述根据实时采集的图像序列，获取观看者人眼位置信息，利用Yolov5神经网络算法获得完整的人眼信息，选取瞳孔中心点作为左右眼的位置坐标，以双目裸眼3D显示终端的中心点作为坐标原点，假设左眼的瞳孔中心点坐标为E(x
eye_l
,y
eye_l
)，左眼的瞳孔中心点坐标为E(x
eye_r
,y
eye_r
)，由于观看者通常为水平站立，因此y
eye_l
＝y
eye_r
。为保证人眼的实时性，人眼跟踪摄像头采用不低于90帧/秒的速率进行采集，这样可保证人眼位置检测的连续性。
[0019]作为进一步优化，特征e中所述根据人眼位置信息及3D可视区，动态调整3D合成子像素排列，按照双目裸眼3D子像素映射矩阵的计算公式为：
[0020][0021]其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k
off
表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N
tot
表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。
[0022]同时，结合步骤a中得到的3D可视区域坐标信息，以及步骤c中得到的看者离裸眼3D屏幕距离信息和步骤d中得到的左右眼坐标信息，可判定观看者左右眼落在3D可视区的
位置信息。当左眼瞳孔坐标落在左眼3D视区，右眼瞳孔坐标落在右眼3D视区范围内，这时可直接观看到正确的3D图像，无须对3D合成子像素信息进行调整；当左眼瞳孔坐标落在右眼3D视区，右眼瞳孔坐标落在左眼3D视区范围内，这时人眼看到的是左右图像交换的错误图像，为保证人眼可看到正确的3D效果，需将3D合成子像素向左或向右移动3个子像素(1个像素)，即此时的双本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种裸眼3D显示的人眼跟踪方法，其特征包括：a.根据双目裸眼3D显示参数，获取3D可视区域信息；b.对双目3D视频进行解码，获得左右眼视频序列帧图像；c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；d.根据实时采集的图像序列，获取观看者人眼位置信息；e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。2.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：特征a中所述根据双目裸眼3D显示参数，获取3D可视区域信息，根据双目裸眼3D显示光学参数理论仿真，可得到裸眼3D可视区域的分布情况，该分布图呈菱形，以左、右眼物理位置的中心点为原点分别对左、右眼3D视区的坐标区域进行标记，其中水平坐标为观看者水平观看位置，垂直坐标为人眼距离双目裸眼3D显示设备的距离。左右眼只有分别落在相邻的左、右眼3D视区时，才感知到具有立体感的图像。通常成年人双眼之间的距离为65mm，假设左右交替的3D视区之间的距离为w，为了避免观看者左右眼都处于同一个3D视区，则w应满足：w<65mm且2w>65mm。还有一些区域，即不是左眼3D视区，也不是右眼3D视区，根据双目裸眼3D显示光学特性，该区域内观看者观看者将会同时看到左右眼视图，从而造成左右眼视图的串扰重影现象。3.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：特征c中所述采用红外双目摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息，将红外双目摄像头放置于双目裸眼3D终端顶部位置，其间距设置为L。假设双目摄像头的光轴平行且成像平面处于同一平面，点P(x,y)为观看者在空间中的测量目标点，点P
l
(x
l
,y
l
)和P
r
(x
r
,y
r
)分别为点P投影到左、右摄像头成像平面的点，f为摄像头的焦距，B为双目摄像头之间的基线长度，O
l
和O
r
分别表示左摄像头和右摄像头的光心且其处于同一水平线上，则点P到裸眼3D显示终端的距离为：其中d＝x
r
‑
x
l
，其为测量目标点P在左、右摄像头成像平面的水平视差值，该值可通过双目立体匹配进行求取，可采用非局部视差聚合匹配算法(NCLA)计算双目摄像头采集图像的匹配点。为...

【专利技术属性】
技术研发人员：李万钟，
申请(专利权)人：九州眼科技成都集团有限公司，
类型：发明
国别省市：