基于深度学习的光场显示视线追踪方法及光场显示方法技术

技术编号:45065480 阅读:14 留言:0更新日期:2025-04-25 18:10
本发明专利技术涉及基于深度学习的光场显示视线追踪方法及光场显示方法,其中光场显示视线追踪方法包括:使用摄像头实时捕捉用户当前的头部和眼部图像;利用人脸检测模型对头部图像进行人脸区域的检测并返回人脸边界框,得到人脸图像;利用人脸特征点检测模型对人脸图像进行人脸特征点检测,得到人脸特征点信息,并使用EPnP算法获取头部姿态信息;预处理眼部图像;将预处理后的眼部图像传入到预训练好的视线预测模型中并将头部姿态信息作为参数输入模型的全连接层,视线预测模型输出预测的视线向量。该方法能够在复杂条件下表现出良好的准确性和鲁棒性,以便于光场显示系统可以实时监测用户的注视位置,并相应地更新显示的内容,达到更好的显示效果。

【技术实现步骤摘要】

本专利技术涉及显示,特别是涉及一种基于深度学习的光场显示视线追踪方法及光场显示方法


技术介绍

1、光场显示通过利用微透镜阵列来捕捉和重现三维场景或物体的空间信息,进而能够在无需额外设备辅助的情况下为观众提供具有真实深度感的立体视觉体验。这项技术主要通过在显示面板前配置一个由众多微小透镜组成的阵列来实现。每个微透镜都能捕获特定角度的图像片段,并将这些片段重组为一个包含多个视角的图像阵列。当这些图像通过微透镜阵列再次投影时,它们能在空间中重建出多视角下的光线分布,从而模拟出物体或场景的真实三维效果。这种方法能够提供全方位的视差信息和连续变化的观察角度,使得呈现出来的彩色三维图像更为逼真且自然。目前,对于光场显示研究主要集中在大景深、高帧率、适应性渲染、高分辨率、宽视场角这几个方面。

2、视线追踪指通过使用计算机视觉、光学检测等手段检测有关被检测者视线相关状况如头部姿态、眼球位置、眼球转动相对位置,并对所获取信息进行相关分析,获取被检测者当前所凝视位置,以达成视线追踪与判断的操作。

3、将光场显示与视线追踪相结合,可以提高光场显示系统的本文档来自技高网...

【技术保护点】

1.基于深度学习的光场显示视线追踪方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型在训练过程中采用MSE损失函数。

3.根据权利要求2所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型采用梯度下降算法进行优化,优化过程包括以下步骤:

4.根据权利要求3所述的基于深度学习的光场显示视线追踪方法,其特征在于,采用StepLR学习率调度器调整所述学习率。

5.根据权利要求1至4任意一项所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型...

【技术特征摘要】

1.基于深度学习的光场显示视线追踪方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型在训练过程中采用mse损失函数。

3.根据权利要求2所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型采用梯度下降算法进行优化,优化过程包括以下步骤:

4.根据权利要求3所述的基于深度学习的光场显示视线追踪方法,其特征在于,采用steplr学习率调度器调整所述学习率。

5.根据权利要求1至4任意一项所述的基于深度学习的光场显示视线追踪方法,其特征在于,所述视线预测模型训练时所使用的数据集为mpiifacegaze,并对mpiifacegaze中的图像进行预处理操作,包括图像归一化处理、翻转处理和直方图均衡化处理,其中所述翻转处理包括图像翻转操作、视线方向翻转操作、头部旋...

【专利技术属性】
技术研发人员:邓莉巾陈宁方明谷岳佳楠李智鸿
申请(专利权)人:长春理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1