基于深度学习的光场实拍实显方法技术

技术编号:42383040 阅读:27 留言:0更新日期:2024-08-16 16:11
提供一种基于深度学习的光场实拍实显技术,其主要步骤包括:通过虚拟双目相机以及虚拟相机阵列生成DUNet网络模型的数据集;通过制作好的数据集对构建的DUNet网络模型进行训练;将目标三维场景的左右视差图像输入训练好的DUNet网络模型中,输出对应的元素图像阵列;将该元素图像阵列加载到光场三维显示系统中,即可实现基于深度学习的光场实拍实显。本方法可以快速高效生成元素图像阵列,实现真实三维场景的实时三维重建,降低图像噪声和模糊程度,有效地提高裸眼三维显示屏的观看体验和应用价值。

【技术实现步骤摘要】

本专利技术涉及一种基于深度学习的光场实拍实显方法,属于显示。


技术介绍

1、集成成像3d显示技术是光场3d显示技术的一种形式,其采用简单便携的设备产生高质量的3d图像,可以提供真实的物理深度线索和正确的遮挡关系,从而实现全视差、全彩色和更高观看舒适性的3d显示。集成成像的基本原理是通过微透镜阵列来记录目标三维物体,并生成元素图像阵列,在重建过程中,将生成的元素图像阵列加载到显示面板上,实现三维物体的光学重建。

2、超多视点三维显示技术是一种新型的立体显示技术,它可以同时提供多个观察者不同的视角,使得每个观察者可以从不同的角度观看并获得真实的三维立体效果。这种技术通过在显示屏上放置大量柱透镜组成的光栅,使得不同的像素点可以同时发射出不同的视角信息。当观察者在不同的位置上观看屏幕时,他们会看到不同的立体图像,就像在真实的空间中观察一样。

3、集成成像和超多视点三维显示技术往往需要借助图像渲染软件来对目标三维场景进行渲染和捕获,因此显示对象被局限在了虚拟场景中。此外,由于集成成像三维显示技术需要渲染大批量的元素图像,计算资源占用量大,因此本文档来自技高网...

【技术保护点】

1.一种基于深度学习的光场实拍实显方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于深度学习的光场实拍实显方法,其特征在于所述DUNet神经网络包括元素图像阵列预测层和角谱衍射层的层级结构。

3.根据权利要求2所述的基于深度学习的光场实拍实显方法,其特征在于层级结构中的元素图像阵列预测层包括多个上采样层、下采样层、跳跃连接层,角谱衍射层包含基于全息术中的角谱法对应的物理衍射传播层,实现网络形式的元素图像阵列的衍射传播。

4.根据权利要求1-3任一项所述的基于深度学习的光场实拍实显方法,其特征在于DUNet网络结构中的下采样部分由两组不同维度的...

【技术特征摘要】

1.一种基于深度学习的光场实拍实显方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于深度学习的光场实拍实显方法,其特征在于所述dunet神经网络包括元素图像阵列预测层和角谱衍射层的层级结构。

3.根据权利要求2所述的基于深度学习的光场实拍实显方法,其特征在于层级结构中的元素图像阵列预测层包括多个上采样层、下采样层、跳跃连接层,角谱衍射层包含基于全息术中的角谱法对应的物理衍射传播层,实现网络形式的元素图像阵列的衍射传播。

4.根据权利要求1-3任一项所述的基于深度学习的光场实拍实显方法,其特征在于dunet网络结构中的下采样部分由两组不同维度的挤压刺激层以及两组不同维度的下采样层组成,上采样部分由两组不同维度的注意力层以及两组不同维度的上采样层组成,在上采样部分与下采样部分中间有一层空洞空间卷积池化金字塔层,输出层包括卷积层和激活层。

5.根据权利要求1-3任一项所述的基于深度学习的光场实拍实显方法,其特征在于dunet模型在训练时使用结构相似度ssim作为损失函数,并且采用具有误差反向传播功能的随机梯度下降法(sgd)进行参数优化更新网络权重。

6.根据权利要求1-3任一项所述的基于深度学习的光场实拍实显方法,其特征在于损失函数有两部分组成,一部分为数据集中的元素图像阵列(标准元素图像阵...

【专利技术属性】
技术研发人员:刘娟马皓文
申请(专利权)人:北京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1