一种压缩三维光场显示的智能优化方法技术

本发明专利技术提供了一种压缩三维光场显示的智能优化方法，包括数据采集、离线训练、在线优化，数据采集步骤是指用光场相机等专用设备采集光场原图像，并对图像进行解析操作，从而得到不同场景的多视点图和深度图信息；离线训练是指找出重建质量最好时所对应的初始平面位置，将深度图信息和对应的数据作为训练集，并进行训练；在线优化是指动态寻找最优初始平面位置，具体而言，对于不同场景的光场源文件，输入模型后，能在短时间内计算出最优初始平面的重建位置，并且在光场显示器上显示，从而获得最佳显示效果。本发明专利技术可以提高压缩三维光场显示的显示质量，使得其对于给定的任意光场源文件，都可以快速得到最优的数据显示方案。都可以快速得到最优的数据显示方案。都可以快速得到最优的数据显示方案。

【技术实现步骤摘要】
一种压缩三维光场显示的智能优化方法


[0001]本专利技术涉及光场显示方法
，具体为一种压缩三维光场显示的智能优化方法。

技术介绍

[0002]现有的图像采集和显示丢失了多个维度的视觉信息，这迫使我们只能通过二维“窗口”去观察三维世界。医生借助单摄像头内窥镜进行腹腔手术时，因无法判断肿瘤的深度位置，从而需要从多个角度多次观察才能缓慢地下刀切割；随着电子地图快速发展，传统的二维显示无法提供建筑物之间的遮挡关系，这限制了观察者对空间精度的判断；以及近年来元宇宙概念的兴起等等，使得三维显示技术的发展尤为重要，而其中采用多层空间光调制器的压缩光场显示与全息显示和体三维显示等显示技术相比，具有成本低且不损失分辨率，占用面积小等优势，使得其具有巨大的应用前景。
[0003]但目前压缩三维光场显示大都采用固定的初始平面位置，忽略了光场采集的焦平面和重建初始平面位置之间的映射关系，这可能会导致重建光场的场景失真。目前也有少数研究采用优化的方法寻找最优初始平面位置，用时很长，且并不能保证能准确找到最优的初始平面位置。整体而言，现有优化方法相对复杂，且每分析一次图片需要大量时间，难以实现实时的最优初始平面位置动态调整，难以满足更加高效准确的显示优化提升，不能满足用户需求的多样性，及压缩光场显示的推广性。为此，现提供一种压缩三维光场显示的智能优化方法，将优化的方式转变为深度学习的方式，可大大提升显示质量以及优化显示处理时间。

技术实现思路

[0004]本专利技术提出了一种压缩三维光场显示的智能优化方法，提高压缩三维光场显示的显示质量，使得其对于给定的任意光场源文件，都可以得到最优的初始平面位置，满足更高效准确的高质量的压缩光场显示图片的生成。
[0005]本专利技术的目的可通过下列技术方案来实现：
[0006]一种压缩三维光场显示的智能优化方法，包括如下步骤：
[0007]S1、数据采集：光场相机采集光场原图像，对图像进行解析操作，通过上述设置得到不同数量的视点图，及深度图信息；
[0008]S2、离线训练：将S1中的多视点图输入生成光场模型，得到光场张量。在S1深度图信息的深度范围内，用穷举的方法，改变初始平面位置。将光场张量和初始平面位置输入光场重建模型，并设置显示器层数，进行光场重建。一直循环改变初始平面位置，找出光场重建质量最好也就是PSANR值最大时所对应的初始平面位置，作为最优初始平面位置。将深度图信息、最优初始平面位置进行对应，打包为数据集。；
[0009]S3、在线优化：将S2中训练集作为输入，经过学习后模型会输出最优初始平面位置值，重建光场，并在光场显示器上进行显示；
[0010]优选地，S1包括如下步骤：
[0011]S11、光场采集：用光场相机等光场采集设备采集不同亮度场景、不同景别的场景、内容多样的丰富图像，并加入目前广泛使用的光场数据集；其中采集光场的过程就是将物理世界坐标系映射到相机世界坐标系的过程，如公式1所示，映射函数的数学表达式为：
[0012][0013](x,y,1)
T
为光场图像矩阵，K为相机内参数由相机硬件决定，R表示相机旋转角度，t为相机平移参数，(X,Y,Z,1)
T
为空间点由场景结构决定。
[0014]S12、光场源文件解码，也就是求解准确的(x,y,1)
T
光场图像矩阵和对应的视场角，生成视点图：用光场相机等光场采集设备采集到的文件存储格式为LFR、LFP、RAW，用已有模型，对任意镜头编号的不同相机型号进行通用校准，对微图像进行尺度空间分析；用质心网络的拟合方法确定质心间距和投影映射，保证子孔径图像的精确分解；对显微图像重采样除去伪影，对像素重新排列、调整角度视图位置、考虑伽马以及颜色校正，以解码源文件得到质量较高的视点图；
[0015]S13、光场深度图生成：光场相机能够同时采集空间光线的空域以及角度域信息，根据这种特性恢复出空间场景的深度，用CNN模型可以得到光场深度图。
[0016]优选地，S2包括如下步骤：
[0017]S21、寻找最优初始平面位置：分析光场深度图得到最大深度和最小深度，将最小深度设置为初始平面位置。将每一层LCD建模为空间可控偏振旋转器，采用SART算法，设置显示器层数，对每层应用的最佳空间变化偏振态旋转进行层析求解，重建光场，并存储衡量重建光场质量好坏的PSNR值；之后取固定步长，不断增大初始平面位置的值，重建光场，直到初始平面位置值等于最大深度，找到最大PSNR值下对应的初始平面位置，定义为最优初始平面位置，本专利以三层压缩显示器为例；
[0018]重建光场模型包括光场重建和光场分解，其中光场重建如公
[0019]式2所示和光场分解过程式如公式3、4、5所示：
[0020][0021][0022][0023][0024]其中L为光场图像张量，由(x,y,1)
T
光场图像矩阵和视场角组成，W为权重矩阵，A,B,C为更新前三层液晶的像素；A'B'C'为更新后的三层液晶的像素；W
(1)
,W
(2)
,W
(3)
分别表示W沿第1、第2、第3维度取切片,L
(1)
,L
(2)
,L
(3)
分别表示L沿第1、第2、第3维度取切片,d表示Hadamard积。
[0025]因此进行光场重建时需要输入光场图像张量L、显示层数、初始平面位置。光场图像张量L可以由S12生成的光场多视图经过生成光场模型得出。
[0026]公式6、7、8、9为穷举法联合重建光场模型寻找最优初始平面位置的具体过程。其中Mindepth为最小深度值，Maxdepth为最大深度值，Initial plane表示初始平面位置，公式6表示初始平面位置取值范围；公式7为将最小深度值赋值给初始平面位置；公式8中Initial plane*表示更新后的初始平面位置，其等于上一次的初始平面位置与步长的和；公式9表示步长的计算，LOOP为循环寻找最优初始平面位置次数，可根据所需精度设置。
[0027]Mindepth ≤ Initial plane ≤ Maxdepth
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式6
[0028]Initial plane ＝ Mindepth
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式7
[0029]Initial plane*＝ Initial plane + step
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式8
[0030]step ＝( Maxdepth
‑
Mindepth )/LOOP
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式9
[0031]S22、数据集准备：将待显示内容的深度图和对应的最优初始平面位置打包为数据集。
[0032]优选地，S3包括如下步骤：
[0033]S31、光场数据准备：从S22数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种压缩三维光场显示的智能优化方法，包括如下步骤：S1、数据采集，用光场相机等专用设备采集光场原图像，并对图像进行解析操作从而得到不同场景的多视点图和深度图信息；S2、离线训练：将S1中的多视点图输入生成光场模型，得到光场张量，在S1深度图信息的深度范围内，用穷举的方法，改变初始平面位置，将光场张量和初始平面位置输入光场重建模型，并设置显示器层数，进行光场重建，一直循环改变初始平面位置，找出光场重建质量最好也就是PSANR值最大时所对应的初始平面位置，作为最优初始平面位置；将深度图信息、最优初始平面位置进行对应，打包为数据集，S3、在线优化：动态寻找最优的初始平面位置然后进行显示，对于不同场景的光场源文件，输入模型后，能在短时间内计算出最优初始平面位置,重建光场，并在光场显示器上进行显示。2.根据权利要求1所述的一种压缩三维光场显示的智能优化方法，其特征在于，S1包括如下步骤：S11、光场采集：用光场相机等光场采集设备采集不同亮度场景、不同景别的场景、内容多样的丰富图像，并加入目前广泛使用的光场数据集；其中采集光场的过程就是将物理世界坐标系映射到相机世界坐标系的过程，如公式1所示，为映射函数的数学表达式：(x,y,1)
T
为光场图像矩阵，K为相机内参数由相机硬件决定，R表示相机旋转角度，t为相机平移参数，(X,Y,Z,1)
T
为空间点由场景结构决定；S12、光场源文件解码，也就是求解准确的(x,y,1)
T
光场图像矩阵和对应的视场角，生成多视点图：用光场相机等光场采集设备采集到的文件存储格式为LFR、LFP、RAW，用已有模型，对任意镜头编号的不同相机型号进行通用校准，对微图像进行尺度空间分析；用质心网络的拟合方法确定质心间距和投影映射，保证子孔径图像的精确分解；对显微图像重采样除去伪影，对像素重新排列、调整角度视图位置、考虑伽马以及颜色校正，以解码源文件得到质量较高的多视点图；S13、光场深度图生成：光场相机能够同时采集空间光线的空域以及角度域信息，根据这种特性恢复出空间场景的深度，用CNN模型可以得到光场深度图。3.根据权利要求1所述的一种压缩三维光场显示的智能优化方法，其特征在于，S2包括如下步骤：S21、寻找最优的初始平面位置：分析光场深度图得到最大深度和最小深度，将最小深度设置为初始平面位置，将每一层LCD建模为空间可控偏振旋转器，采用SART算法，设置显示器层数，对每层应用的最佳空间变化偏振态旋转进行层析求解，重建光场，并存储衡量重建光场质量好坏的PSNR值；之后取固定步长，不断增大初始平面位置的值，重建光场，直到初始平面位置值等于最大深度值，找到最大PSNR值下对应的初始平面位置值，定义为最优初始平面位置；
其中重建光场模型包括光场重建和光场分解，光场重建如公式2所示，和光场分解过程式如公式3、4、5所示：式如公式3、4、5所示：—3——3—L为光场图像张量，由(x,y,1)
T
光场图像矩阵和视场角组成，W为权重矩阵，A,B,C为更新前三层液晶的像素；A'B'C'为更新后的三层液晶的像素；W
(1)
,W
(2)
,W
(3)
分别表示W沿第1、第2、第3维度取切片,L
(1)
,L
(2)
,L
(3)
分别表示L沿第1、第2、第3维度取切片,d表示Hadamard积；进行光场重建时需要输入光场图像张量L、显示层数、初始平面位置；光场图像张量L可以由S12生成的光场多视图经过生成光场模型得出...

【专利技术属性】
技术研发人员：杨艳，杨有冠，邓竣誉，郑旭强，廖文娟，王子越，王师峥，
申请(专利权)人：茂名粤云信息技术有限公司阜阳泺研院人工智能科技有限公司山西泺研院人工智能数据中心有限公司，
类型：发明
国别省市：