一种基于手持式光场相机的空间光场恢复方法技术

本发明专利技术公开了一种基于手持式光场相机的空间光场恢复方法，包括：输入光场相机参数，输出物体空间上任一点的点扩散函数；离散化点扩散函数，并将光场相机成像重构为矩阵表达的线性系统，输出光场相机单深度物体光场恢复模型；提取物体在各个微透镜下的成像结果，输入到单深度物体光场恢复模型中，输出每个微透镜下的成像结果在多个深度下的单深度光场恢复结果；计算单深度光场恢复结果在不同深度下恢复效果的相似度，提取相似度最高处所对应的深度为物体所在深度，然后再提取该深度下微透镜恢复的物体信息，输出物体空间光场。本发明专利技术提出的方法实现了准确的物体原始信息的恢复。

A method for recovering spatial light field based on handheld light field camera

The invention discloses a method of spatial light field recovery based on a handheld optical field camera, including input light field camera parameters, the point diffusion function of any point in the object space, discrete point diffusion function, and the reconstruction of optical field camera imaging into a linear system expressed by a matrix, and output light field camera single depth object light field. Recovery model, the image results under each microlens are extracted and input into the single depth object light field recovery model, and the results of the single depth light field recovery under each micro lens are output under each microlens, and the similarity degree of the recovery results at different depths is calculated and the similarity degree is extracted. The highest depth corresponds to the depth of the object, and then extracts the object information recovered by the microlens at the depth, and outputs the spatial light field of the object. The method provided by this invention achieves accurate recovery of original information of objects.

【技术实现步骤摘要】
一种基于手持式光场相机的空间光场恢复方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种基于手持式光场相机的空间光场恢复方法。
技术介绍
随着手持式光场相机的问世，光场相机由于其能够记录多维光场，在计算机视觉领域的应用引发了研究者们的广泛关注。光场相机通过在传统相机的主镜头与传感器之间插入一块微透镜阵列，解耦了光线的空间和角度信息，完成了多维光场的记录。利用光场相机拍摄的单张原始光场图像，配合相应的渲染算法，在单次拍摄下，能够实现光场信息的恢复。现有的光场相机的光场信息恢复基本上是对图像进行重聚焦；图像重聚焦过程主要应用光线追迹算法，由于物空间的一点发出的不同方向的光线，经过微透镜阵列后，落在传感器的不同位置上，光线追迹算法认为，通过对传感器相应位置上发出的光线进行逆向追踪，可以最终汇聚到物空间中的该点；通过追迹光线在不同深度下的光场，即完成了物体在不同深度下的光场恢复。该方法实现的光场恢复，是基于几何光线进行的，简单高效，但是其忽略了成像过程中衍射等影响，并且无法恢复出物体的原始物理尺寸，仅有相对深度下的光线强度关系。除此之外，研究者们还基于光场相机的点扩散函数进行了图像质量的提升等相关工作，现有工作内容主要基于光场相机的点扩散函数进行反卷积，完成图像超分辨率重构等内容，并未涉及空间光场信息的恢复。并且其采用几何光学或者是简化的波动光学对光场相机进行点扩散函数的计算，准确度低。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决上述技术问题，本专利技术提出一种基于手持式光场相机的空间光场恢复方法，实现了准确的物体原始信息的恢复。为了达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于手持式光场相机的空间光场恢复方法，包括以下步骤：A1：输入光场相机参数，包括主透镜的焦距和光瞳直径、微透镜的焦距和光瞳直径、以及主透镜平面与主透镜成像平面的距离、主透镜成像平面与微透镜平面间的距离、微透镜平面与传感器间的距离，输出物体空间上任一点的点扩散函数；A2：离散化步骤A1得到的点扩散函数，并将光场相机成像重构为矩阵表达的线性系统，输出光场相机单深度物体光场恢复模型；A3：提取物体在M×N个微透镜下的成像结果Imj,j∈[1,M×N]，输入到步骤A2得到的单深度物体光场恢复模型中，输出每个微透镜下的成像结果Imj在多个深度d11～d1n下的单深度光场恢复结果A4：计算步骤A3得到的单深度光场恢复结果在不同深度d11～d1n下恢复效果的相似度提取相似度最高处所对应的深度d1r为物体所在深度，然后再提取该深度d1r下微透镜恢复的物体信息输出物体空间光场。与现有技术相比，本专利技术的有益效果在于：本专利技术的基于手持式光场相机的空间光场恢复方法根据光场相机成像特点将光场相机分为两个子成像系统：主透镜成像和微透镜成像，基于菲涅尔衍射，实现光场相机点扩散函数的计算，通过对点扩散函数的离散化和重排，得到线性的光场相机成像系统模型以及对应的单深度物体光场恢复算法；利用光场相机不同微透镜记录不同方向的光线特点，基于单深度物体光场恢复，完成每个微透镜下的物体在设置深度层下的光场恢复，通过对比多个微透镜的恢复效果，实现准确的物体原始信息的恢复。附图说明图1是本专利技术优选实施例的基于手持式光场相机的空间光场恢复方法的流程示意图；图2是本专利技术优选实施例的手持式光场相机的结构示意图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术优选实施例公开了一种基于手持式光场相机的空间光场恢复方法，包括以下步骤：A1：输入光场相机参数，包括主透镜的焦距f1和光瞳直径D1，微透镜的焦距f2和光瞳直径D2，以及主透镜平面20与主透镜成像平面30的距离d2，主透镜成像平面30与微透镜平面40间的距离d3.1，微透镜平面40与传感器50间的距离d3.2，输出物体空间10上任一点的点扩散函数；其中主透镜和微透镜的光瞳直径用于获得主透镜和微透镜的瞳孔函数，输出物空间任一点点扩散函数h(x,y,x0,y0)的过程分为两部分：主透镜成像部分和微透镜阵列成像部分。1)主透镜成像部分：距主透镜平面d1的物点(x0,y0)经过焦距为f1的主透镜后，其在距离主透镜平面d2处的主透镜成像平面(x1,y1)上的像即为主透镜成像部分的点扩散函数h1(x1,y1,x0,y0)：其中λ为光线波长，k为波数，(xmain,ymain)为主透镜所在平面，tmain(xmain,ymain)为主透镜相位矫正系数，其表达式如下：其中P1(xmain,ymain)为主透镜孔径函数，对于直径为D1的主透镜，其P1(xmain,ymain)为：2)微透镜成像部分：主透镜成像平面上任一点(x1,y1)的光线，经过由M×N个焦距为f2的微透镜阵列后，其传感器平面上的成像结果为微透镜成像部分的点扩散函数h2(x1,y1,x0,y0)：其中d3.1和d3.2分别为主透镜成像平面(x1,y1)与微透镜平面(xmicro,ymicro)，微透镜平面(xmicro,ymicro)与传感器平面(x,y)之间的距离，tmicro(xmicro,ymicro)为单个微透镜相位矫正函数：其中P2(xmicro,ymicro)为单个微透镜孔径函数，对于直径为的D2的微透镜其P2(xmicro,ymicro)为:3)光线经过主透镜后其在主透镜成像平面上的像可作为微透镜成像的物体，合并主透镜成像部分点扩散函数h1(x1,y1,x0,y0)和微透镜成像部点扩散函数h2(x1,y1,x0,y0)，即可得光场相机物空间任一点的点扩散函数h(x,y,x0,y0)：A2：离散化光场相机点扩散函数，并将光场相机成像重构为矩阵表达的线性系统Im(x,y)＝HPSF(x,y,x0,y0)Im0(x0,y0)，输出光场相机单深度物体光场恢复模型；基于光场点扩散函数h(x,y,x0,y0)，传感器上的光场强度I(x,y)与物体光强的I(x0,y0)的关系如下：I(x,y)＝∫∫I(x0,y0)|h(x,y,x0,y0)|2dx0dy0上式进行离散化，并且重新排布，得到矩阵形式下的单深度物体的线性成像模型：Im(x,y)＝HPSF(x,y,x0,y0)Im0(x0,y0)其中Im0(x0,y0)为将(P2,Q2)的单深度物体重排为(P2×Q2,1)的列向量，Im(x,y)为将(P1,Q1)的传感器像素重排为(P1×Q1,1)的列向量，HPSF(x,y,x0,y0)为系统矩阵，其第p列对应到物体向量Im0(x0,y0)的第p个元素代表的物体位置(xp,yp)的点扩散函数重排成的列向量，细节表达式为：基于线性的光场相机成像模型，光场相机单深度物体光场恢复模型如下：其中τ为正则项系数，Im为传感器图像，Im0为恢复的单深度物体，HPSF为系统矩阵。A3：提取物体在M×N个微透镜下的成像结果Imj,j∈[1,M×N]，输入单深度物体光场恢复模型中，输出每个微透镜下的成像结果Imj在多个连续深度层d11～d1n下的单深度光场恢复结果其中本文档来自技高网...

【技术保护点】
1.一种基于手持式光场相机的空间光场恢复方法，其特征在于，包括以下步骤：A1：输入光场相机参数，包括主透镜的焦距和光瞳直径、微透镜的焦距和光瞳直径、以及主透镜平面与主透镜成像平面的距离、主透镜成像平面与微透镜平面间的距离、微透镜平面与传感器间的距离，输出物体空间上任一点的点扩散函数；A2：离散化步骤A1得到的点扩散函数，并将光场相机成像重构为矩阵表达的线性系统，输出光场相机单深度物体光场恢复模型；A3：提取物体在M×N个微透镜下的成像结果Im

【技术特征摘要】
1.一种基于手持式光场相机的空间光场恢复方法，其特征在于，包括以下步骤：A1：输入光场相机参数，包括主透镜的焦距和光瞳直径、微透镜的焦距和光瞳直径、以及主透镜平面与主透镜成像平面的距离、主透镜成像平面与微透镜平面间的距离、微透镜平面与传感器间的距离，输出物体空间上任一点的点扩散函数；A2：离散化步骤A1得到的点扩散函数，并将光场相机成像重构为矩阵表达的线性系统，输出光场相机单深度物体光场恢复模型；A3：提取物体在M×N个微透镜下的成像结果Imj,j∈[1,M×N]，输入到步骤A2得到的单深度物体光场恢复模型中，输出每个微透镜下的成像结果Imj在多个深度d11～d1n下的单深度光场恢复结果A4：计算步骤A3得到的单深度光场恢复结果在不同深度d11～d1n下恢复效果的相似度提取相似度最高处所对应的深度d1r为物体所在深度，然后再提取该深度d1r下微透镜恢复的物体信息输出物体空间光场。2.根据权利要求1所述的空间光场恢复方法，其特征在于，步骤A1中输出物体空间上任一点的点扩散函数包括：首先分别输出主透镜成像部分的第一点扩散函数和微透镜阵列成像部分的第二点扩散函数，然后将主透镜成像部分的第一点扩散函数和微透镜阵列成像部分的第二点扩散函数合并得到物体空间上任一点的点扩散函数。3.根据权利要求2所述的空间光场恢复方法，其特征在于，其中：1)输出主透镜成像部分的第一点扩散函数包括：距主透镜平面d1的物点(x0,y0)经过焦距为f1的主透镜后，该物点(x0,y0)在距离主透镜平面d2处的主透镜成像平面(x1,y1)上的像为主透镜成像部分的第一点扩散函数h1(x1,y1,x0,y0)：其中λ为光线波长，k为波数，(xmain,ymain)为主透镜所在平面，tmain(xmain,ymain)为主透镜相位矫正系数，表达式如下：其中P1(xmain,ymain)为主透镜孔径函数，对于直径为D1的主透镜，P1(xmain,ymain)为：2)输出微透镜阵列成像部分的第二点扩散函数包括：主透镜成像平面上任一点(x1,y1)的光线，经过由M×N个焦距为f2的微透镜阵列后，在传感器平面上的成像结果为微透镜成像部分的第二点扩散函数h2(x1,y1,x0,y0)：其中d3.1为主透镜成像平面(x1,y1)与微透镜平面(xmicro,ymicro)，d3.2为微透镜平面(xmicro,ymicro)与传感器平面(x,y)之间的距离，tmicro(xmicro,ymicro)为单个微透镜相位矫正函数，表达式为：其中P2(xmicro,ymicro)为单个微透镜孔径函数，对于直径为D2的微透镜P2(x...

【专利技术属性】
技术研发人员：金欣，刘莉，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44