面向散射场景的光场编码摄像方法及装置制造方法及图纸

本申请涉及计算机视觉与数字图像处理技术领域，特别涉及一种面向散射场景的光场编码摄像方法及装置，其中，方法包括：获取散射光场数据，并从散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈；将重聚焦焦栈中的图像转化到饱和度域，得到处理后的焦栈；在处理后的焦栈中，逐区域比较不同偏移像素聚焦时的边界锐利程度，并利用1范数算子提取各区域边界最锐利时对应的偏移像素；基于光场数据参数，将偏移像素转换为目标物的深度图像。本申请实施例可以实现散射场景下的深度重建，得到目标物的深度图像，将光场深度重建的有效性拓展至散射场景，有效保证准确性和适用性。有效保证准确性和适用性。有效保证准确性和适用性。

【技术实现步骤摘要】
面向散射场景的光场编码摄像方法及装置


[0001]本申请涉及计算机视觉与数字图像处理
，特别涉及一种面向散射场景的光场编码摄像方法及装置。

技术介绍

[0002]相关技术中，光场深度图像重建技术可以从多视角的光场数据中，根据目标物的纹理特征，实现无先验的目标物深度图重建。该技术一般应用在光场极线图或重聚焦焦栈上，在自动驾驶、VR展示、三维重建等方面具有广泛的应用前景，这其中光场数据的采集方式有微透镜阵列式相机和相机阵列两种。
[0003]然而，在面向散射场景(如雾、浑浊的水)时，目标物的纹理特征信息会因为介质对光线吸收及散射的作用而难以识别，这也导致光场深度图像重建技术无法有效应用在到散射场景中，大大限制了其应用前景。
[0004]申请内容
[0005]本申请提供一种面向散射场景的光场编码摄像方法及装置，以解决相关技术中光场深度图像重建技术无法有效应用在到散射场景中，限制了光场深度图像重建技术的应用前景的问题。
[0006]本申请第一方面实施例提供一种面向散射场景的光场编码摄像方法，包括以下步骤：获取散射光场数据，并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈；将所述重聚焦焦栈中的图像转化到饱和度域，得到处理后的焦栈；在所述处理后的焦栈中，逐区域比较不同偏移像素聚焦时的边界锐利程度，并利用1范数算子提取各区域边界最锐利时对应的偏移像素；基于光场数据参数，将所述偏移像素转换为目标物的深度图像。
[0007]可选地，在本申请的一个实施例中，所述从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈，包括：用I
kl
(x,y)表示被动光照下的第k行第l列散射子视角彩色图像，其中x和y分别表示图像的像素维度，k和l分别沿着x和y的方向，且将散射干扰定义为如下模型：
[0008]I
kl
(x,y)＝J
kl
(x,y)t(x,y)+A(x,y)[1
‑
t(x,y)]，
[0009]其中，J
kl
(x,y)表示未经过散射的目标物原始图像，t(x,y)表示范围在0
‑
1的透射率图，以描述散射对图像造成的干扰，并进一步表示为t(x,y)＝e
‑
βz(x,y)
，其中，β为散射系数，z(x,y)表示目标物的深度图，A(x,y)表示被动式环境光照。
[0010]可选地，在本申请的一个实施例中，所述从重聚焦焦栈I(x,y,α)的获取公式为：
[0011][0012]其中，K和L表示子视角总数，k
center
表示中心视角对应的行数，l
center
表示中心视角
对应的列数，O(x,y)表示子视角交叠的次数，α表示视角间的偏移像素，在不同的α下，得到不同聚焦结果。
[0013]可选地，在本申请的一个实施例中，所述偏移像素α与目标物深度图间的对应关系如下：
[0014][0015]其中，f表示相机的焦距，c表示相机传感器的像素尺寸，p表示相邻子视角图像间的基线距离。
[0016]可选地，在本申请的一个实施例中，所述各区域边界最锐利时对应的偏移像素的获取公式为：
[0017][0018]其中，W
s
表示以(x,y)为中心的块区域，|W
s
|表示对应块区域内的像素点总数；表示W
s
区域内，在偏移像素为α时的饱和度均值。
[0019]可选地，在本申请的一个实施例中，所述深度图的计算公式为：
[0020][0021]其中，z(x,y)表示所述目标物深度图。
[0022]可选地，在本申请的一个实施例中，其中，所述将所述偏移像素转换为目标物的深度图像，进一步包括：
[0023]若所述1范数算子作用在目标物的平滑区域或边界区域，则利用曲线d
x,y
(α)下峰值显著度作为鉴别的阈值，并将在目标物边界区域计算出的深度作为有效深度，以将所述目标物平滑区域计算出的深度作为无效深度，以及利用临近一致等原则，将所述目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度，其曲线计算公式为：
[0024][0025]其中，峰值显著度定义为曲线d
x,y
(α)的第一峰值与第二峰值的比值。
[0026]本申请第二方面实施例提供一种面向散射场景的光场编码摄像装置，包括：获取模块，用于获取散射光场数据，并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈；转换模块，用于将所述重聚焦焦栈中的图像转化到饱和度域，得到处理后的焦栈；提取模块，用于在所述处理后的焦栈中，逐区域比较不同偏移像素聚焦时的边界锐利程度，并利用1范数算子提取各区域边界最锐利时对应的偏移像素；成像模块，用于基于光场数据参数，将所述偏移像素转换为目标物的深度图像。
[0027]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存
储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的面向散射场景的光场编码摄像方法。
[0028]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的面向散射场景的光场编码摄像方法。
[0029]本申请实施例以散射场景下的光场数据为输入，通过饱和度域下的1范数算子识别重聚焦焦栈中各块区域边界信息最锐利时对应的偏移像素值，并根据光场参数转换为目标物深度图，实现散射下目标物深度图重建，将光场深度图像重建的有效性拓展至散射场景，有效保证其准确性和适用性。由此，解决了相关技术中光场深度图像重建技术无法有效应用在到散射场景中，限制了光场深度图像重建技术的应用前景的问题。
[0030]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0031]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0032]图1为根据本申请实施例提供的一种面向散射场景的光场编码摄像方法的流程图；
[0033]图2为根据本申请实施例的面向散射场景的光场编码摄像装置的示例图；
[0034]图3为根据本申请实施例的电子设备的结构示意图。
具体实施方式
[0035]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0036]下面参考附图描述本申请实施例的面向散射场景的光场编码摄像方法及装置。针对上述
技术介绍
中心提到的相关技术中光场深度图像重建技术无法有效应用在到散射场景中，限制了光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向散射场景的光场编码摄像方法，其特征在于，包括以下步骤：获取散射光场数据，并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈；将所述重聚焦焦栈中的图像转化到饱和度域，得到处理后的焦栈；在所述处理后的焦栈中，逐区域比较不同偏移像素聚焦时的边界锐利程度，并利用1范数算子提取各区域边界最锐利时对应的偏移像素；以及基于光场数据参数，将所述偏移像素转换为目标物的深度图像。2.根据权利要求1所述的方法，其特征在于，所述从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈，包括：用I
kl
(x,y)表示被动光照下的第k行第l列散射子视角彩色图像，其中x和y分别表示图像的像素维度，k和l分别沿着x和y的方向，且将散射干扰定义为如下模型：I
kl
(x,y)＝J
kl
(x,y)t(x,y)+A(x,y)[1
‑
t(x,y)]，其中，J
kl
(x,y)表示未经过散射的目标物原始图像，t(x,y)表示范围在0
‑
1的透射率图，以描述散射对图像造成的干扰，并进一步表示为t(x,y)＝e
‑
βz(x,y)
，其中，β为散射系数，z(x,y)表示目标物的深度图，A(x,y)表示被动式环境光照。3.根据权利要求2所述的方法，其特征在于，所述从重聚焦焦栈I(x,y,α)的获取公式为：其中，K和L表示子视角总数，k
center
表示中心视角对应的行数，l
center
表示中心视角对应的列数，O(x,y)表示子视角交叠的次数，α表示视角间的偏移像素，在不同的α下，得到不同聚焦结果。4.根据权利要求3所述的方法，其特征在于，所述偏移像素α与目标物深度图间的对应关系如下：其中，f表示相机的焦距，c表示相机传感器的像素尺寸，p表示相邻子视角图像间的基线距离。5.根据权利要求3或4所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：季向阳，王枭宇，张亿，连晓聪，金欣，
申请(专利权)人：清华大学，
类型：发明
国别省市：