一种基于光场序列特征分析的光场深度估计方法技术

本发明专利技术公开了一种基于光场序列特征分析的光场深度估计方法，从双平面表示的4D光场数据中提取中心子孔径图像，并计算生成EPI合成图像；设计以中心子孔径图像和EPI合成图像为输入，视差图为输出的LFRNN网络，网络包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的全局深度优化模块；分局部深度估计和全局优化两个阶段训练并评估LFRNN网络；测试与实用LFRNN网络，评价网络性能。本发明专利技术另辟蹊径地从序列数据的视角分析光场，设计了基于循环神经网络的深度特征提取子网络，显著提高了局部深度估计能力；对全局深度信息建模，设计的端到端优化网络，显著提升了深度估计准确度和鲁棒性。确度和鲁棒性。确度和鲁棒性。

【技术实现步骤摘要】
一种基于光场序列特征分析的光场深度估计方法


[0001]本专利技术属于计算机视觉与人工智能
，具体涉及一种基于光场序列特征分析的光场深度估计方法。

技术介绍

[0002]微透镜光场相机已经进入消费类电子领域，具有较大工业应用和学术研究价值。微透镜光场相机为解决深度估计问题提供了新途径。一方面，光场成像不仅能够记录光线位置，而且能够记录光线的方向，为深度估计提供了几何依据；另一方面，微透镜光场相机具有单目多视角图像采集能力，方便了视觉系统部署，为拓展深度估计应用奠定了物理基础。
[0003]基于微透镜光场相机的深度估计是近十年兴起的研究热点，大致分为传统深度估计和基于学习的深度估计两大类。传统深度估计方法主要基于结构算子提取特征，根据光场成像几何反演深度信息。例如：Tao等人运用方差和均值算子度量裁切EPI，融合散焦和对应两种深度线索，进而估计场景深度。Wanner等人利用2D结构张量估计EPI图像上的直线斜率，得到深度信息。Zhang等人引入平行四边形算子定位EPI图像上直线位置，进行深度估计。中国专利技术专利“一种基于光场的深度估计(ZL201510040975.1)”也利用结构张量作为初始深度估计的方法。基于结构算子的传统深度估计方法，可解释性强，但算子描述能力有限，深度估计的准确度存在提升瓶颈。
[0004]近年来，随着深度学习技术的兴起，基于学习的光场深度估计方法受到青睐。Heber等人首先提出了基于深度学习的光场深度估计方法，利用卷积神经网络提取EPI块的特征，进而回归得到对应深度值。Shin等人在多个方向EPI图像的输入流上进行卷积处理，融合得到深度值。Han等人提出生成EPI合成图像的方法，进而利用多流卷积和跃层融合估计场景深度。Tsai等人引入注意力机制选择更有效的子孔径图像，然后运用卷积提取特征，并得到场景深度。中国专利技术专利“一种基于混合型卷积神经网络的光场图像深度估计方法(ZL201711337965.X)”公开了光场图像深度估计方法，利用卷积网络神经网络提取水平方向EPI块和垂直方向EPI块的信息，然后进行回归融合，得到深度图。中国专利技术专利申请“一种基于多模态信息的光场深度估计方法(公布号：CN 112767466 A)”利用卷积和空洞卷积对焦点堆栈和中心视图进行分析处理，进而预测场景深度。
[0005]深度估计理论建模、光场数据提取方法、神经网络设计等影响着深度估计效果。目前，基于学习的方法已经成为光场深度估计方法的主流，取得了长足进步；但深度估计的准确度，以及在遮挡、噪声等方面的鲁棒性均有待提高，尤其是光场数据提取和神经网络数据处理等技术环节亟待革新突破。为此，本专利技术公开了一种基于向量序列分析的光场图像处理方法，并设计了局部深度估计和全局优化为一体的端到端深度估计网络，运用该网络进行光场深度估计，准确度显著提高，为三维重建、三维缺陷检测等应用提供了良好支撑。

技术实现思路

[0006]专利技术目的：本专利技术提供一种基于光场序列特征分析的光场深度估计方法，能够估计高准确度深度结果，支撑光场三维重建、缺陷检测等应用。
[0007]技术方案：本专利技术所述的一种基于光场序列特征分析的光场深度估计方法，具体包括以下步骤：
[0008](1)从4D光场数据中提取中心子孔径图像其中(i
C
,j
C
)表示中心子孔径图像的视角坐标；
[0009](2)由4D光场数据计算生成EPI合成图像I
SEPI
；
[0010](3)构建光场神经网络模型LFRNN，接收I
SEPI
、输入，输出与中心子孔径图像同分辨率的视差图D；所述光场神经网络模型LFRNN包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块；
[0011](4)训练步骤(3)构建的光场神经网络模型LFRNN，得到网络最优参数集P：将训练分为两个阶段进行，两个阶段均采用平均绝对误差作为损失函数；第一个阶段仅训练基于光场序列分析的局部深度估计模块，得到该模块的最优参数集P1；第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集P1，并训练整个网络，更新基于条件随机场模型的深度优化模块的参数，得到LFRNN网络的最优参数集P。
[0012]进一步地，所述步骤(1)实现过程如下：
[0013]4D光场数据是由光场相机所采集光场图像的解码表示，记为L:(i,j,k,l)
→
L(i,j,k,l)，其中，(i,j)表示微透镜图像的像素索引坐标或称视角坐标，(k,l)表示微透镜中心的索引坐标，i,j,k,l均为整数，L(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度；抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即其中(i
C
,j
C
)表示中心子孔径图像的视角坐标。
[0014]进一步地，所述步骤(2)实现过程如下：
[0015](21)根据输入4D光场的维度，初始化I
SEPI
为全0矩阵：
[0016]4D光场L:(i,j,k,l)
→
L(i,j,k,l)中，角度分辨率为N
Ai
×
N
Aj
，即i∈[0,N
Ai
)，j∈[0,N
Aj
)；空间分辨率为N
Sk
×
N
Sl
，即k∈[0,N
Sk
)，l∈[0,N
Sl
)；则I
SEPI
是(N
Sk
×
N
Aj
)
×
N
Sl
的二维矩阵，初始化为全0矩阵；
[0017](22)对于4D光场第三维k的每一行，行序号为k
*
，计算其对应的EPI图像并使用更新I
SEPI
的部分区域：
[0018]由4D光场数据计算生成第三维第k
*
行对应的EPI图像的过程看作一个映射：即固定4D光场中的第一和第三两个维度，变化另外两个维度所得到的二维切片图像，令i＝i
C
，k＝k*；
[0019]使用所得的更新I
SEPI
的部分区域，即这里，I
SEPI
((k*
‑
1)
×
N
Aj
:k*
×
N
Aj
,0:N
Sl
)表示I
SEPI
中第(k*
‑
1)
×
N
Aj
行至第k*
×
N
Aj
‑
1行，第0列至第N
Sl
‑
1列的一块区域；
[0020](23)对4D光场第三维的每一行进行步骤(22)的操作，计算生成EP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光场序列特征分析的光场深度估计方法，其特征在于，包括以下步骤：(1)从4D光场数据中提取中心子孔径图像其中(i
C
,j
C
)表示中心子孔径图像的视角坐标；(2)由4D光场数据计算生成EPI合成图像I
SEPI
；(3)构建光场神经网络模型LFRNN，接收I
SEPI
、输入，输出与中心子孔径图像同分辨率的视差图D；所述光场神经网络模型LFRNN包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块；(4)训练步骤(3)构建的光场神经网络模型LFRNN，得到网络最优参数集P：将训练分为两个阶段进行，两个阶段均采用平均绝对误差作为损失函数；第一个阶段仅训练基于光场序列分析的局部深度估计模块，得到该模块的最优参数集P1；第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集P1，并训练整个网络，更新基于条件随机场模型的深度优化模块的参数，得到LFRNN网络的最优参数集P。2.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，所述步骤(1)实现过程如下：4D光场数据是由光场相机所采集光场图像的解码表示，记为L:(i,j,k,l)
→
L(i,j,k,l)，其中，(i,j)表示微透镜图像的像素索引坐标或称视角坐标，(k,l)表示微透镜中心的索引坐标，i,j,k,l均为整数，L(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度；抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即其中(i
C
,j
C
)表示中心子孔径图像的视角坐标。3.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，所述步骤(2)实现过程如下：(21)根据输入4D光场的维度，初始化I
SEPI
为全0矩阵：4D光场L:(i,j,k,l)
→
L(i,j,k,l)中，角度分辨率为N
Ai
×
N
Aj
，即i∈[0,N
Ai
)，j∈[0,N
Aj
)；空间分辨率为N
Sk
×
N
Sl
，即k∈[0,N
Sk
)，l∈[0,N
Sl
)；则I
SEPI
是(N
Sk
×
N
Aj
)
×
N
Sl
的二维矩阵，初始化为全0矩阵；(22)对于4D光场第三维k的每一行，行序号为k
*
，计算其对应的EPI图像并使用更新I
SEPI
的部分区域：由4D光场数据计算生成第三维第k
*
行对应的EPI图像的过程看作一个映射：即固定4D光场中的第一和第三两个维度，变化另外两个维度所得到的二维切片图像，令i＝i
C
，k＝k*；使用所得的更新I
SEPI
的部分区域，即这里，I
SEPI
((k*
‑
1)
×
N
Aj
:k*
×
N
Aj
,0:N
Sl
)表示I
SEPI
中第(k*
‑
1)
×
N
Aj
行至第k*
×
N
Aj
‑
1行，第0列至第N
Sl
‑
1列的一块区域；(23)对4D光场第三维的每一行进行步骤(22)的操作，计算生成EPI合成图像I
SEPI
。4.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法，其特征在于，步骤(3)所述基于光场序列分析的局部深度估计模块实包括滑窗处理层、序列特征提取子网络、特征图变形层；
所述滑窗处理层负责在E...

【专利技术属性】
技术研发人员：韩磊，杨庆，焦良葆，路绳方，郑胜男，施展，俞翔，黄晓华，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：