一种基于深度学习的光场图像深度估计方法技术

本发明专利技术公开了一种基于深度学习的光场图像深度估计方法，包括如下步骤：根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；将子孔径图像输入训练好的神经网络，计算得到估计的深度图；对估计的深度图进行滤波优化，得到最终估计的深度图。本发明专利技术在神经网络的基础上结合了极平面图像分析和图像分割的方法，同时利用了深度特征和图像的边缘信息，改善了对实际光场图像进行深度估计过程中存在的误匹配问题，能够对合成和实际光场图像进行快速准确的深度估计。

【技术实现步骤摘要】
一种基于深度学习的光场图像深度估计方法
本专利技术涉及计算机视觉以及数字图像处理
，尤其涉及一种基于深度学习的光场图像深度估计方法。
技术介绍
近年来，随着光场计算成像技术的发展，光场相机作为一种光场获取设备进入了市场。在传统相机模型的基础上，光场相机在主透镜与传感器之间插入了一个微透镜阵列，这种特殊的结构能够使光场相机在一次曝光中同时记录到达成像面所有光线的位置信息和角度信息，在后续处理中能够实现深度估计、场景重聚焦等应用。目前，一些基于光场的深度估计方法被提出，并取得了较好的效果，这些方法主要包括三种类型：基于子孔径图像匹配的方法、基于极平面图像的方法和基于深度学习的方法。如公开号为CN108596965A提供的一种光场图像深度估计方法，利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差。但由于光场数据庞大的计算量，这类本文档来自技高网...

【技术保护点】
1.一种基于深度学习的光场图像深度估计方法，其特征在于，包括以下步骤：/n(1)根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；/n(2)将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图；/n所述的神经网络包括：/n极平面图像部分，用于从子孔径图像中提取初始估计的深度图；/n图像分割部分，用于从子孔径图像中提取出图像的边缘信息；/n级联部分，用于根据初始估计的深度图和边缘信息，进行卷积得到二次估计的深度图；/n(3)对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深度图。/n

【技术特征摘要】
1.一种基于深度学习的光场图像深度估计方法，其特征在于，包括以下步骤：
(1)根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；
(2)将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图；
所述的神经网络包括：
极平面图像部分，用于从子孔径图像中提取初始估计的深度图；
图像分割部分，用于从子孔径图像中提取出图像的边缘信息；
级联部分，用于根据初始估计的深度图和边缘信息，进行卷积得到二次估计的深度图；
(3)对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深度图。


2.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，在步骤(1)中，通过处理相机拍摄的白图像以获取光场相机的参数信息；
将光场源文件解码，并经过滤波处理和颜色校正后得到所需要的子孔径图像阵列。


3.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，将子孔径图像的形状调整为正方形后输入所述的神经网络。


4.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，所述的极平面图像部分由多流网络和合并网络组成。


5.如权利要求4所述的基于深度学习的光场图像深度估计方法，其特征在于，所述多流网络的输入为中心的9×9子孔径图像，从中提取出0°、45°、90°和135°四个方向的极平面图像，并分别使用定义好的卷积模块进行卷积，提取出场景的深度特征。


6.如权利要求4所述的...

【专利技术属性】
技术研发人员：郑臻荣，王旭成，陶骁，陶陈凝，吴仍茂，孙鹏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33