一种基于深度卷积神经网络的光场图像深度估计方法技术

本发明专利技术公开了一种基于深度卷积神经网络的光场图像深度估计方法，由场景的4D光场数据提取中心子孔径图像；由4D光场数据计算生成水平EPI合成图像和垂直EPI合成图像；设计以中心子孔径图像、水平EPI合成图像和垂直EPI合成图像为输入，视差图为输出的深度卷积神经网络；以平均绝对误差为损失函数，训练所涉及的深度卷积神经网络；利用训练成功的深度卷积神经网络，接收由给定场景4D光场数据生成的中心子孔径图像、水平EPI合成图像、垂直EPI合成图像，计算得到场景的视差图。本发明专利技术所设计的深度卷积神经网络采用了多流输入、跳层连接体系结构，有利于多源输入信息、浅层深层特征信息融合，提高了深度估计的鲁棒性。

【技术实现步骤摘要】
一种基于深度卷积神经网络的光场图像深度估计方法
本专利技术属于计算机视觉与人工智能
，具体涉及是一种基于深度卷积神经网络的光场图像深度估计方法。
技术介绍
A.Gershun等人在20世纪上半叶已经提出了光场概念，用以描述光在三维空间中的辐射特性，然而，光场成像技术相对滞后于理论概念的发展。陆续出现了相机阵列、相机位移架、编码光圈、微透镜阵列等光场成像设备，其中，微透镜光场相机已经进入消费类电子领域，具有较大工业应用和学术研究价值。深度估计即确定场景中物点与成像系统之间的距离，是计算机视觉中的基本问题之一，广泛应用于三维重建、视觉导航、工业检测等领域。光场成像因其复杂的成像几何和丰富的图像数据，为解决深度估计问题提供了崭新途径。前期，一些学者根据光场成像几何关系，建立图像中深度信息的特征描述，进而估计场景深度。随着深度学习技术的兴起，不少学者利用深度学习技术提取特征并估计深度。有的研究虽基于光场的多视角信息，但未考虑极线几何；有的直接运用了极线图块的局部纹理特性，但未考虑场景全局分布。现有研究公开的方法运用了极线几何约束下EPI图像特性，但较少直接运用EPI图像纹理特性或仅仅运用了局部纹理特性，由此设计的深度神经网络在光场图像深度估计方面的性能有待提高，尤其深度估计精度、遮挡边沿细节处理方面仍可进一步提高，这些指标在三维重建等应用中起到关键作用。为此，设计深度估计精度高、边缘处理清晰、计算时间少的光场深度估计方法具有应用意义。当前，基于深度学习的光场深度估计方法多采用卷积神经网络作为特征提取的工具，在网络体系结构、数据增强等当面提出创新方法，但仍存在对EPI纹理结构利用不充分，特征提取能力受限，对遮挡和噪声处理能力不足的现象。为此，本专利技术设计了以富纹理拼接EPI图像和光场中心子孔径图像为输入，融合多流和短接体系结构为一体的轻量级深度卷积神经网络；运用该网络进行深度估计，具有准确度高、边界处理清晰、计算速度快等优点。
技术实现思路
专利技术目的：本专利技术提供一种基于深度卷积神经网络的光场图像深度估计方法，能够在适当的计算平台上实时地由光场数据计算得到高准确度的深度估计结果。技术方案：本专利技术所述的一种基于深度卷积神经网络的光场图像深度估计方法，具体包括以下步骤：(1)从4D光场数据中提取中心子孔径图像其中(iC,jC)表示中心子孔径图像的视角坐标；(2)由4D光场数据分别计算生成水平EPI合成图像和垂直EPI合成图像(3)构建深度卷积神经网络的网络模型DCNET，接收三个输入流，输出与中心子孔径图像同分辨率的视差图D；(4)以MAE为损失函数，训练步骤(3)所述的DCNET，得到网络最优参数集P；(5)对场景的4D光场数据执行第(1)步和第(2)步的处理后，输入至步骤(4)训练好的网络，计算输出该场景的视差图。进一步地，步骤(1)所述的提取中心子孔径图像是抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即进一步地，所述步骤(2)包括以下步骤：(21)对于中心子孔径图像中的每一行，k*为行序号，计算其对应的EPI图像由4D光场数据生成中心子孔径图像中第k*行像素对应的EPI图像的过程可以看作一个映射：即固定4D光场中的i和k两个维度，变化另外两个维度所得到的二维切片图像，令i＝i*＝iC，k＝k*；(22)将EPI图像集合，按照行号从上到下依次拼接起来，得到水平EPI合成图像假设4D光场在i、j、k、l四个维度上的大小分别为Ni、Nj、Nk、Nl，则中心子孔径图像中第k*行像素对应的EPI图像的大小为(Nj×Nl)；为预留(Nj×Nk)行、Nl列的存储空间，设置初值为0；对于步骤(21)所得的EPI图像集合中的每一幅图像根据行号将逐像素赋给表示中的第(k*-1)×Nj行至第k*×Nj行，第0列至第(Nj-1)列的一块区域；(23)对于中心子孔径图像中的每一列，l*为列序号，计算其对应的EPI图像由4D光场数据生成中心子孔径图像中第l*列像素对应的EPI图像的过程可以看作一个映射：即固定4D光场中的j和l两个维度，变化另外两个维度所得到的二维切片图像，令j＝j*＝jC，l＝l*；(24)将步骤(23)所得的EPI图像集合，按照列号从左到右依次拼接起来，得到垂直EPI合成图像假设4D光场在i、j、k、l四个维度上的大小分别为Ni、Nj、Nk、Nl，则中心子孔径图像中第l*列像素对应的EPI图像的大小为(Nk×Ni)；为预留(Nk)行、(Nl×Ni)列的存储空间，设置初值为0；对于步骤(23)所得的EPI图像集合中的每一幅图像根据行号将逐像素赋给表示中的第0行至第(Nk-1)行，第(l*-1)×Nj列至第l*×Nj列的一块区域。进一步地，步骤(3)所述的深度卷积神经网络的网络模型DCNET，包括多流输入、编码、解码、跳层连接、视差图输出模块；所述编码模块用于提取输入图像的特征，由A类单元和B类单元构成，A类单元的基本结构是“卷积层+ReLU激活层+卷积层+规范层+ReLU激活层+池化层”，B类单元的基本结构是“卷积层+ReLU激活层+卷积层+ReLU激活层+卷积层+规范层+ReLU激活层+池化层”；所述编码模块的单元序列分为两个阶段：三个流单独编码阶段和综合编码阶段，其中，EPIh流和EPIv流的单独编码阶段包含4个A类单元，而CV流的单独编码阶段包含3个A类单元；随后，将三个流的编码结果级联起来，进行综合编码，综合编码阶段包含3个B类单元；所述解码模块用于逐步恢复高分辨率输出，由6个C类基本单元构成，C类单元的基本结构是“反卷积层+卷积层+ReLU激活层+卷积层+ReLU激活层+卷积层+规范层+ReLU激活层”；所述跳层连接有CC1、CC2、CC3三个连接，CC1将EPIh流的第1个A类单元输出特征图、中心子孔径图像、EPIv流的第1个A类单元输出特征图级联到解码模块的第6个C类单元的反卷积层之后，CC2将EPIh流的第2个A类单元输出特征图、CV流的第1个A类单元输出特征图、EPIv流的第2个A类单元输出特征图级联到解码模块的第5个C类单元的反卷积层之后，CC3将EPIh流的第3个A类单元输出特征图、CV流的第2个A类单元输出特征图、EPIv流的第3个A类单元输出特征图级联到解码模块的第4个C类单元的反卷积层之后；所述输出模块将多通道特征图回归于单通道视差图，由1×1卷积层实现与中心子孔径图像等分辨率的视差图输出。进一步地，所述步骤(4)包括以下步骤：(41)MAE损失函数是指平均绝对误差损失，其计算方法是：其中，表示视差预测值，yi表示视差真值，n表示损失计算时样本点总数；(42)设置DCNET网络的超参数：初始化卷积神经网络学习率learning_rate为0.1×10-4，优化器使用RMSProp算法，损失函数使用平均绝对误差MAE，设置训练批次大小16，迭代次数为200000；(43)获取包含场景光场数据和场景视差真值的光场数据集，并将本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的光场图像深度估计方法，其特征在于，包括以下步骤：/n(1)从4D光场数据中提取中心子孔径图像

【技术特征摘要】
1.一种基于深度卷积神经网络的光场图像深度估计方法，其特征在于，包括以下步骤：
(1)从4D光场数据中提取中心子孔径图像其中(iC，jC)表示中心子孔径图像的视角坐标；
(2)由4D光场数据分别计算生成水平EPI合成图像和垂直EPI合成图像
(3)构建深度卷积神经网络的网络模型DCNET，接收三个输入流，输出与中心子孔径图像同分辨率的视差图D；
(4)以MAE为损失函数，训练步骤(3)所述的DCNET，得到网络最优参数集P；
(5)对场景的4D光场数据执行第(1)步和第(2)步的处理后，输入至步骤(4)训练好的网络，计算输出该场景的视差图。


2.根据权利要求1所述的基于深度卷积神经网络的光场图像深度估计方法，其特征在于，步骤(1)所述的提取中心子孔径图像是抽取每个微透镜图像的中心像素，按微透镜位置索引排列得到二维图像，即(k，l)→L(iC，jC，k，l)。


3.根据权利要求1所述的基于深度卷积神经网络的光场图像深度估计方法，其特征在于，所述步骤(2)包括以下步骤：
(21)对于中心子孔径图像中的每一行，k*为行序号，计算其对应的EPI图像由4D光场数据生成中心子孔径图像中第k*行像素对应的EPI图像的过程可以看作一个映射：(j，l)→L(iC，j，k*，l)，即固定4D光场中的i和k两个维度，变化另外两个维度所得到的二维切片图像，令i＝i*＝iC，k＝k*；
(22)将EPI图像集合，按照行号从上到下依次拼接起来，得到水平EPI合成图像假设4D光场在i、j、k、l四个维度上的大小分别为Ni、Nj、Nk、Nl，则中心子孔径图像中第k*行像素对应的EPI图像的大小为(Nj×Nl)；为预留(Nj×Nk)行、Nl列的存储空间，设置初值为0；对于步骤(21)所得的EPI图像集合中的每一幅图像根据行号将逐像素赋给表示中的第(k*-1)×Nj行至第k*×Nj行，第0列至第(Nj-1)列的一块区域；
(23)对于中心子孔径图像中的每一列，l*为列序号，计算其对应的EPI图像由4D光场数据生成中心子孔径图像中第l*列像素对应的EPI图像的过程可以看作一个映射：(i，k)→L(i，jC，k，l*)，即固定4D光场中的j和l两个维度，变化另外两个维度所得到的二维切片图像，令j＝j*＝jC，l＝l*；
(24)将步骤(23)所得的EPI图像集合，按照列号从左到右依次拼接起来，得到垂直EPI合成图像假设4D光场在i、j、k、l四个维度上的大小分别为Ni、Nj、Nk、Nl，则中心子孔径图像中第l*列像素对应的EPI图像的大小为(Nk×Ni)；为预留(Nk)行、(Nl×Ni)列的存储空间，设置初值为0；对于步骤(23)所得的EPI图像集合中的每一幅图像根据行号将逐像素赋给表示中的第0行至第(Nk-1)行，第(l*-1)×Nj列至第l*×Nj列的一块区域。

【专利技术属性】
技术研发人员：韩磊，尤尼·马库拉，黄晓华，施展，吴晓彬，夏明亮，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32