基于深度学习的光场图像雪花或雨带检测去除方法及设备技术

本发明专利技术公开一种基于深度学习的光场图像雪花或雨带检测与去除方法及系统，方法包括：利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；采用3D U型网络，将检测出的雪花或雨带去除，得到第二光场图像；获取第二光场图像与第三光场图像，通过判断第二光场图像与第三光场图像的真伪来优化判别器及目标函数；通过峰值信噪比和结构相似性指标评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；本方案，直接检测雪花或雨带数据，利用光场图像具有丰富的三维结构信息的特点检测并去除雪花或雨带，自动迭代更新神经网络模型的中间隐含参数，雪花或雨带去除效果好。

【技术实现步骤摘要】
基于深度学习的光场图像雪花或雨带检测去除方法及设备
本专利技术涉及计算机图像处理
，尤其涉及一种基于深度学习的光场图像雪花或雨带检测去除方法及设备。
技术介绍
随着计算机科学领域在高精尖技术支持下取得巨大发展，计算机视觉领域的研究也获得了巨大的进步。在计算机视觉领域，光场成像技术应用非常广泛。相比于传统相机，光场相机通过单次曝光即可获取场景的四维信息，包括两维空间信息和两维角度信息,因而在图像重建过程中，能够获得更加丰富的图像信息，此外，还能通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题；通过合成孔径技术实现“透视”监视；在与显微技术融合后，还能得到多视角大景深显微图像，以及重建后的三维立体图。随着对光场技术的深入研究，光场图像处理渐渐被国内外的专家学者所关注，被自动驾驶为代表的工业界用来作为三维场景感知的重要技术手段。光场图像处理的研究重点为深度估计、超分辨率及图像修复等方面。在计算机视觉领域，由于光照、遮挡以及雪花或雨带自身形状和颜色的复杂性，单幅图上的雪花或雨带去除算法只能依据图像中的颜色和形状信息来对雪花或雨带进行检测并去除，有很大的局限性，雪花或雨带去除效果较差。综上所述，现有技术方案中缺少一种雪花或雨带去除效果较好的雪花或雨带去除方案。
技术实现思路
本专利技术实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除方法及系统，以解决现有技术中缺少一种雪花或雨带去除效果较好的雪花或雨带去除方案的技术问题。第一方面，根据本申请实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除方法，包括：步骤S11、检测器利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；步骤S13、生成器采用3DU型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；步骤S15、判别器获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数；步骤S17、通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；其中，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像，也称作第二光场图像的真值。在一个实施例中，在所述步骤S11之前，还包括：采集第一光场图像及第三光场图像。在一个实施例中，所述利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸，包括：利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜。在一个实施例中，所述利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜，包括：根据3D残差网络设定残差块；设定第一、第二卷积层参数，每个残差块分别使用第一卷积层及第二卷积层；其中，在使用第一卷积层及第二卷积层之后，添加标准化操作和长短时记忆网络，得到第一光场图像的雪花或雨带数据的掩膜。在一个实施例中，所述采用3DU型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像，包括：根据所述掩膜，利用3DU型网络去除第一光场图像中的雪花或雨带，得到第二光场图像。在一个实施例中，所述利用3DU型网络去除第一光场图像中的雪花或雨带，得到第二光场图像，包括：根据位置关系，将3DU型网络分为编码器网络与解码器网络；分别采用编码器网络及解码器网络对雪花或雨带数据进行编码及解码；采用池化层下采样，设定输出函数，得到第二光场图像。在一个实施例中，所述判别器的目标函数为：其中，VT是虚拟场景的3D无雪EPI体积块真值，为添加了雪花或雨带数据分布掩膜的3DEPI体积块，D代表判别器，G代表生成器。第二方面，根据本专利技术实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除系统，包括：检测模块，用于利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；去除模块，用于生成器采用3DU型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；判别模块，用于获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数；评估模块，通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；其中，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像。第三方面，根据本专利技术实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除设备，包括：检测器，利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；生成器，采用3DU型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；判别器，获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数；评估器，通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，则控制检测器、生成器、判别器再次工作，直至评估结果满足要求；其中，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像。第四方面，根据本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。本申请实施例提供的一种基于深度学习的光场图像雪花或雨带检测与去除方法及系统，直接检测第一光场图像的雪花或雨带数据，利用光场图像具有丰富的三维结构信息的特点检测并去除雪花或雨带数据，雪花或雨带数据去除效果比较好；本方案采用深度学习自学习的方法去除雪花或雨带数据，无需估算中间参数，便可直接采用基于深度学习的光场图像雪花或雨带检测并去除系统实现端到端的雪花或雨带数据去除，具有较好的雪花或雨带去除效果；同时，检测器及生成器中，每个卷积层后面加批标准化操作和长短时记忆网络，批标准化层用于使模型正则化，加快模型的训练，避免梯度消失；使用长短时记忆网络来加强相邻视点之间的关系，通过相邻视点的信息更好地处理被遮挡的雪花或雨带区域，能恢复背景更复杂的纹理信息。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术的一个实施例提供的一种基于深度学习的光场图像雪花或雨带检测与去除方法的流程图；图2是本专利技术一个实施例提供的另外一种基于深度学习的光场图像雪花或雨带检测与去除方法的流程图；图3为本专利技术一个实施例中再一种基于深度学习的光场图像雪花或雨带检测与去除方法的流程图；图4是本专利技术一个实施例提供的一种基于深度学习的光场图像雪花或雨带检测与去除系统的结构示意图；图5是实现本专利技术一个本文档来自技高网...

【技术保护点】
1.一种基于深度学习的光场图像雪花或雨带检测与去除方法，其特征在于，包括：/n步骤S11、检测器利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；/n步骤S13、生成器采用3D U型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；/n步骤S15、判别器获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数；/n步骤S17、通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；/n其中，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像。/n

【技术特征摘要】
1.一种基于深度学习的光场图像雪花或雨带检测与去除方法，其特征在于，包括：
步骤S11、检测器利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；
步骤S13、生成器采用3DU型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；
步骤S15、判别器获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数；
步骤S17、通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；
其中，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像。


2.根据权利要求1所述的方法，其特征在于，在所述步骤S11之前，还包括：
采集第一光场图像及第三光场图像。


3.根据权利要求1所述的方法，其特征在于，所述利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸，包括：
利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜。


4.根据权利要求3所述的方法，其特征在于，所述利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜，包括：
根据3D残差网络设定残差块；
设定第一、第二卷积层参数，每个残差块分别使用第一卷积层及第二卷积层；
其中，在使用第一卷积层及第二卷积层之后，添加标准化操作和长短时记忆网络，得到第一光场图像的雪花或雨带数据的掩膜。


5.根据权利要求4所述的方法，其特征在于，所述采用3DU型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像，包括：
根据所述掩膜，利用3DU型网络去除第一光场图像中的雪花或雨带，得到第二光场图像。


6.根据权利要求5所述的方法，其特征在于，所述利用3DU型网络去除第一光场图像中的雪花或雨带，得到第二光场图像，包括：
根据位置关系，将3DU型网络分为编码器网络与解码器网络；
分别采用编码器网络及解码...

【专利技术属性】
技术研发人员：晏涛，丁宇阳，李明悦，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32