一种基于光流融合的光场显著性检测方法技术

本发明专利技术公开了一种基于光流融合的光场显著性检测方法，属于图像处理领域。该方法利用光场数据集训练光场显著性检测系统，使用光场显著性检测系统在光场数据集多视图图像上进行显著性检测，计算中心视图特征，并将其余视图作为参考图像，计算光流并与中心视图特征融合，辅助显著性检测。该系统由光场特征提取模块、光流生成模块、光流融合模块和显著性检测模块组成。引入光场深度信息，同时去除了各个视图之间的冗余信息，有助于提高显著性检测精度，并减少计算量，能够有效处理不同尺度的显著性目标，做到更准确的检测。做到更准确的检测。做到更准确的检测。

【技术实现步骤摘要】
一种基于光流融合的光场显著性检测方法


[0001]本专利技术涉及一种基于光流融合的光场显著性检测方法，属于图像处理领域。

技术介绍

[0002]人类的视觉系统能够在复杂的自然场景中快速地找到刺激视觉的重要信息并进行定位，从而使人们注意到目标物体与周围环境的差异，这种对信息进行优先级排序的能力能够帮助人类准确快速地完成各种视觉任务。为了模仿人类视觉注意力，生理学、心理学和计算机视觉领域的研究人员长期以来一直在努力，提出了各种各样的计算模型。近年来，计算机视觉领域的学者专注于研究引起人类感知系统注意力的场景，这些场景中包含一个或多个显著目标。显著性检测已成为计算机视觉中的热门话题，又包含了许多富有挑战性的问题。显著性检测根据图像中的颜色、边缘、纹理等特征，提取图像中感兴趣的部分，获取目标区域或者作为进一步图像处理的基础，是计算机视觉中的一项重要研究方向，如今已经应用在诸多视觉领域中，例如，水利领域中在遥感图像中寻找水害灾情的变化；机械领域中寻找金属的缺陷，进行金相图分析识别；医疗领域中在CT图片中寻找病灶，对各种疾病进行诊断。
[0003]传统的显著性检测方法使用2D图像作为输入，通过计算图像的颜色、形状、方向以及纹理等特征或者利用神经网络学习更高级的图像特征来提取图像中的目标，然而在复杂场景下，2D显著性检测面临显著区域的颜色或纹理与背景相似、显著目标被部分遮挡难以提取完整目标等问题。基于2D图像的显著性检测方法由于2D图像丢弃深度信息，仅依赖于单张图像的特征造成了检测能力有限。为此，Lang等人在Computer Vision发表的论文《Depth Matters:Influence of Depth Cues on Visual Saliency》中提出利用含有深度信息的RGB
‑
D图像，结合深度特征来提高显著性检测的鲁棒性。然而，基于深度图的显著性检测算法严重依赖深度图的质量，当深度图质量较差时无法为显著性检测提供有效信息，导致无法精准检测显著目标。
[0004]为了避免2D图像缺乏深度信息的缺陷，能够记录完整光线信息的光场被用于显著性检测。由于光场图像包含空间信息和角度信息，与基于2D图像的传统方法相比，基于光场的显著性检测方法在图像中物体纹理与颜色都与背景相似的情况下能有效区分前景和背景。
[0005]专利技术专利CN109146925B提供了一种动态场景下显著性目标检测方法，动态场景下显著性目标检测是通过对运动视频中的目标进行运动变化状态分析进行的显著性检测过程。方法主要包括三个步骤：首先，在动态场景中进行运动目标检测，得到场景中所有的运动目标区域。然后，在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测。最后，结合注视点检测，对检测到的运动目标的显著程度进行估计，生成基于运动目标的动态显著图。解决了摄像机在运动情况下的显著性目标检测问题，能够满足机器视觉系统在动态场景中检测显著性目标的需求。
[0006]光场显著性检测能够从多个视角检测显著性，提供了有效的抗遮挡能力。光场显
著性检测通过计算光场在任意深度上的图像，能够在更大的景深中检测显著性。随着深度学习技术快速发展，基于深度学习的光场显著性检测方法利用图像特征编码或者卷积网络的强大特征学习能力获取显著性区域。然而，如何让深度学习算法充分利用光场中的深度信息和角度信息仍然是尚未解决的问题。

技术实现思路

[0007]本专利技术的目的是为了克服以上现有技术存在的不足，提供了一种基于光流融合的光场显著性检测方法，提高了显著性检测的准确性。
[0008]本专利技术的目的通过以下技术方案实现：
[0009]一种基于光流融合的光场显著性检测方法，使用光场显著性检测系统在光场数据集多视图图像上进行显著性检测，计算中心视图特征，并将其余视图作为参考图像，计算光流并与中心视图特征融合，辅助显著性检测。
[0010]光场显著性检测系统由光场特征提取模块、光流生成模块、光流融合模块和显著性检测模块组成。光场特征提取模块使用残差网络ResNet50从中心视图中提取特征。光流生成模块使用SPyNet网络计算参考图像到中心图像之间的光流，即参考视图中像素相对于中心视图的位置偏移。光流融合模块使用残差网络将光流转化为光流特征并与中心特征相连，并使用卷积网络融合。显著性检测模块首先利用空洞空间金字塔池化(ASPP)模块提取不同尺度上的光流融合特征，然后使用一个卷积层融合不同尺度上的特征并重建显著性图。
[0011]基于光流融合的光场显著性检测方法步骤包括：
[0012]步骤1：加载光场显著性检测数据集，将数据集分为训练集和测试集，进行图像预处理；
[0013]步骤2：构建光场显著性检测系统；
[0014]步骤3：使用训练集对光场显著性检测系统进行训练；
[0015]步骤4：使用已训练的显著性检测系统对测试集进行测试。
[0016]进一步的，光场特征提取模块将中心图像特征化，并下采样以减少之后的计算量。我们将多视图图像记作{I
(u,v)
|u,v∈[1,3]}，将I
(2,2)
作为中心视图记作I
s
，参考视图记作I
r(u,v)
。光场特征提取模块使用残差卷积网络ResNet50提取中心视图的特征图，记为f
s
。残差网络ResNet是Zhang在Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition上的论文《Deep Residual Learning for Image Recognition》中提出的神经网络结构。残差网络的优势在于：1)能够更好地利用前馈信息，提升网络的学习效果。2)更容易构建更深的网络结构。3)具有更好的泛化性能。残差网络由输入层、残差层和输出层组成。残差层是一个独立的神经网络层，与其他网络不同，残差层直接与输入层和输出层相连。这样的结构有利于更好地利用前馈信息，提升网络的学习效果。
[0017]进一步的，光流生成模块计算非中心视图像素到中心视图的像素偏移矢量。当3D空间中的一个点同时在多个视图内成像的时候，在多视图图像中由于拍摄角度不同，各个视图中相关的像素会发生位置偏移。对于中心视图中的任何一个像素，光流生成模块使用光流估计网络SPyNet在所有非中心视图中寻找匹配的对应点，计算所有非中心视图中的对应像素的像素偏移矢量O(x,y)。SPyNet对每一个非中心视图都生成一个光流flow
i
。
[0018]进一步的，光流融合模块使用一个残差网络提取光流特征并与中心图像特征融合。该残差网络拥有三个残差卷积层，每个残差卷积层之后拥有一个ma
×
_pooling下采样层，使得光流特征与中心图像特征的尺寸一致。之后跟随一个1
×
1卷积层调整特征的通道数量使其与中心图像特征相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流融合的光场显著性检测方法，其特征在于，利用光场显著性检测数据集训练光场显著性检测系统，使用光场显著性检测系统在数据集多视图图像上进行显著性检测，计算中心视图特征，并将其余视图作为参考图像，计算光流并与中心视图特征融合，辅助显著性检测；所述光场显著性检测系统由光场特征提取模块、光流生成模块、光流融合模块和显著性检测模块组成；所述光场特征提取模块使用残差网络ResNet50从中心视图中提取中心视图的特征f
s
；所述光流生成模块使用SPyNet网络计算参考图像到中心视图之间的光流；所述光流融合模块使用残差网络将光流转化为光流特征f
l
并与中心视图的特征f
s
相连，并使用卷积网络融合；所述显著性检测模块首先利用空洞空间金字塔池化模块提取不同尺度上的光流融合特征，然后使用一个卷积层融合不同尺度上的特征并重建显著性图。2.根据权利要求1所述基于光流融合的光场显著性检测方法，其特征在于，所述方法具体包括：步骤1：加载光场显著性检测数据集，将数据集分为训练集和测试集，进行图像预处理；步骤2：构建光场显著性检测系统；步骤3：使用训练集对光场显著性检测系统进行训练；步骤4：使用已训练的显著性检测系统对测试集进行测试。3.根据权利要求1或2所述基于光流融合的光场显著性检测方法，其特征在于，所述光场显著性检测数据集是HFUT
‑
Lytro光场显著性检测数据集，该数据集具有不同距离的真实场景、噪声、照明条件，每个场景包含一个角分辨率为7
×
7，空间分辨率为328
×
328的多视图图像；该数据集同时还提供中心图像和用于监督的二进制显著性图；该数据集包含用于室内和室外场景的255个光场。4.根据权利要求2所述基于光流融合的光场显著性检测方法，其特征在于，所述图像预处理首先将数据集图像放大，然后随机裁剪，随机翻转进行数据增强。5.根据权利要求3所述基于光流融合的光场显著性检测方法，其特征在于，所述光场特征提取模块将中心图像特征化，并下采样；将多视图图像记作{I
(u,v)
|u,v∈[1,3]}，将I
(2,2)
作为中心视图记作I
s
，其余视图记作I
r(u,v)
，光场特征提取模块使用残差卷积网络ResNet50提取中心视图的特征，记作f
s
，所述ResNet50由一个输入卷积层和四个残差层组成；输入卷积层使用3
×
3的卷积核，输入通道为3，输出通道为64；输入卷积层之后跟着一个LeakyReLU正则化层和一个max_pooling下采样层，下采样步长为2；ResNet50的每一个残差层都将通道数量翻倍；第一个残差层输出通道数量为128，第二个通道数量为256，第三个通道数量为512，第四个通道数量为1024；四个残差层分别由3,4,6,3个残差块组成；每个残差块由三层卷积网络和残差连接组成；其中第二个卷积层为3
×
3卷积，其余两层为1
×
1卷积层；残差块的前两层卷积层拥有BN和ReLU正则化，第3层和残差连接层没有正则化；最后将输入与卷积输出相加作为残差块的输出，四个残差层中，第一层和第二层的第一个残差块的卷积步长为2，对特征图进行下采样；第四层的所有残差块里的3
×
3卷积层都换成了膨胀率为2的膨胀卷积层；输出尺寸为512
×
60
×
60的中心视图的特征f
s
。6.根据权利要求1所述基于光流融合的光场显著性检测方法及系统，其特征在于，所述光流生成模块使用光流估计SPyNet网络结合了卷积神经网络和运动估计，通过将经典的空
间金字塔方法与深度学习结合来计算光流；所述SPyNet网络的每一层都由三个模块组成，分别是上采样、下采样和残差光流卷积网络，通过双线性插值分别处理两个输入图像，逐层将图像进行下采样；输入残差光流卷积网络，所述上采样将上一层光流估计网络输出的光流上采样2倍，并用输出的光流对下一层的输入中的第二张图像进行扭曲；所述残差光...

【专利技术属性】
技术研发人员：吴聿铭，朱虎，邓丽珍，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：