一种基于光场重聚焦数据增强的显著性目标检测方法技术

本发明专利技术公开了一种基于光场重聚焦数据增强的显著性目标检测方法，包括：1、对光场数据进行重聚焦，得到不同聚焦参数下的光场数据；2、对重聚焦数据进行数据增强；4、构建深度卷积神经网络，以光场重聚焦图像和深度图像作为输入，对深度卷积神经网络进行训练，得到光场显著性目标检测模型；5、利用训练好的模型对待检测的光场重聚焦图像和深度图像进行显著性目标检测，并评估模型在待检测的数据上的精度。本发明专利技术能实现基于光场重聚焦数据增强的显著性目标检测，从而能有效提高复杂多变环境下场景的显著性目标检测的准确性。景的显著性目标检测的准确性。景的显著性目标检测的准确性。

【技术实现步骤摘要】
一种基于光场重聚焦数据增强的显著性目标检测方法


[0001]本专利技术属于计算机视觉中、图像处理和分析领域，具体地说是一种基于光场重聚焦数据增强的显著性目标检测方法。

技术介绍

[0002]视觉显著性是人类视觉系统的一种注意力机制，当我们在观察一个场景时，场景中往往有一个显著的区域吸引我们的注意力，自然的，我们会忽略那些非显著的区域，这样人类可以快速地处理大量的图像数据。显著性目标检测是指计算机模拟人类视觉系统快速准确的定位视野中感兴趣的区域或目标，准确的显著性目标检测可以为目标检测和识别，图像分割，视觉跟踪提供可靠的先验信息。
[0003]根据不同类型的输入数据，显著性目标检测主要分为三类：(1)基于RGB图像的显著性目标检测；(2)基于RGB
‑
D图像的显著性目标检测；(3)基于光场的显著性目标检测。在高光或暗光，部分遮挡，背景杂乱，前景和背景相似等复杂场景下，以RGB图像作为输入很难有效的检测出显著性目标或区域。以RGB
‑
D图像作为输入的方法，同时输入RGB图像和深度图，额外引入了深度信息，已经被证明可以提高显著性目标检测的性能，但是如果深度图的质量较差时，反而会导致显著性目标检测的效果变差。光场是指通过空间中每一点在各个方向传播的光的数量，其同时记录了光辐射在空间中的位置信息和视角信息，对自然场景的描述更加完整。
[0004]目前，已经有几项工作研究基于光场的显著性目标检测，这些工作大致分为基于特征的方法和基于学习的方法。基于特征的方法是在光场焦点堆栈、全聚焦图像的基础上，利用色彩、深度、背景先验等信息来估计显著性目标。这类方法只考虑到几种有限的特征，检测精度往往不高。基于学习的方法通过一定量的训练数据来训练一个显著性目标检测模型，利用训练的模型在测试数据上进行测试。基于学习的方法依赖于深度神经网络强大的学习能力，融合了多种特征，相较于基于特征的方法，在检测精度上有了很大的提升。但是这些基于学习的方法仍存在不足之处：
[0005]1、对于基于焦点堆栈的方法，不同重聚焦图像之间的局部模糊不利于此类方法得到具有尖锐边缘的显著图，且当场景深度范围较窄时，此类方法很难得到理想的效果；
[0006]2、基于学习的方法大都在自己提出的数据集上进行训练测试，缺乏相互之间的比较，难以体现该模型的鲁棒性；
[0007]3、基于学习的方法大都用到了焦点堆栈，焦点堆栈中包含的重聚焦图像之间的聚焦深度变化差异很小，而且全聚焦图像是一种特殊的重聚焦图像，这两种图像类型实际上存在一定的数据冗余，使得网络存在大量的计算开销。

技术实现思路

[0008]本专利技术为解决现有技术中的不足之处，提供一种基于光场重聚焦数据增强的显著性目标检测方法，旨在能充分挖掘光场数据的特殊性质，减少计算负担，从而有效提高复杂
多变环境下场景的显著性目标检测的精度和准确性。
[0009]为解决上述技术问题，本专利技术采用的技术方案是：
[0010]本专利技术一种基于光场重聚焦数据增强的显著性目标检测方法的特点在于，是按照如下步骤进行：
[0011]步骤1、对光场数据进行重聚焦，得到不同聚焦参数下的光场数据；
[0012]步骤1.1、将第n个场景的光场数据记为其中，u和v分别表示视角维度中的任一水平视角和竖直视角，且M表示水平和竖直方向的最大视角数；x和y分别表示空间维度中任一水平方向和竖直方向的像素点坐标，且x∈[1,X],y∈[1,Y]，X,Y分别表示视角图像的最大空间宽度和最大空间高度；n∈[1,N]，N表示光场数据的数目，F表示光场相机主透镜到传感器的距离；
[0013]步骤1.2、对所述第n个场景的光场数据在虚拟焦平面F
α
处进行重聚焦，得到重聚焦后的光场数据其中，F'
α
为虚拟焦平面F
α
到相机主透镜的距离，x'和y'分别表示重聚焦后视角图像空间维度中任一水平方向和竖直方向的像素点坐标；
[0014]步骤2、对重聚焦后的光场数据进行解码，得到聚焦在场景不同深度下的重聚焦图像；
[0015]步骤2.1、利用式(1)对重聚焦后的光场进行计算成像，得到第n个场景在虚拟焦平面F
α
处的图像
[0016][0017]式(1)中，α表示虚拟焦平面F
α
至传感器的距离与光场相机主透镜至传感器的距离F的比例系数；
[0018]步骤2.2、取N不同的比例系数{α1,α2,
…
,α
m
,
…
,α
N
}，并重复步骤1.2至步骤2.1，从而得到一系列聚焦在第n个场景不同深度的重聚焦图像而得到一系列聚焦在第n个场景不同深度的重聚焦图像并构成第n个场景的焦点堆栈，其中，α
m
表示第m个比例系数，表示第n个场景在第m个比例系数α
m
下的虚拟焦平面处的重聚焦图像，N表示焦点堆栈包含的重聚焦图像数量，令的高度、宽度和通道数分别为H,W,C；
[0019]步骤3、对所述第n个场景的焦点堆栈中包含的重聚焦图像进行数据增强处理，得到第n个场景数据增强后的焦点堆栈其中，表示第n个场景在第m个比例系数α
m
下的虚拟焦平面处增强处理后的重聚焦图像；
[0020]将所述第n个场景的深度图和真实显著图分别记为D
n
、G
n
，对所述第n个场景的深度图D
n
和真实显著图G
n
也进行与数据增强处理，从而得到数据增强后的深度图和真实显著图
[0021]步骤4、构建基于光场重聚焦数据增强的显著性目标检测模型，包含：编码网络、RGB和深度融合模块、深度恢复模块、解码网络、优化模块；
[0022]步骤4.1、所述编码网络包括：RGB网络和深度网络；其中，所述RGB网络是以ResNet18作为骨干网络，包括：j个基本块和j个通道降维模块；所述深度网络由j个卷积模块构成；
[0023]所述重聚焦图像输入所述显著性目标检测模型中，并依次经过编码网络中RGB网络的j个基本块的卷积处理后，得到第n个场景下j个重聚焦特征其中，表示第n个场景下重聚焦图像的第i个特征图；
[0024]每个通道降维模块依次由两个卷积层、一个批量归一化层和一个ReLU激活层构成；
[0025]j个通道降维模块分别对第n个场景下j个重聚焦特征进行处理后，得到第n个场景下降维后的j个降维特征其中，表示降维后的第i个特征；
[0026]所述深度图输入所述显著性目标检测模型中，并依次经过编码网络中深度网络中的j个卷积模块的卷积处理后，得到第n个场景下的深度特征D
n
′
；
[0027]步骤4.2、构建所述RGB和深度融合模块，依次包含：一个IBR模块、一个卷积模块Conv1和一个IRB模块；
[0028]将第n个场景下第j个降维特征和深度特征D...

【技术保护点】

【技术特征摘要】
1.一种基于光场重聚焦数据增强的显著性目标检测方法，其特征在于，是按照如下步骤进行：步骤1、对光场数据进行重聚焦，得到不同聚焦参数下的光场数据；步骤1.1、将第n个场景的光场数据记为其中，u和v分别表示视角维度中的任一水平视角和竖直视角，且M表示水平和竖直方向的最大视角数；x和y分别表示空间维度中任一水平方向和竖直方向的像素点坐标，且x∈[1，X]，y∈[1，y]，X，Y分别表示视角图像的最大空间宽度和最大空间高度；n∈[1，N]，N表示光场数据的数目，F表示光场相机主透镜到传感器的距离；步骤1.2、对所述第n个场景的光场数据在虚拟焦平面F
α
处进行重聚焦，得到重聚焦后的光场数据其中，F
′
α
为虚拟焦平面F
α
到相机主透镜的距离，x
′
和y
′
分别表示重聚焦后视角图像空间维度中任一水平方向和竖直方向的像素点坐标；步骤2、对重聚焦后的光场数据进行解码，得到聚焦在场景不同深度下的重聚焦图像；步骤2.1、利用式(1)对重聚焦后的光场进行计算成像，得到第n个场景在虚拟焦平面F
α
处的图像处的图像式(1)中，α表示虚拟焦平面F
α
至传感器的距离与光场相机主透镜至传感器的距离F的比例系数；步骤2.2、取N不同的比例系数{α1，α2，
…
，α
m
，
…
，α
N
}，并重复步骤1.2至步骤2.1，从而得到一系列聚焦在第n个场景不同深度的重聚焦图像到一系列聚焦在第n个场景不同深度的重聚焦图像并构成第n个场景的焦点堆栈，其中，α
m
表示第m个比例系数，表示第n个场景在第m个比例系数α
m
下的虚拟焦平面处的重聚焦图像，N表示焦点堆栈包含的重聚焦图像数量，令的高度、宽度和通道数分别为H，W，C；步骤3、对所述第n个场景的焦点堆栈中包含的重聚焦图像进行数据增强处理，得到第n个场景数据增强后的焦点堆栈苴中，表示第n个场景在第m个比例系数α
m
下的虚拟焦平面处增强处理后的重聚焦图像；将所述第n个场景的深度图和真实显著图分别记为D
n
、G
n
，对所述第n个场景的深度图D
n
和真实显著图G
n
也进行与数据增强处理，从而得到数据增强后的深度图和真实显著图步骤4、构建基于光场重聚焦数据增强的显著性目标检测模型，包含：编码网络、RGB和
深度融合模块、深度恢复模块、解码网络、优化模块；步骤4.1、所述编码网络包括：RGB网络和深度网络；其中，所述RGB网络是以ResNet18作为骨干网络，包括：j个基本块和j个通道降维模块；所述深度网络由j个卷积模块构成；所述重聚焦图像输入所述显著性目标检测模型中，并依次经过编码网络中RGB网络的j个基本块的卷积处理后，得到第n个场景下j个重聚焦特征其中，表示第n个场景下重聚焦图像的第i个特征图；每个通道降维模块依次由两个卷积层、一个批量归一化层和一个ReLU激活层构成；j个通道降维模块分别对第n个场景下j个重聚焦特征进行处理后，得到第n个场景下降维后的j个降维特征其中，表示降维后的第i个特征；所述深度图输入所述显著性目标检测模型中，并依次经过编码网络中深度网络中的j个卷积模块的卷积处理后，得到第n个场景下的深度特征D
n
′
；步骤4.2、构建所述RGB和深度融合模块，依次包含：一个IBR模块、一个卷积模...

【专利技术属性】
技术研发人员：王昕，张勇，熊高敏，高隽，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：