一种多特征融合的显著性检测方法技术

本发明专利技术公开了一种基于多特征融合的显著性目标检测方法，属于计算机数字图像处理技术领域。通过对深度卷积神经网络的不同层次特征信息进行融合，以获取更加有效的图像显著性特征，从而解决复杂场景下的显著性目标检测问题。本发明专利技术第一步构建深度神经网络获取图像的浅层特征信息；第二步构建深度神经网络获取图像的深层特征信息；第三步将两部分特征信息进行融合；第四步构建神经网络损失函数，训练深度神经网络；第五步输入图像进行显著性目标检测。与现有基于深度学习的图像显著性检测方法相比，在不包含预处理和后处理的前提下，本发明专利技术方法得到的显著图像明显优于其它的网络结构，尤其是对于复杂场景图像的检测具有优越的鲁棒性和识别性。鲁棒性和识别性。鲁棒性和识别性。

【技术实现步骤摘要】
一种多特征融合的显著性检测方法


[0001]本专利技术属于计算机数字图像处理
，具体涉及一种多特征融合的显著性检测方法。

技术介绍

[0002]人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，这种视觉注意机制是人们日常生活中处理视觉信息的重要机制。近年来，互联网的发展为用户带来大量的数据，如何像人类一样可以在大量的图像和视频中找到关注的内容，是目前视觉图像处理中的热门即视觉显著性目标检测。显著性目标检测作为计算机视觉的预处理步骤，在视觉应用领域取得了巨大的成功，例如目标重定向、场景分类、视觉跟踪、图像检索和语义分割等。
[0003]基于传统手工特征的显著性目标检测算法可有效应用于一般场景，但是由于这些算法提取的特征缺少足够的语义信息，导致在较复杂的场景下这些算法不再适用，因此复杂场景下的显著性目标检测仍需进一步研究。随着深度神经网络的发展，研究者将深层特征信息应用于显著性目标检测，但是在复杂的自然场景下，现有基于深度学习的算法依然存在挑战性的问题，如复杂背景中表现突出的区域容易被误判为显著性区域。
[0004]受人类视觉注意机制的启发，许多早期的视觉显著性检测方法利用浅层的视觉特征和启发式先验来模拟人类的显著性。2016年，冯等人提出一种基于低秩多尺度融合的图像显著性检测方法，通过提取图像的浅层特征，保证图像结构的同时降低计算时间和复杂度。该方法只采用浅层特征信息，很难得到图像突出的显著性特征和更深层次的高级语义信息，导致了图像特征的缺失，预测的效果较差。2018年，路等人提出一种基于U型网络和对抗学习的显著性检测方法，使用了U型网络和对抗学习两种策略训练网络模型对自然图像进行检测，再将得到的结果进行后处理，得到最终的结果。该方法设计的深度神经网络虽然能够提取图像深层特征信息，但是没有利用图像颜色、亮度、边界、梯度和纹理等浅层特征信息，导致了图像特征的缺失，预测的准确度低。

技术实现思路

[0005]针对目前显著性检测方法中应对真实复杂场景下的图像时，存在两个具有挑战性的问题：多特征融合性能低和混合损失函数监督网络能力差，本专利技术提供了一种多特征融合的显著性检测方法。
[0006]本专利技术方法采用分层提取特征信息的方式，有效提取不同层次的特征并进行有效融合，提高了神经网络模型检测显著性区域的性能。
[0007]为了达到上述目的，本专利技术采用了下列技术方案：
[0008]一种基于多特征融合的显著性检测方法，包括以下步骤：
[0009]步骤1，构建深度神经网络获取图像浅层特征；
[0010]步骤1.1，构造U型深度神经网络；
[0011]步骤1.2，构造Z型残差模块；
[0012]步骤2，构建深度神经网络获取图像深层特征；
[0013]步骤2.1构造I型深度神经网络；
[0014]步骤2.2构造编码模块DE；
[0015]步骤3，双层特征融合；
[0016]步骤3.1构造特征融合模块；
[0017]步骤4，构建神经网络损失函数，训练深度神经网络；
[0018]步骤4.1构建神经网络损失函数；
[0019]步骤4.2使用公开的、自然场景下的图像数据集，训练构造好的神经网络
[0020]步骤5，利用训练好的网络模型，对输入图像进行显著性目标检测；
[0021]步骤5.1构造测试图像数据集，使用训练好的神经网络进行显著性目标检测；
[0022]步骤5.2使用三种评价指标，对训练好的神经网络进行性能评估。
[0023]进一步，所述步骤1.1构造U型深度神经网络，还包括以下步骤：
[0024]步骤1.1.1构造编码模块SE：包含6个编码块即SE1～SE6，编码块之间顺序连接，其中每一个编码块均包括Z型残差模块和最大池化层；
[0025]步骤1.1.2构造连接模块L：包含1个连接块，连接块由顺序连接的3个Z型残差模块组成；
[0026]步骤1.1.3构造解码模块DM：包含6个解码块即DM1～DM6，每个解码块由顺序连接的通道连接层、Z型残差模块和双线性上采样层组成；
[0027]步骤1.1.4构造多尺度输出模块，包含1个卷积层和1个双线性上采样层。U型深度神经网络是由编码
‑
解码器结构组成，包括编码的下采样阶段和解码的上采样阶段，通过自定义的Z型残差模块构造编码和解码模块通过对称的卷积对输入的图像进行处理，并通过自适应的方式有效获取多特征信息。在编码阶段获取不同层次的特征信息，在解码阶段为监督提供有效的对比和融合特征。使特征的多层次获取阶段更加清晰，帮助整个网络结构进行显著检测。
[0028]进一步，所述步骤1.1.1构造编码模块SE，其具体过程如下：
[0029]步骤1.1.1.1构造Z型残差模块，构造方法和步骤1.2相同；
[0030]步骤1.1.1.2构造最大池化层；
[0031]步骤1.1.1.3将Z型残差模块和最大池化层顺序连接起来组成编码块；
[0032]步骤1.1.1.4将构造好的6个编码块SE1～SE6顺序连接起来；
[0033]步骤1.1.1.5编码块输出的特征映射通道数从16开始，不断翻倍，直至最后一个编码块变为1024，即为32，64，128，256，512，1024；
[0034]所述步骤1.1.2构造L连接模块，其具体过程如下：
[0035]步骤1.1.2.1构造Z型残差模块，构造方法和步骤1.2相同；
[0036]步骤1.1.2.2将3个相同的Z型残差模块顺序连接起来；
[0037]所述步骤1.1.3中所述构造解码模块DM，其具体过程如下：
[0038]步骤1.1.3.1构造通道连接层；
[0039]步骤1.1.3.2构造双线性上采样层；
[0040]步骤1.1.3.3将6个解码块连接起来；
[0041]步骤1.1.3.4将每个编码块的输出作为输入传到对应的解码块进行连接；
[0042]所述步骤1.1.4中所述构造多尺度输出模块，其具体过程如下：
[0043]步骤1.1.4.1定义卷积层；卷积层的卷积核大小为3
×
3，步长为1，Padding为1，输出的特征映射通道数对应连接模块和解码模块的输出为1024，512，512，512，256，128，64；
[0044]步骤1.1.4.2定义双线性上采样层，对应其输出模块的通道为2，64，32，16，8，4，2；
[0045]步骤1.1.4.3将卷积层和双线性上采样层顺序连接；
[0046]步骤1.1.4.4将输出模块连接到对应的解码模块。连接模块使用Z型残差模块构成，在编码阶段和解码阶段中间部分，连接模块不仅能获取到更深层次特征信息，而且帮助编码器和解码器有效连接，连接模块也作为上采样的第一部分输入解码器。能够通过连接模块帮助整个网络进行分割作用，连接模块使得网络的结构清晰，有助于更好的融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的显著性检测方法，其特征在于：包括以下步骤：步骤1，构建深度神经网络获取图像浅层特征；步骤1.1，构造U型深度神经网络；步骤1.2，构造Z型残差模块；步骤2，构建深度神经网络获取图像深层特征；步骤2.1构造I型深度神经网络；步骤2.2构造编码模块DE；步骤3，双层特征融合；步骤3.1构造特征融合模块；步骤4，构建神经网络损失函数，训练深度神经网络；步骤4.1构建神经网络损失函数；步骤4.2使用公开的、自然场景下的图像数据集，训练构造好的神经网络步骤5，利用训练好的网络模型，对输入图像进行显著性目标检测；步骤5.1构造测试图像数据集，使用训练好的神经网络进行显著性目标检测；步骤5.2使用三种评价指标，对训练好的神经网络进行性能评估。2.根据权利要求1所述的一种基于多特征融合的显著性检测方法，其特征在于：所述步骤1.1构造U型深度神经网络，还包括以下步骤：步骤1.1.1构造编码模块SE：包含6个编码块即SE1～SE6，编码块之间顺序连接，其中每一个编码块均包括Z型残差模块和最大池化层；步骤1.1.2构造连接模块L：包含1个连接块，连接块由顺序连接的3个Z型残差模块组成；步骤1.1.3构造解码模块DM：包含6个解码块即DM1～DM6，每个解码块由顺序连接的通道连接层、Z型残差模块和双线性上采样层组成；步骤1.1.4构造多尺度输出模块，包含1个卷积层和1个双线性上采样层。3.根据权利要求2所述的一种基于多特征融合的显著性检测方法，其特征在于：所述步骤1.1.1构造编码模块SE，其具体过程如下：步骤1.1.1.1构造Z型残差模块；步骤1.1.1.2构造最大池化层；步骤1.1.1.3将Z型残差模块和最大池化层顺序连接起来组成编码块；步骤1.1.1.4将构造好的6个编码块SE1～SE6顺序连接起来；步骤1.1.1.5编码块输出的特征映射通道数从16开始，不断翻倍，直至最后一个编码块变为1024，即为32，64，128，256，512，1024；所述步骤1.1.2构造L连接模块，其具体过程如下：步骤1.1.2.1构造Z型残差模块；步骤1.1.2.2将3个相同的Z型残差模块顺序连接起来；所述步骤1.1.3中所述构造解码模块DM，其具体过程如下：步骤1.1.3.1构造通道连接层；步骤1.1.3.2构造双线性上采样层；步骤1.1.3.3将6个解码块连接起来；
步骤1.1.3.4将每个编码块的输出作为输入传到对应的解码块进行连接；所述步骤1.1.4中所述构造多尺度输出模块，其具体过程如下：步骤1.1.4.1定义卷积层；卷积层的卷积核大小为3
×
3，步长为1，Padding为1，输出的特征映射通道数对应连接模块和解码模块的输出为1024，512，512，512，256，128，64；步骤1.1.4.2定义双线性上采样层，对应其输出模块的通道为2，64，32，16，8，4，2；步骤1.1.4.3将卷积层和双线性上采样层顺序连接；步骤1.1.4.4将输出模块连接到对应的解码模块。4.根据权利要求1所述的一种基于多特征融合的显著性检测方法，其特征在于：所述步骤1.1.1.1、步骤1.1.2.1和步骤1.2中构造Z型残差模块的方法相同，其具体过程如下：步骤A定义卷积层，总共有3个卷积层，第一个卷积层的卷积核大小为1
×
1，步长为1，Padding为0；第二个卷积层的卷积核大小为3
×
3，步长为1，Padding为1；第三个卷积层的卷积核大小为1
×
1，步长为1，...

【专利技术属性】
技术研发人员：白雪飞，张凯浩，王文剑，
申请(专利权)人：山西大学，
类型：发明
国别省市：