一种基于全局像素特征的显著图精细化方法技术

本发明专利技术公开了一种基于全局像素特征的显著图精细化方法，包括步骤：基于超像素提取深度特征和手工特征的显著性检测模型生成初始显著图；对输入图像进行预处理；通过全卷积神经网络提取图像全局像素的深度特征图；在全卷积神经网络的深处对初始显著图和深度特征图进行拼接，得到新特征；根据得到的新特征，通过全卷积神经网络进行分类得到最终的精细化显著图。本发明专利技术能够在复杂场景下快速、准确地完成大规模的图像显著性目标检测任务。

【技术实现步骤摘要】
一种基于全局像素特征的显著图精细化方法
本专利技术属于显著性目标检测
，特别涉及了一种基于全局像素特征的显著图精细化方法。
技术介绍
显著性目标检测是计算机视觉领域下的一个重要分支，在近几年已经成为热门的研究话题，它是指人类能够通过视觉系统从场景中提取出与其他区域相比更为显著的区域，这有助于剔除后续视觉任务中图像内无价值的区域。显著性目标检测能够从复杂的场景中快速准确地定位图像中最显著的目标或区域，识别后的显著性结果在视频目标跟踪、交通控制、图像检索、图像质量评估、场景理解等诸多计算机视觉领域中都有着广泛的应用。因此，研究显著性目标检测技术在其应用当中是非常有必要的。目前，基于卷积网络的方法是基于超像素进行显著性目标检测，已经取得了不错的效果。然而这些方法不是基于像素的操作，生成的显著图很大程度上依赖于超像素块的分割结果，而作为无监督的超像素分割算法得到的图像块主要基于表观特征的相似性，而并没有基于图像的语义特征，所以并不能保证每个超像素内部标记的完全一致性，这种内部标记不一致的情况尤其出现在复杂场景下显著性目标边界区域的超像素块中。
技术实现思路
为了解决上述
技术介绍
提出的技术问题，本专利技术旨在提供一种基于全局像素特征的显著图精细化方法，能够在复杂场景下快速、准确地完成大规模的图像显著性目标检测任务。为了实现上述技术目的，本专利技术的技术方案为：一种基于全局像素特征的显著图精细化方法，包括以下步骤：(1)基于超像素提取深度特征和手工特征的显著性检测模型生成初始显著图；(2)对输入图像进行预处理，包括图像均值化和RGB图像转换为BGR图像；(3)通过全卷积神经网络提取图像全局像素的深度特征图；(4)在全卷积神经网络的深处对步骤(1)生成的初始显著图和步骤(3)得到的深度特征图进行拼接，得到新特征；(5)根据步骤(4)得到的新特征，通过全卷积神经网络进行分类得到最终的精细化显著图。进一步地，步骤(1)的具体过程如下：(11)对输入图像使用SLIC算法进行M个不同粒度的超像素分割，SLIC算法的距离度量公式如下：其中，M为正整数，ds为颜色距离与归一化的空间距离的和，dlab为第j个聚类中心与第i个像素点的颜色距离，dxy为第j个聚类中心与第i个像素点的空间距离，li、ai、bi分别为第i个像素点在Lab色彩空间中L、a、b的取值，lj、aj、bj分别为第j个聚类中心在Lab色彩空间中L、a、b的取值的取值，xi、yi分别分别为第i个像素点在空间坐标轴中X轴、Y轴的取值，xj、yj分别分别为第j个聚类中心在空间坐标轴中X轴、Y轴的取值，m为用于权衡颜色相似度和空间临近性影响的参数，s为初始网格的步长；(12)对不同粒度分割的每个超像素使用3个m1层的卷积神经网络分别提取超像素、超像素邻域和整幅图像基于超像素的深度特征，其中，m1为正整数，且m1≥5；(13)对步骤(12)得到的3种特征进行拼接，通过一个2层的全连接网络，得到m2维的向量作为该粒度分割下超像素的深度对比特征，其中，m2为正整数，且m2≥100；(14)对不同粒度分割的每个超像素提取39维的手工特征，手工特征分为对比特征和分割特征，其中对比特征包括RGB均值和直方图差异、LAB均值和直方图差异、HSV均值和直方图差异、LM最大响应直方图差异和LBP直方图差异；分割特征包：RGB值的方差、LAB值的方差、HSV值的方差、超像素的最小边界框周长和超像素的面积；(15)将39维的手工特征拼接在m2维的深度特征之后，得到有效描述超像素的m2+39维为特征；(16)将每个超像素的m2+39维向量输入到随机森林模型中，得到超像素的分类；(17)融合M个不同粒度超像素分割得到的显著图作为初始显著图，融合参数的训练公式如下：其中，S为融合结果，Sk表示基于不同粒度超像素分割得到的显著图，αk是不同粒度显著图的融合系数，i表示训练模型数据集D中的第i个训练样本，Si表示训练模型数据集D中的第i个训练样本的真值图，表示基于不同粒度超像素分割得到的训练模型数据集D中的第i个训练样本的显著图。进一步地，在步骤(2)中，图像均值化的公式如下：其中，R,G,B分别为输入图像3个通道的值，分别为3个通道的均值，R′,G′,B′分别为图像均值化后的3个通道的值，Rij,Gij,Bij分别为坐标(i,j)像素点的3个通道的值，W为输入图像的宽度，H为输入图像的高度。进一步地，步骤(3)的具体过程如下：(31)将步骤(2)预处理得到的图像输入全卷积神经网络，进行5组共计13个核大小为3*3的卷积层操作；(32)在每组卷积层操作之后添加最大池化层，对图像特征进行降采样；(33)在最后一个最大池化层的操作之后，得到图像全局像素的深度特征图。进一步地，步骤(4)的具体过程如下：(41)对步骤(1)生成的初始显著图进行尺度放缩；(42)将放缩后的初始显著图与步骤(3)得到的全局像素深度特征图按照不同通道的形式进行拼接，得到新特征。进一步地，步骤(5)的具体过程如下：(51)将步骤(4)得到的新特征通过全卷积神经网络进行传播，得到尺度较小的显著图，其中，整个网络训练的最小化交叉熵损失函数如下：其中，X表示通过最后一个卷积层生成的特征图中所有元素的集合，x表示集合X中的每个元素，y(x)＝1表示该点是显著性目标的一部分，y(x)＝0表示该点不是显著性目标的一部分，p(x)表示该点标记为显著性目标的概率；(52)利用B样条插值算法将步骤(51)得到的显著图上采样至与原始图像大小一致的显著图，即为最终的精细化显著图。采用上述技术方案带来的有益效果：本专利技术设计了基于全局像素特征的全卷积神经网络，利用全卷积神经网络提取到的包含语义信息的深度特征改进显著性目标检测算法的性能。此外，为了避免超像素分割操作，图像通过全卷积神经网络提取二维矩阵，实现基于全局像素的分类，提高了模型检测的性能。本专利技术将两种方法建立在一个统一的模型中，显著性目标检测效果显著，具备较高的使用价值。附图说明图1是本专利技术的方法流程图；图2是本专利技术中的网络结构示意图。具体实施方式以下将结合附图，对本专利技术的技术方案进行详细说明。如图1所示，本专利技术提出的一种基于全局像素特征的显著图精细化方法，具体步骤如下：步骤1，基于超像素提取深度特征和手工特征的显著性检测模型生成初始显著图。①对输入图像使用简单线性迭代聚类算法(SimpleLinearIterativeClustering,SLIC)进行15个不同粒度的超像素分割，SLIC的距离度量公式可以表示为：其中，ds为颜色距离与归一化的空间距离的和，dlab为第j个聚类中心与第i个像素点的颜色距离，dxy为第j个聚类中心与第i个像素点的空间距离，li、ai、bi分别为第i个像素点在Lab色彩空间中L、a、b的取值，lj、aj、bj分别为第j个聚类中心在Lab色彩空间中L、a、b的取值的取值，xi、yi分别分别为第i个像素点在空间坐标轴中X轴、Y轴的取值，xj、yj分别分别为第j个聚类中心在空间坐标轴中X轴、Y轴的取值，m为用于权衡颜色相似度和空间临近性影响的参数，s为初始网格的步长②对不同粒度分割的每个超像素使用3个5层的卷积神经网络分别提取超像素、超像素邻域和整幅图像基于超像素的深度特本文档来自技高网...

【技术保护点】
1.一种基于全局像素特征的显著图精细化方法，其特征在于，包括以下步骤：(1)基于超像素提取深度特征和手工特征的显著性检测模型生成初始显著图；(2)对输入图像进行预处理，包括图像均值化和RGB图像转换为BGR图像；(3)通过全卷积神经网络提取图像全局像素的深度特征图；(4)在全卷积神经网络的深处对步骤(1)生成的初始显著图和步骤(3)得到的深度特征图进行拼接，得到新特征；(5)根据步骤(4)得到的新特征，通过全卷积神经网络进行分类得到最终的精细化显著图。

【技术特征摘要】
1.一种基于全局像素特征的显著图精细化方法，其特征在于，包括以下步骤：(1)基于超像素提取深度特征和手工特征的显著性检测模型生成初始显著图；(2)对输入图像进行预处理，包括图像均值化和RGB图像转换为BGR图像；(3)通过全卷积神经网络提取图像全局像素的深度特征图；(4)在全卷积神经网络的深处对步骤(1)生成的初始显著图和步骤(3)得到的深度特征图进行拼接，得到新特征；(5)根据步骤(4)得到的新特征，通过全卷积神经网络进行分类得到最终的精细化显著图。2.根据权利要求1所述基于全局像素特征的显著图精细化方法，其特征在于，步骤(1)的具体过程如下：(11)对输入图像使用SLIC算法进行M个不同粒度的超像素分割，SLIC算法的距离度量公式如下：其中，M为正整数，ds为颜色距离与归一化的空间距离的和，dlab为第j个聚类中心与第i个像素点的颜色距离，dxy为第j个聚类中心与第i个像素点的空间距离，li、ai、bi分别为第i个像素点在Lab色彩空间中L、a、b的取值，lj、aj、bj分别为第j个聚类中心在Lab色彩空间中L、a、b的取值的取值，xi、yi分别分别为第i个像素点在空间坐标轴中X轴、Y轴的取值，xj、yj分别分别为第j个聚类中心在空间坐标轴中X轴、Y轴的取值，m为用于权衡颜色相似度和空间临近性影响的参数，s为初始网格的步长；(12)对不同粒度分割的每个超像素使用3个m1层的卷积神经网络分别提取超像素、超像素邻域和整幅图像基于超像素的深度特征，其中，m1为正整数，且m1≥5；(13)对步骤(12)得到的3种特征进行拼接，通过一个2层的全连接网络，得到m2维的向量作为该粒度分割下超像素的深度对比特征，其中，m2为正整数，且m2≥100；(14)对不同粒度分割的每个超像素提取39维的手工特征，手工特征分为对比特征和分割特征，其中对比特征包括RGB均值和直方图差异、LAB均值和直方图差异、HSV均值和直方图差异、LM最大响应直方图差异和LBP直方图差异；分割特征包：RGB值的方差、LAB值的方差、HSV值的方差、超像素的最小边界框周长和超像素的面积；(15)将39维的手工特征拼接在m2维的深度特征之后，得到有效描述超像素的m2+39维为特征；(16)将...

【专利技术属性】
技术研发人员：杨明，张守东，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏,32