图像显著性物体检测方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种图像显著性物体检测方法，包括：获取图像数据，对图像数据进行特征提取，输出多个尺寸的原始特征图；针对于每个原始特征图，对原始特征图的尺寸进行压缩，并对压缩尺寸后的特征图进行映射，获得原始特征图中的全局信息；针对于每个原始特征图，对原始特征图进行卷积及批标准化处理，获得原始特征图中的局部信息；对获取的全局信息及局部信息进行整合，获得多个信息整合特征图；将多个信息整合特征图进行拼接，获得拼接特征图，根据拼接特征图，获得检测结果。该方法提高了对目标整体的检测准确率；有效地整合全局和局部信息以利用低级视觉特征，提高了目标边缘分割的效果。本发明专利技术还提供一种图像显著性物体检测装置、设备及介质。

【技术实现步骤摘要】
图像显著性物体检测方法、装置、设备及介质
本专利技术涉及计算机
，尤其涉及一种图像显著性物体检测方法、装置、设备及介质。
技术介绍
显著性物体检测是计算机视觉领域的基本任务之一，目的是模拟人类视觉机制，计算视觉场景中信息的重要程度，提取图像中人类感兴趣的显著性区域。检测后的结果可用于目标与背景分离、拍照虚化等，具有广阔的应用前景。优秀的显著性物体检测模型应该尽量避免丢失或将背景误标为显著性区域的可能性，并且具备准确定位显著物体和保留原始图像信息的能力。目前的显著性物体检测模型可大致划分为两种：第一种是无监督模型，其依靠颜色、边缘等低视觉特征，计算产生显著性度量的显著图；第二种是基于学习的模型，其通过获取语义一致性等高视觉特征来判断目标的显著性。高级视觉特征可以更好地描述图片的语义信息，有助于完整地检测出显著性目标。近年来，由于全卷积神经网络的快速发展，显著性物体检测可以作为二分类的稠密预测任务来解决。全卷积网络消除了对手工特征的需求，可以有效地整合高级视觉特征，比起传统方法展现出更为优越的性能，成为了显著性物体检测的主流方向。但是，由于多次的池化操作，全卷积网络提取的特征图分辨率很低，缺乏低级视觉特征。此外，由于卷积核的尺寸限制，特征图只包含局部的语义信息，缺少对图片整体性描述的全局信息。而显著性的意义在于目标相对于背景更为重要，这是图片整体中的相对概念，需要全局性信息来辅助判断。
技术实现思路
(一)要解决的技术问题针对于现有的技术问题，本专利技术提出一种图像显著性物体检测方法、装置、设备及介质，用于至少部分解决上述技术问题。(二)技术方案本专利技术一方面提供一种图像显著性物体检测方法，包括：对图像数据进行特征提取，输出多个尺寸的原始特征图；对每个原始特征图的尺寸进行压缩，并对压缩尺寸后的特征图进行映射，获得原始特征图中的全局信息；对每个原始特征图进行卷积及批标准化处理，获得原始特征图中的局部信息；对获取的全局信息及局部信息进行整合，获得多个信息整合特征图；将多个信息整合特征图进行拼接，获得拼接特征图，根据拼接特征图，获得检测结果。可选地，对获取的全局信息及局部信息进行整合，获得多个信息整合特征图，包括：对原始特征图的全局信息与局部信息进行点乘；对点乘结果进行卷积处理；对卷积结果进行批标准化处理，获得与该原始特征图对应的信息整合特征图。可选地，获得多个信息整合特征图中，每个原始特征图对应的信息整合图与该原始特征图的尺寸大小相同。可选地，采用递进的方式对多个信息整合特征图进行拼接。本专利技术另一方面提供一种图像显著性物体检测装置，包括：特征提取模块，用于对图像数据进行特征提取，输出多个尺寸的原始特征图；全局信息整合模块，用于获取每个原始特征图中的全局信息和局部信息，根据全局信息和局部信息得到信息整合特征图，并根据信息整合特征图输出拼接特征图；上采样层，根据拼接特征图输出图像显著性检测结果；其中，图像显著性检测装置包括至少一个特征提取模块，每个特征提取模块具有与之对应的全局信息整合模块。可选地，全局信息整合模块包括第一路模块、第二路模块、整合模块及拼接模块；第一路模块用于提取原始特征图中的全局信息；第二路模块用于提取原始特征图中的局部信息；整合模块用于整合全局信息及局部信息，得到多个信息整合特征图；拼接模块，用于对多个信息整合特征图进行拼接，得到拼接特征图。可选地，第一路模块包括全局池化层、卷积层及激活层；全局池化层用于对原始特征图进行尺寸压缩；卷积层及激活层用于对尺寸压缩后的原始特征图进行映射。可选地，至少一个全局信息整合模块依次连接，每个全局信息整合模块对其对应的特征提取模块输出的原始特征图及前一级全局信息整合模块输入的信息整合特征图进行拼接。本专利技术另一方面提供一种图像显著性物体检测电子设备，包括：图像采集器、存储器、控制器及处理器；图像采集器用于获取图像数据并存储到存储器；控制器用于产生控制及寻址指令调度处理器对图像数据进行计算，并将计算结果存储于存储器。本专利技术另一方面提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术的图像显著性物体检测方法。(三)有益效果本专利技术提出一种图像显著性物体检测方法、装置、设备及介质，具有有益效果：利用了整张图像中的全局性语义信息，提高了对目标整体的检测准确率；有效地整合了全局和局部信息来利用低级视觉特征，提高了目标边缘分割的效果。附图说明图1是本专利技术实施例图像显著性物体检测方法的流程图。图2是本专利技术实施例基于ECSSD、THUR15k数据集时使用本专利技术方法进行图像显著性物体检测结果与现有技术结果的比较效果图。图3是本专利技术实施例图像显著性物体检测装置的结构框图。图4是本专利技术实施例图像显著性物体检测装置中全局信息整合模块的结构框图。图5是本专利技术实施例图像显著性物体检测电子设备框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术提出一种图像显著性物体检测方法，该方法通过利用整张图像中的全局性语义信息，在整合全局与局部信息时，同时引入不同层级的底层信息，使得学习特征更加鲁棒。图1为本专利技术实施例图像显著性物体检测方法的流程图。如图1所示，该方法包括：S1，对图像数据进行特征提取，输出多个尺寸的原始特征图。在图像分类集上，采用反向传播法训练一个由图像到标签的深度卷积神经网络，去除深度卷积神经网络中的全连接层，保留网络部分以作为特征提取模块，该特征提取模块包括多组卷积层、非线性映射层及池化层利用特征特征提取模块对网络数据作池化处理、卷积处理及映射处理，产生多个不同尺寸的原始特征图。本实施例是在ImageNet数据集，采用反向传播法训练一个ResNet50模型。S2，对每个原始特征图的尺寸进行压缩，并对压缩尺寸后的特征图进行映射，获得原始特征图中的全局信息。对于操作S1中生成的多个不同尺寸的原始特征图，需提取出每个原始特征图中的全局信息，该全局信息主要是目标的语义一致性信息。针对于每个原始特征图，首先对其进行全局池化处理，压缩原始特征图的尺寸，本实施例将原始特征图的尺寸压缩至1×1。然后，对尺寸压缩后的原始特征图进行卷积及激活处理，将尺寸压缩后的原始特征图映射到0至1之间，从而获得原始特征图中的全局信息，本实施例采用的1×1卷积层和Sigmoid激活层对尺寸压缩后的原始特征图进行映射。S3，对每个原始特征图进行卷积及批标准化处理，获得原始特征图中的局部信息。首先，采用3×3卷积层对原始特征图进行卷积处理。然后，采用批标准化层对卷积处理结果进行批标准化处理，以提取原始特征图中的局部信息，该局部信息包括边缘、角点、线、曲线和特别属性的区域等，常见的局部信息包括角点类和区域类两大类描述方式。S4，对获取的全局信息及局部信息进行整合，获得多个信息整合特征图。...

【技术保护点】
1.一种图像显著性物体检测方法，其特征在于，包括：/n对图像数据进行特征提取，输出多个尺寸的原始特征图；/n对所述每个原始特征图的尺寸进行压缩，并对压缩尺寸后的特征图进行映射，获得所述原始特征图中的全局信息；/n对所述每个原始特征图进行卷积及批标准化处理，获得所述原始特征图中的局部信息；/n对获取的所述全局信息及局部信息进行整合，获得多个信息整合特征图；/n将所述多个信息整合特征图进行拼接，获得拼接特征图，根据所述拼接特征图，获得检测结果。/n

【技术特征摘要】
20190111 CN 20191002992511.一种图像显著性物体检测方法，其特征在于，包括：
对图像数据进行特征提取，输出多个尺寸的原始特征图；
对所述每个原始特征图的尺寸进行压缩，并对压缩尺寸后的特征图进行映射，获得所述原始特征图中的全局信息；
对所述每个原始特征图进行卷积及批标准化处理，获得所述原始特征图中的局部信息；
对获取的所述全局信息及局部信息进行整合，获得多个信息整合特征图；
将所述多个信息整合特征图进行拼接，获得拼接特征图，根据所述拼接特征图，获得检测结果。


2.根据权利要求1所述的图像显著性物体检测方法，其特征在于，所述对获取的所述全局信息及局部信息进行整合，获得多个信息整合特征图，包括：
对所述原始特征图的全局信息与局部信息进行点乘；
对点乘结果进行卷积处理；
对卷积结果进行批标准化处理，获得与该原始特征图对应的信息整合特征图。


3.根据权利要求1所述的图像显著性物体检测方法，其特征在于，获得多个信息整合特征图中，每个原始特征图对应的信息整合图与该原始特征图的尺寸大小相同。


4.根据权利要求1所述的图像显著性物体检测方法，其特征在于，采用递进的方式对所述多个信息整合特征图进行拼接。


5.一种图像显著性物体检测装置，其特征在于，包括：
特征提取模块，用于对图像数据进行特征提取，输出多个尺寸的原始特征图；
全局信息整合模块，用于获取每个原始特征图中的全局信息和局部信息，根据所述全局信息和局部信息得到信息整合特征图，并根据所述信息整合特征图输出拼接特征图；
上采...

【专利技术属性】
技术研发人员：王凯诚，鲁华祥，边昳，陈刚，龚国良，
申请(专利权)人：中国科学院半导体研究所，中国科学院大学，
类型：发明
国别省市：北京;11