一种具有自适应选择训练过程的图像显著目标检测方法技术

本发明专利技术公开了一种具有自适应选择训练过程的图像显著目标检测方法，属于图像处理技术领域，包括获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；将融合特征输入显著目标检测分支，并输出第二检测结果；利用第一检测结果和第二检测结果，产生输入图像的显著图。本发明专利技术将图像级分类特征和像素级语义特征结合起来，共同训练两种任务的损失，同时自适应地选择包含显著目标的图像进行增强学习，提高了模型的检测精度。

【技术实现步骤摘要】
一种具有自适应选择训练过程的图像显著目标检测方法
本专利技术涉及数据处理
，特别涉及一种具有可解释性的直推学习方法及系统。
技术介绍
图像显著目标检测模拟了人类视觉系统检测场景中最引人注目的物体的能力，它是图像处理的预处理部分，近年来取得了很大的研究进展。但是现有的数据集大多包含一个或多个简单的显著目标，这不能充分反映真实世界中图像的复杂性。真实场景图像中有时候并不包含显著物体，例如，天空、草地、纹理、高密度人群等。因此，现有的图像显著目标检测模型在现有的数据集上性能已趋于成熟，但在真实场景中不能达到满意的性能。因此亟需提供一种图像显著目标检测模型，用于在真实场景中检测显著目标，既要考虑图像中包含显著物体的情况，也要考虑图像中不含有显著物体的情况。
技术实现思路
本专利技术的目的在于克服现有技术存在的缺陷，提供一种具有自适应选择训练过程的图像显著目标检测方法，能够准确地对所有图像进行检测。为实现以上目的，本专利技术采用一种具有自适应选择训练过程的图像显著目标检测方法，包括如下步骤：获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；将融合特征输入显著目标检测分支，并输出第二检测结果；利用第一检测结果和第二检测结果，产生输入图像的显著图。进一步地，所述利用深度特征提取器提取输入图像的高层特征图和融合特征，包括：将所述输入图像至深度特征提取器M中，提取其高层语义特征和融合特征，其中，深度特征提取器M采用Resnet101作为主体网络，高层接ASPP模块，侧边连接四个上下文特征聚合模块CFAM。进一步地，所述将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征，包括：对于所述输入图像，利用所述Resnet101侧边输出四种不同分辨率的高层特征图Fm(m＝1,2,3,4)；利用所述ASPP模块输出特征图FASPP经过卷积操作产生特征图利用所述上下文特征聚合模块CFAM融合特征图FASPP、高一层CFAM模块输出的特征图以及同一层的Resnet101侧边输出的特征图Fm，输出特征图利用特征图融合，形成所述融合特征。进一步地，所述利用特征图融合，形成所述融合特征，包括：对所述特征图上采样到原始输入图像大小，然后连接在一起形成所述融合特征，具体为：其中，表示用于将特征恢复到输入图像的分辨率的上采样操作。进一步地，所述将高层语义特征输入显著目标存在性预测分支，并输出第一检测结果，包括：采用全局平均池化对所述高层特征图进行加速降维，生成1*1*2048全局特征，然后重新排列特征；将重新排列的特征的输入自定义为两个全连接层fc5、fc6，并生成显著性存在预测结果作为所述第一检测结果。进一步地，所述第二检测结果包括融合显著目标存在性预测结果的显著目标检测结果和不融合显著目标存在性预测结果的显著目标检测结果；所述将融合特征输入显著目标检测分支，并输出第二检测结果，包括：将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果；将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果。进一步地，所述将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果，包括：将所述融合特征与所述全连接层fc5的输出特征FSEP进行融合，形成所述融合显著目标存在性预测结果的显著目标检测结果。进一步地，所述将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果，包括：对所述融合特征执行两个具有3*3和1*1核大小的卷积运算以及sigmoid函数，形成所述不融合显著目标存在性预测结果的显著目标检测结果。进一步地，所述利用第一检测结果和第二检测结果，产生输入图像的显著图，包括：根据所述显著性存在预测结果与显著目标存在性真实标签之间的损失函数lossexistence；计算融合显著目标存在性预测结果的显著目标检测结果与显著目标真实值之间的损失函数losssaliency；根据不融合显著目标存在性预测结果的显著目标检测结果，计算所选图像的显著目标检测结果与所选图像的显著目标真实值selectY之间的损失函数lossselect；计算最终的损失函数lossfinal＝α*losssaliency+β*lossexistence+γ*lossselect，并利用最终的损失函数对图像显著目标检测模型进行监督和约束，识别出所述输入图像的显著图。进一步地，所述损失函数其中，所述输入图像为I＝{Ii|i＝1,..,B}，B表示一组图像的数量，z＝{zi|i＝1,..,B}表示显著性预测真值的集合，zi表示图像Ii是否包含显著目标，i表示一组图像中图像的索引，表示模型生成的第i张图片的显著性存在预测结果，表示所有图片显著性存在预测结果的集合；所述损失函数Y＝{Yi|i＝1,..,B}表示相对应的显著目标真实值的集合，表示所述融合显著目标存在性预测结果的显著目标检测结果；所述损失函数selectY＝IndexSelect(Y,index)，index为向量，用于存储包含显著目标的图像的序号，Y表示一组像素级真值图的集合，表示所述不融合显著目标存在性预测结果的显著目标检测结果，IndexSelect(Y,index)表示选择出显著图像对应的真值图，表示从中选择出显著图像对应的显著图。与现有技术相比，本专利技术存在以下技术效果：本专利技术中具有自适应选择训练过程的图像显著目标检测模型由输入图像提取高层特征和融合特征，高层特征送入显著目标存在性预测分支进行预测，融合特征送入显著目标检测分支进行检测，并结合显著目标存在性预测分支的结果产生显著图。显著目标存在性预测和显著目标检测双任务学习建立模型，在此基础上，模型选择包含显著目标的图像，根据其产生的未融合显著目标存在性预测特征的显著目标检测结果及真值之间的损失函数的监督和约束，加强模型对包含显著目标图像及不包含显著目标图像的检测能力。其图像显著目标检测方法根据图像的显著目标真实存在性标签，选择包含显著目标的图像进行增强学习，使其适用于检测包含显著目标以及不包含显著目标的所有图像。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种具有自适应选择训练过程的图像显著目标检测方法的流程示意图；图2是模型框架示意图。图3是上下文特征聚合模块示意图。图4是本专利技术方法与现有方法的对比结果示意图。具体实施方式为了更进一步本文档来自技高网...

【技术保护点】
1.一种具有自适应选择训练过程的图像显著目标检测方法，其特征在于，包括：/n获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；/n将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；/n将融合特征输入显著目标检测分支，并输出第二检测结果；/n利用第一检测结果和第二检测结果，产生输入图像的显著图。/n

【技术特征摘要】
1.一种具有自适应选择训练过程的图像显著目标检测方法，其特征在于，包括：
获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；
将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；
将融合特征输入显著目标检测分支，并输出第二检测结果；
利用第一检测结果和第二检测结果，产生输入图像的显著图。


2.如权利要求1所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述利用深度特征提取器提取输入图像的高层特征图和融合特征，包括：
将所述输入图像至深度特征提取器M中，提取其高层语义特征和融合特征，其中，深度特征提取器M采用Resnet101作为主体网络，高层接ASPP模块，侧边连接四个上下文特征聚合模块CFAM。


3.如权利要求2所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征，包括：
对于所述输入图像，利用所述Resnet101侧边输出四种不同分辨率的高层特征图Fm(m＝1,2,3,4)；
利用所述ASPP模块输出特征图FASPP经过卷积操作产生特征图
利用所述上下文特征聚合模块CFAM融合特征图FASPP、高一层CFAM模块输出的特征图以及同一层的Resnet101侧边输出的特征图Fm，输出特征图
利用特征图融合，形成所述融合特征。


4.如权利要求3所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述利用所述特征图融合，形成所述融合特征，包括：
对所述特征图上采样到原始输入图像大小，然后连接在一起形成所述融合特征，具体为：



其中，表示用于将特征恢复到输入图像的分辨率的上采样操作。


5.如权利要求1所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述将高层语义特征输入显著目标存在性预测分支，并输出第一检测结果，包括：
采用全局平均池化对所述高层特征图进行加速降维，生成1*1*2048全局特征，然后重新排列特征；
将重新排列的特征的输入自定义为两个全连接层fc5、fc6，并生成显著性存在预测结果作为所述第一检测结果。


6.如权利要求5所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述第二检测结果包括融合显著目标存在性预测结果的显著目标检测结果和不融合显著目标存在性预测结果的显著目标检测结果；所述将融合特征输入显著目标检测分支，并输出第二检测结果，包括：
将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果；
将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性...

【专利技术属性】
技术研发人员：刘政怡，董浩，项前，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34