一种基于全局模型和局部优化的深度网络显著性检测方法技术

技术编号:22975044 阅读:34 留言:0更新日期:2019-12-31 23:33
本发明专利技术公开了一种基于全局模型和局部优化的深度网络显著性检测方法,该方法基于深度卷积神经网络和手工提取特征相结合的思路,设计有效的特征向量进行显著性检测。在全局模型中,通过对VGG‑16网络设计额外的卷积层进行训练,生成初始显著图,达到了从图像整体角度预测每一个候选区域显著性的目的。在局部优化模型中,设计区域对比度描述子和区域特征描述子对多级分割的超像素点进行描述,预测每一个区域的显著性值。最后,利用条件随机场拟合的方法将两种模型中产生的显著图进行融合,得到最终的显著图。对4个数据集进行对比测试实验,实验结果验证了本发明专利技术的有效性。

A method of deep network significance detection based on global model and local optimization

【技术实现步骤摘要】
一种基于全局模型和局部优化的深度网络显著性检测方法
本专利技术涉及一种基于全局模型和局部优化的深度网络显著性检测方法,属于计算机视觉中显著性检测

技术介绍
人类的视觉机制在处理高级任务之前,会选择出整幅图像的部分子集来进行深度处理,以此减少场景的复杂度,这种选择部分区域来进行注意的机制称作视觉显著性。显著性检测是对人类视觉注意机制的研究发展而来的一种图像处理方法,可以优先将计算资源快速而准确地分配给图像中的感兴趣区域,提高处理效率和准确度,因此,该方法可以作为目标识别和检测的一个预处理过程,避免了对目标候选区域定位上的穷尽搜索。显著性检测的方法在计算机视觉的诸多领域都有着广泛的应用,如提取候选区域、探测目标等,该方法可以作为复杂任务的前端处理。传统的显著性检测方法,往往需要手工设计特征并需要结合一定的先验知识作为判断依据来近似人眼视觉注意机制。近年来,随着深度学习技术的发展和应用,由于其具有类似人脑神经元结构的学习模型,因此,在模拟人类视觉系统的显著性检测领域具有天然的优势。此类方法可以自动地在原始图像上提取分层特征,本文档来自技高网...

【技术保护点】
1.一种基于全局模型和局部优化的深度网络显著性检测方法,其特征在于,包括如下步骤:/n步骤1,在全局模型中,以VGG-16网络为基础通过添加额外的连接层进行训练,设计一个端到端的回归卷积神经网络,可以将输入图像直接映射生成初始显著图,该网络可在多个尺度上产生多级特征来检测显著性目标,达到从图像整体角度预测每一个候选区域显著性目标的目的,共生成5个基于全局模型的初始显著图。/n步骤2,在局部模型中,利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测,将深度网络将显著性的划分转化为二分类问题,通过学习多级图像块的特征来预测每一个像素的显著性值,生成局部显著图。/n...

【技术特征摘要】
1.一种基于全局模型和局部优化的深度网络显著性检测方法,其特征在于,包括如下步骤:
步骤1,在全局模型中,以VGG-16网络为基础通过添加额外的连接层进行训练,设计一个端到端的回归卷积神经网络,可以将输入图像直接映射生成初始显著图,该网络可在多个尺度上产生多级特征来检测显著性目标,达到从图像整体角度预测每一个候选区域显著性目标的目的,共生成5个基于全局模型的初始显著图。
步骤2,在局部模型中,利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测,将深度网络将显著性的划分转化为二分类问题,通过学习多级图像块的特征来预测每一个像素的显著性值,生成局部显著图。
步骤3,在显著图融合中,利用条件随机场(CRF)的方法,将全局和局部模型得到的多个初始显著图进行融合,生成最终的显著图。


2.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法,其特征在于,步骤1中,针对输入图像,本发明中采用的网络模型共有5组13个卷积层和相应的映射单元,以及5个池化层,2个全连接层和1个输出层。
输入图像经过5层池化操作之后,输出14×14×512维的特征向量。
本发明对该模型进行改进,通过设计合理的卷积核、步长、边缘补充、池化等操作,提取不同层级的特征信息,使其不同层能够生成多个相同尺度的初始显著图。


3.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法,其特征在于,步骤2中,本发明采用固定大小的图像块,通过滑动的方式生成局部模型训练数据集,利用卷积神经网络进行中心像素点与周围邻域的显著性检测训练。
针对每个划分的图像块P和标准显著图G构建训练数据,正样本定义为:当图像块P与G重叠部分满足:
|P∩G|≥0.8×min(|P|,|G|)
负训练样本定义为:...

【专利技术属性】
技术研发人员:刘峰沈同圣郭少军黎松赵德鑫孟路稳于化鹏
申请(专利权)人:中国人民解放军军事科学院国防科技创新研究院
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1