基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法制造技术

本发明专利技术提出了一种基于多级卷积神经网络的显著性检测算法，包括使用大感受野的全局估计模型做全局显著性估计；训练全局估计模型时，使用全连接层作为输出层训练并初始化部分卷积层参数；使用多个交替的卷积层和升采样层替换全连接层，训练并得到更优的全局显著性估计图；使用感受野小、输出图片尺寸大的局部卷积神经网络融合全局和局部信息，得到高质量的显著性图。经过局部卷积神经网络的处理，可以将原始图像作为模型的输入，最终的输出的结果不仅与原始输入图像具有相同大小，并且更加清晰。提供的基于多级卷积神经网络的显著性检测算法，相比传统方法，拥有更高的准确性，能更准确找到显著目标的同时，目标轮廓也更加清晰。

【技术实现步骤摘要】

本专利技术涉及一种基于深度卷积神经网络的自然图像中视觉显著性检测的方法，应用于复杂背景下显著目标区域的检测。
技术介绍
人类的视觉可以很快地找到周围环境中的显著目标，忽略掉一些人类不感兴趣的信息，并关注视觉图像中重要的部分，这样可以避免大脑处理繁杂而用处不大的信息。视觉显著性检测就是为了模拟人的快速感知环境行为。随着各种数码设备的普及以及互联网的高速发展，各种图片、视频数据越来越多。与人的视觉类似，计算机可以通过图像或视频的显著性检测来提取图片中显著性信息，快速定位图像中需要处理的区域。通过视觉显著性检测，可以将计算资源优先分配给图像中的主要区域，减少计算开销，在计算机视觉领域意义重大。视觉显著性是很多视觉检测任务的重要步骤，在很多计算机视觉领域都起到了很大的作用，如目标检测与识别、自适应压缩、图像分割、图像检索、基于内容感知的图像编辑等。神经网络提出时与生物学系统紧密相连，模拟了生物神经元的结构和功能。在BP算法提出后，神经网络能解决许多基本的学习问题。在之后的几十年中，发展出了许多新的方法和技术，例如非监督的权重预训练技术、模型的设计和训练方法，也由此引出了深度学习技术。LeCun在1998年提出了LeNet-5，成功应用于手写体识别并被认为是手写体识别领域评判算法识别性能的标准。随后，卷积神经网络在许多模式识别任务上都取得了很好的效果。使用深度学习技术有助于显著性检测算法取得更鲁棒、更优秀的效果。<br>现有准确率较高的算法大多使用了过分割技术作为预处理手段，再通过判断每一个分割区域是否显著生成显著性图。这种方法的效果以及运算速度很大地依赖于分割算法，一方面显著目标的边界划分完全依赖于分割算法的分割精度，另一方面运行速度完全受限于分割算法的速度。
技术实现思路
本专利技术提供了一种基于多级卷积神经网络的显著性检测算法，其目的在于检测、查找自然图像中的显著目标，提高算法的准确度和运行速度。本专利技术采用以下技术方案：一种基于多级卷积神经网络的全局-局部优化模型，包括：全局估计模型和局部优化模型；所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层和池化层组成；B部分由两个级联的全连接层组成；C部分由多个卷积层和升采样层级联组成；A部分的输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输入为全局估计模型的输出；局部优化模型主要由卷积层、池化层、升采样层组成，分为D、E两部分；其中，D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端，E部分的输出端即为全局-局部优化模型的输出。优选地，A部分由七个卷积层和三个池化层组成，其连接关系为：conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7，其中，conv1为输入端，与原始图像连接，conv7为输出端。优选地，所述C部分的连接为：upscale1-conv8-conv9-conv10-upscale2-conv11-conv12-upscale3-conv13-conv14-conv15。一种基于多级卷积神经网络的显著性检测算法，包括以下步骤：S1：以原始图像作为训练样本，以标准图像为样本标注，对全局估计模型中A部分的参数进行初始化；S2：以原始图像作为训练样本，以标准图像为样本标注，对全局估计模型中C部分的参数进行训练，得到粗略的全局显著性图；S3：以原始图像作为训练样本，以标准图像为样本标准，以得到的粗略的全局显著性图作为参考，对局部优化模型进行训练，即可得到最终的显著性图。优选地，作为训练样本的原始图像和作为样本标注的标准图像的缩放大小以由所应用的模块决定。优选地，步骤S2的训练过程中，A部分中的参数固定不变，训练采用以下公式作为损失函数：L(θ2;x,y)=-1m[Σi=1mΣj=011{y(i)=j本文档来自技高网...

【技术保护点】
一种基于多级卷积神经网络的全局‑局部优化模型，其特征在于：包括：全局估计模型(GEM)和局部优化模型(RfM)；所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层和池化层组成；B部分由两个级联的全连接层(FC)组成；C部分由多个卷积层和升采样层级联组成；A部分的输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输入为全局估计模型的输出；局部优化模型(RfM)主要由卷积层、池化层、升采样层组成，分为D、E两部分；其中，D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分的输入端，E部分的输出端即为全局‑局部优化模型的输出。

【技术特征摘要】
1.一种基于多级卷积神经网络的全局-局部优化模型，其特征在于：包括：全局估计模型
(GEM)和局部优化模型(RfM)；
所述全局估计模型包括初始化分支通路和主通路，所述初始化分支通路由A部分和B部分
级联组成，所述主通路由A部分和C部分级联组成；其中，A部分由卷积层和池化层组成；B
部分由两个级联的全连接层(FC)组成；C部分由多个卷积层和升采样层级联组成；A部分的
输入连接原始图像，A部分的输出分别与B部分和C部分的输入连接，C部分的输入为全局估
计模型的输出；
局部优化模型(RfM)主要由卷积层、池化层、升采样层组成，分为D、E两部分；其中，
D部分的输入端与原始图像相连，D部分的输出端与全局估计模型的输出端一起输入到E部分
的输入端，E部分的输出端即为全局-局部优化模型的输出。
2.根据权利要求1所述的一种基于多级卷积神经网络的全局-局部优化模型，其特征在于：
A部分由七个卷积层和三个池化层组成，其连接关系为：
conv1-pool1-conv2-conv3-conv4-pool2-conv5-conv6-pool3-conv7，
其中，conv1为输入端，与原始图像连接，conv7为输出端。
3.根据权利要求2所述的一种基于多级卷积神...

【专利技术属性】
技术研发人员：王飞，汪子钦，姜沛林，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61