本发明专利技术涉及一种带上下文信息编码的语义分割卷积神经网络，改造已有的SegNet语义分割卷积神经网络，步骤如下：基于SegNet搭建语义分割卷积神经网络架构；选定需要提取全局特征的位置和需要融合全局特征的位置；确定全局特征张量的统一维度；确定每一个全局特征提取器和每一个全局特征融合器的构造；将每个全局特征提取器提取得到的新全局特征，与已有的全局特征逐元素相加；将每个全局特征融合器输出的全局特征，与当前的局部特征连接作为新的特征信息，得到的带全局信息编码的SegNet；得到带全局信息编码的语义分割卷积神经网络。
【技术实现步骤摘要】
一种带上下文信息编码的语义分割卷积神经网络
本专利技术属于机器学习和神经网络领域，特别涉及一种带上下文信息编码的语义分割卷积神经网络。
技术介绍
卷积神经网络(ConvolutionalNeuralNetwork,CNN)在图像和视频的语义分割任务中取得了当前最好的效果。主流的网络结构包含全卷及网络类似结构和编码器-解码器结构，已有一些方法在语义分割网络中建模上下文信息，但是效果非常有限。条件随机场(CriteriaRandomField，简称CRF)是一种可以建模上下文信息的后处理方法(ShuaiZhengetal.2015；andKoltun2011；Chen,Papandreou,Kokkinos,etal.2017)，但是需要额外的迭代步骤来训练CRF。另外作为一种后处理方法，CRF对神经网络特征提取和表达没有帮助。ParseNets(Liu,Rabinovich,andBerg2015)使用提前融合的策略，将上下文信息编码为向量，并上采样到与特征图相同的尺寸与特征图融合。这种方法使用向量作为上下文编码，导致上下文特征的表达能力很有限。Chen,Liang-Chieh,GeorgePapandreou,IasonasKokkinos,KevinMurphy,andAlanL.Yuille.2017.“DeepLab:SemanticImageSegmentationwithDeepConvolutionalNets,AtrousConvolution,andFullyConnectedCRFs.”IEEETransactionsonPatternAnalysisandMachineIntelligence40(4):834–48.https://doi.org/10.1109/TPAMI.2017.2699184.Chen,Liang-Chieh,GeorgePapandreou,FlorianSchroff,andHartwigAdam.2017.“RethinkingAtrousConvolutionforSemanticImageSegmentation.”ArXiv:1706.05587[Cs],June.http://arxiv.org/abs/1706.05587.Philipp,andVladlenKoltun.2011.“EfficientInferenceinFullyConnectedCRFswithGaussianEdgePotentials.”InAdvancesinNeuralInformationProcessingSystems24,editedbyJ.Shawe-Taylor,R.S.Zemel,P.L.Bartlett,F.Pereira,andK.Q.Weinberger,109–117.CurranAssociates,Inc.http://papers.nips.cc/paper/4296-efficient-inference-in-fully-connected-crfs-with-gaussian-edge-potentials.pdf.Liu,Wei,AndrewRabinovich,andAlexanderC.Berg.2015.“ParseNet:LookingWidertoSeeBetter.”ArXiv:1506.04579[Cs],June.http://arxiv.org/abs/1506.04579.Ran,Lingyan,YanningZhang,andGangHua.2015.“CANNET:ContextAwareNonlocalConvolutionalNetworksforSemanticImageSegmentation.”InProceedingsof2015IEEEInternationalConferenceonImageProcessing,4669–73.https://doi.org/10.1109/ICIP.2015.7351692.Zheng,Shuai,SadeepJayasumana,BernardinoRomera-Paredes,VibhavVineet,ZhizhongSu,DalongDu,ChangHuang,andPhilipH.S.Torr.2015.“ConditionalRandomFieldsasRecurrentNeuralNetworks.”InProceedingsof2015IEEEInternationalConferenceonComputerVision,1529–37.Santiago,Chile:IEEE.https://doi.org/10.1109/ICCV.2015.179.
技术实现思路
本专利技术目的在于提供一种上下文信息表达能力较强的带上下文信息编码的语义分割卷积神经网络。本专利技术是一种具有特征表示能力强、信息丰富的上下文信息建模方法，能够动态地、交互地融合全局特征和局部特征。本专利技术的技术方案如下：一种带上下文信息编码的语义分割卷积神经网络，改造已有的SegNet语义分割卷积神经网络，将全局特征提取器、全局特征融合器加入到SegNet中，并定义SegNet原始结构中得到的特征为局部特征，与之相对地，全局特征提取器提取到的特征称为全局特征，全局特征与局部特征统称为上下文信息，具体步骤如下：(1)准备训练数据，包括训练图像和逐像素的语义分割标注；(2)基于SegNet搭建语义分割卷积神经网络架构；(3)选定需要提取全局特征的位置；(4)选定需要融合全局特征的位置；(5)确定全局特征张量的统一维度；(6)确定每一个全局特征提取器和每一个全局特征融合器的构造；(7)将每个全局特征提取器提取得到的新全局特征，与已有的全局特征逐元素相加；(8)将每个全局特征融合器输出的全局特征，与当前的局部特征连接作为新的特征信息，得到的带全局信息编码的SegNet。(9)利用步骤1中的训练数据训练所得到的神经网络，使用迷你批量随机梯度下降的优化方法，选用交叉熵损失和权重衰减损失的和作为损失项，并设置权重衰减系数和学习率训练至损失函数值收敛；(10)将步骤(9)训练得到的神经网络权重保存，得到带全局信息编码的语义分割卷积神经网络。本专利技术实质性的特点是：通过引入全局特征提取器和全局特征融合器，提供了一种特征表达灵活、信息丰富、能够动态交互地更新的全局上下文信息编码模块，进而构成所专利技术的带上下文信息编码的语义分割卷积神经网络。这种神经网络能够对图像或视频语义分割中的全局上下文信息进行细粒度建模和提取，并能够细粒度地融合全局特征与局部特征，可用于改进已有的语义分割卷积神经网络模型。有益效果如下：1.与已有的上下文信息建模方法对比，本专利技术的上下文模块能够提供丰富的全局特征表达。2.通过专利技术提取器和融合器，本专利技术的全局上下文特征能够灵活、交互地与局部特征进行更新和融合，从而提高总体的分割效果，尤其是避免了传统方法分割边缘不清、分割小物体困难、容易出现成片或孔洞错误的情况。3.本专利技术实现方便，与现有神经网络训练和预测方法相容。附图说明图1本专利技术的结构示意图2实施案例中的使用的整体网络结构图3本文档来自技高网...
【技术保护点】
1.一种带上下文信息编码的语义分割卷积神经网络，改造已有的SegNet语义分割卷积神经网络，将全局特征提取器、全局特征融合器加入到SegNet中，并定义SegNet原始结构中得到的特征为局部特征，与之相对地，全局特征提取器提取到的特征称为全局特征，全局特征与局部特征统称为上下文信息，具体步骤如下：(1)准备训练数据，包括训练图像和逐像素的语义分割标注；(2)基于SegNet搭建语义分割卷积神经网络架构；(3)选定需要提取全局特征的位置；(4)选定需要融合全局特征的位置；(5)确定全局特征张量的统一维度；(6)确定每一个全局特征提取器和每一个全局特征融合器的构造；(7)将每个全局特征提取器提取得到的新全局特征，与已有的全局特征逐元素相加；(8)将每个全局特征融合器输出的全局特征，与当前的局部特征连接作为新的特征信息，得到的带全局信息编码的SegNet。(9)利用步骤1中的训练数据训练所得到的神经网络，使用迷你批量随机梯度下降的优化方法，选用交叉熵损失和权重衰减损失的和作为损失项，并设置权重衰减系数和学习率训练至损失函数值收敛；(10)将步骤(9)训练得到的神经网络权重保存，得到带全局信息编码的语义分割卷积神经网络。...
【技术特征摘要】
1.一种带上下文信息编码的语义分割卷积神经网络，改造已有的SegNet语义分割卷积神经网络，将全局特征提取器、全局特征融合器加入到SegNet中，并定义SegNet原始结构中得到的特征为局部特征，与之相对地，全局特征提取器提取到的特征称为全局特征，全局特征与局部特征统称为上下文信息，具体步骤如下：(1)准备训练数据，包括训练图像和逐像素的语义分割标注；(2)基于SegNet搭建语义分割卷积神经网络架构；(3)选定需要提取全局特征的位置；(4)选定需要融合全局特征的位置；(5)确定全局特征张量的统一维度；(6)...
【专利技术属性】
技术研发人员：庞彦伟，孙汉卿，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。