基于双分支特征融合的语义分割方法、装置、设备制造方法及图纸

本申请涉及基于双分支特征融合的语义分割方法、装置、设备。所述方法包括：本专利提出了一个双通道的语义分割网络，网络分为两个分支

【技术实现步骤摘要】
基于双分支特征融合的语义分割方法、装置、设备
[0001]本专利技术涉及计算机视觉
，尤其是基于双分支特征融合的语义分割方法、装置、设备。

技术介绍

[0002]语义分割是计算机视觉中的关键任务之一，其目的是为图像中的所有像素分配密集的标签，即一个具体到抽象的过程。近年来，卷积神经网络的结构不断创新，取得了令人印象深刻的效果。全卷积网络证明了端到端、像素到像素方式的卷积神经网络超过之前最先进的技术，全卷积神经网络包括将全连接层转化为卷积层以及通过反卷积进行上采样；使用跳跃连接结构使语义信息可以和表征信息相结合，产生准确而精细的分割。随着网络深度的增加，全卷积的感受野增长缓慢，这种有限的感受野无法完全模拟图像中像素之间的长距离关系。Unet结合了低分辨率信息(物体类别)和高分辨率信息(精准分割定位)，完美适用于医学图像分割，卷积在很多识别任务中表现不错，但是始终没有应用到具体任务，训练规模有限，网络规模没有保障，所以难以被重视。PSANet在解码器中引入注意力机制，通过自适应注意力机制将特征图每个位置的像素联系起来促进信息传递，提升复杂场景下的分割效果。De本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双分支特征融合的语义分割方法、装置、设备，其特征包括以下方法：获取高分辨率的图像，以及对所述图像进行标注，得到训练、验证、测试样本；构建网络框架，该网络由细节分支和语义分支两部分组成，将给定图像输入到骨干网络中提取语义特征，首先我们先将输入图像的尺寸减小16倍；将骨干网络中提取特征经过空洞空间卷积池化金字塔，由1个1
×
1卷积核三个扩张率依次为3、6、12的3
×
3空洞卷积组成；使用1
×
1卷积减少通道数，后再接一个BN，ReLU激活函数和Dropout；使用双线性插值对其进行4倍上采样，得到语义分支的特征图；细节分支从输入图片中提取的纹理信息来获得细节边缘特征，目的是提取空间细节信息，再利用边缘特征来强化语义信息，细节分支作为语义分支的补充，会与语义特征图相加来补充细节特征；融合模块(FFM)用于融合高级语义和细节信息，本文在底层特征中引入语义信息，在高层特征中引入细节信息，使后续融合更有效，以增强特征表示；将融合得到的特征图部分，插入细节头以生成二分类细节标签，然后利用二分类细节标签作为细节特征图的引导，引导底层学习空间细节特征；最后在特征图部分依次经过1
×
1卷积将通道数减小，后再接一个BN，ReLU激活函数；对融合模块和语义分支的特征图进行合并；然后输入到解码器当中，也就是经过3
×
3卷积，BN，ReLU，Dropout；上采样4倍得到最终的结果；用Binary cross entropy和Dice Loss、Focal Loss、CE Loss来联合优化细节学习；网络进行训练，得到训练好的基于双分支特征融合的语义分割的算法模型；获取待测试图像，并将所述待测试图像输入到训练好的分割模型中，得到该图像的预测结果。2.如权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备，其特征在于，所述建立图像数据集，包括：采集图像样本；通过图像标注工具对采集的图像样本进行标注，语义分割的结果是将图像变成带有一定语义信息的色块。语义分割技术可以识别出每个色块的语义类别，并给每个像素都标注上其对应的标签；利用标注后的图片样本构建样本数据集，将所述样本数据集划分为训练数据集、验证集和测试数据集，并对所述训练数据集进行预处理。3.根据权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备，其特征在于，特征提取部分所用的主干网络为Xception、VGGNet、Resnet18。4.根据权利要求1所述的基于双分支特征融合的语义分割方法、装置、设备，其特征在于，该网络由语义分支和细节分支两部分组成。细节分支从输入图片中提取的纹理信息来获得细节边缘特征，目的是提取空间细节信息，再利用边缘特征来强化语义信息，细节分支作为语义分支的补充，会与语义特征图相加来补充细节特征。5.根据权利要求4所述的基于双分支特征融合的语义分割方法、装置、设备，其特征在于，在我们的细节分支中，首先是提取了图片的纹理信息，学习稳健的纹理表示，包括一阶梯度Sobel、拉普拉斯和局部二进制模式方法。我们融合了来自多个用于纹理表示的卷积层，利用多纹理信息，提取它们之间的互补关系，然后再使用融合模块去融合语义信息和细
节信息。6.根据权利要求5...

【专利技术属性】
技术研发人员：周书仁，晏周荃，朱俣键，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：