低计算量及高度特征融合的实时语义分割方法技术

本发明专利技术公开了一种低计算量及高度特征融合的实时语义分割方法。该方法网络结构为基于深度可分离卷积的多分支特征跨层融合的编码‑解码结构。该方法利用不同分辨率的原始图像作为多分支的输入，再通过由深度可分离卷积组成的残差模块提取特征，之后对多分支的不同阶段进行特征传递，提高了各阶段特征利用率。本发明专利技术在Cityscapes数据集上进行测试，取得了很好的实验结果：达到112.3Fps和65.6％的mIoU。可以在满足计算精度的同时达到实时分割的效果。

【技术实现步骤摘要】
低计算量及高度特征融合的实时语义分割方法
本专利技术涉及计算机视觉领域，特别是涉及低计算量及高度特征融合的实时语义分割方法。
技术介绍
近年来，随着并行计算理论和硬件实现水平的不断突破，计算机视觉领域得到了极大的发展。尤其是2012年ILSVRC(ImageNetLargeScaleVisualRecognitionChallenge)比赛中，基于卷积神经网络的AlexNet夺得分类项目的冠军，引发了深度学习的热潮，深度学习技术开始大放异彩。目前，在计算机视觉领域，深度学习，尤其是卷积神经网络，在各种视觉识别任务中，发挥着越来越重要的作用。语义分割是对图像进行密集预测，推断每个像素的分类标签。主要应用于静态的2D图像、视频、甚至3D数据，是计算机视觉领域的关键问题之一。语义分割的主要目的是促进对完整场景的理解。越来越多的应用程序通过根据图像推断信息，使场景理解作为核心计算机视觉问题的重要性逐渐凸显。其中的应用包括自动驾驶、人机交互、计算机摄影、图像搜索引擎和增强现实等等。传统的图像分割是非监督式学习问题，只是将相似的像素划分到一本文档来自技高网...

【技术保护点】
1.低计算量及高度特征融合的实时语义分割方法，其特征在于，包含以下步骤：/n步骤1：构建一种基于“编码器-解码器”的多分支结构的语义分割网络；/n步骤2：分别使用不同分辨率图像作为“编码器”中多分支的各个分支的输入；/n步骤3：在“编码器”的各个分支部分中，使用多个残差模块提取图像特征；/n步骤4：在残差模块中，使用深度可分离卷积代替传统卷积；/n步骤5：在各个分支最后，使用带孔空间金字塔池化扩大图像感受野；/n步骤6：将扩大感受野后的特征进行上采样，输入到下一分支的第一个残差模块中，进行拼接方式的特征融合；/n步骤7：将各个分支中各个残差模块提取的特征传递到下一分支相应的残差模块中，进行拼接...

【技术特征摘要】
1.低计算量及高度特征融合的实时语义分割方法，其特征在于，包含以下步骤：
步骤1：构建一种基于“编码器-解码器”的多分支结构的语义分割网络；
步骤2：分别使用不同分辨率图像作为“编码器”中多分支的各个分支的输入；
步骤3：在“编码器”的各个分支部分中，使用多个残差模块提取图像特征；
步骤4：在残差模块中，使用深度可分离卷积代替传统卷积；
步骤5：在各个分支最后，使用带孔空间金字塔池化扩大图像感受野；
步骤6：将扩大感受野后的特征进行上采样，输入到下一分支的第一个残差模块中，进行拼接方式的特征融合；
步骤7：将各个分支中各个残差模块提取的特征传递到下一分支相应的残差模块中，进行拼接方式的特征融合；
步骤8：将该结构的网络在训练集上进行训练；
步骤9：使用训练好的模型对测试集进行分割，得到该方法的分割结果及效果。


2.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤1中，构建一种基于“编码器-解码器”的多分支结构的语义分割网络，在这个结构中，“编码器部分”由三个并行分支组成，通过卷积、池化等操作提取特征，得到深层特征，但图像尺寸也不断减小；“解码器”部分将“编码器”提取到的不同阶段的特征进行特征融合并上采样操作，恢复特征图尺寸，最终得到与原始图像尺寸相同的语义分割结果图。


3.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤2中，将原始图像进行2倍下采样与4倍下采样，并将原始尺寸图像、2倍下采样图像与4倍下采样图像分别作为“编码器”中三个分支的输入，输入全分辨率的图像，可以得到比较丰富的空间信息；输入经过2倍或4倍下采样的低分辨率图像，可以以较低的计算量来采取图片的语义信息。


4.根据权利要求1所述的低计算量及高度特征融合的实时语义分割方法，其特征在于，所述步骤3中，在每个“编码器”的分支中，使用三个深度不同的残差模块通过级联进行下采样并提取图像特征，每个残差模块由三个尺寸...

【专利技术属性】
技术研发人员：杨绿溪，朱紫辉，王路，顾恒瑞，李春国，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32