基于轻量级卷积神经网络的实时图像语义分割方法及系统技术方案

本发明专利技术公开一种基于轻量级卷积神经网络的实时图像语义分割方法及系统，所述系统包括下采样单元、上采样单元和极致高效残差模块；下采样单元降低分辨率和改变通道数；上采样单元提升分辨率，并且改变通道数；极致高效残差模块由1D分解卷积、高效的深度可分离卷积和具有不同扩张率的扩张卷积构成，用于提取特征。本发明专利技术的整体网络架构是一种高效非对称多分支的编解码结构，没有使用额外的后处理策略和预训练模型，与目前最先进的轻量级网络模型相比，本发明专利技术提出的网络架构及分割方法实现了分割精度和实施效率之间的最佳平衡，成为解决实时图像语义分割任务的一种有效方法。

Real time image semantic segmentation method and system based on lightweight convolutional neural network

【技术实现步骤摘要】
基于轻量级卷积神经网络的实时图像语义分割方法及系统
本专利技术属于图像语义分割领域，具体涉及一种基于轻量级卷积神经网络的实时图像语义分割方法。
技术介绍
语义分割一直是计算机视觉中十分重要的领域，随着深度学习的流行，语义分割任务也取得了巨大进展。而作为计算机视觉的核心问题，场景理解的重要性越来越突出，因为现实中越来越多的应用场景需要从影像中推理出相关的知识或语义(即由具体到抽象的过程)，这些应用包括自动驾驶，人机交互，计算摄影学，图像搜索引擎，增强现实等。基于深度学习的图像语义分割是最好的解决方案之一，因为它在分析复杂环境时具有足够的鲁棒性，将捕获的图像分成几个区域，并识别每个像素的类别(对象)，因此可以将其视为像素级分类。与目标检测和图像分类任务不同的是，图像语义分割识别图像中的对象类别，并找到对象在图像中的位置。此外，它还提供精确的对象边界信息。尤其是在自动驾驶领域，稳定可靠的周围场景分析对于安全驾驶环境而言至关重要。近年来，卷积神经网络，特别是全卷积网络和编解码网络，已经成为解决语义分割问题的主要趋势。虽然通过设计更深更大的网络(本文档来自技高网...

【技术保护点】
1.一种基于轻量级卷积神经网络的实时图像语义分割方法，其特征在于，包括以下步骤：/n(1)对输入的原始图像进行预处理，获得降采样图像并作为编码器的输入图像；/n(2)利用下采样单元对降采样图像进行两倍的下采样，得到通道数为16的第一特征图；/n(3)利用下采样单元第一特征图进行两倍的下采样，得到通道数为64的第二特征图；/n(4)利用极致高效残差模块对第二特征图进行重复卷积操作，得到第三特征图；所述极致高效残差模块由1D分解卷积、高效的深度可分离卷积和具有不同扩张率的扩张卷积构成；/n(5)利用下采样单元对第三特征图进行两倍的下采样，得到通道数为128的第四特征图；/n(6)利用极致高效残差模...

【技术特征摘要】
1.一种基于轻量级卷积神经网络的实时图像语义分割方法，其特征在于，包括以下步骤：
(1)对输入的原始图像进行预处理，获得降采样图像并作为编码器的输入图像；
(2)利用下采样单元对降采样图像进行两倍的下采样，得到通道数为16的第一特征图；
(3)利用下采样单元第一特征图进行两倍的下采样，得到通道数为64的第二特征图；
(4)利用极致高效残差模块对第二特征图进行重复卷积操作，得到第三特征图；所述极致高效残差模块由1D分解卷积、高效的深度可分离卷积和具有不同扩张率的扩张卷积构成；
(5)利用下采样单元对第三特征图进行两倍的下采样，得到通道数为128的第四特征图；
(6)利用极致高效残差模块第四特征图进行重复卷积操作，得到第五特征图，即编码器的输出；
(7)利用上采样单元对第五特征图进行两倍的上采样，得到通道数为64的第六特征图；
(8)利用极致高效残差模块对第三特征图进行一次卷积操作，得到通道数为64的第一分支特征图，将第一分支特征图的信息与第六特征图的信息融合，构成新的第七特征图；
(9)利用极致高效残差模块第七特征图进行重复卷积操作，得到通道数为64的第八特征图；
(10)利用上采样单元对第八特征图进行两倍的上采样，得到通道数为16的第九特征图；
(11)利用上采样单元第三特征图进行两倍的上采样，得到通道数为16的第二分支特征图；
(12)利用极致高效残差模块对第二分支特征图进行一次卷积操作，得到通道数为16的新的第二分支特征图，将新的第二分支特征图的信息与第九特征图的信息融合，构成第十特征图；
(13)利用极致高效残差模块对第十特征图进行重复卷积操作，得到通道数为16的第十一特征图；...

【专利技术属性】
技术研发人员：周全，刘嘉，王杰，李圣华，强勇，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32