一种基于多尺度视觉特征提取的轻量级语义分割方法技术

本发明专利技术公开了一种基于多尺度视觉特征提取的轻量级语义分割方法，包括以下步骤：网络建立：首先构建基于多尺度特征提取的轻量级卷积神经网络LitNet，通过特征提取器提取图像特征，将特征传入融合空洞卷积的空间金字塔模块提取图像多尺度特征，最后通过简单上采样模块完成特征整合，恢复图像分辨率；网络训练：使用Tensorflow框架搭建网络结构，使用交叉熵函数作为损失函数，使用Adam算法优化训练参数，并在训练过程中采用早停策略防止网络训练过拟合，以达到最优训练效果；网络测试：将测试图像输入网络，得到语义分割结果，并计算mIoU与FPS，对网络性能进行评估，经过测试，本发明专利技术在CamVid数据集上模型大小为10M，mIoU为70.24％，可以达到34FPS，可以满足实时分割要求。

【技术实现步骤摘要】
一种基于多尺度视觉特征提取的轻量级语义分割方法
本专利技术属于图像分割
，涉及一种基于多尺度视觉特征提取的轻量级语义分割方法。
技术介绍
在无人机，无人驾驶等高机动性的自主决策终端系统中，如何实现准确的环境感知是系统运行的重要基础，可通过对设备采集图片进行知识推断，完成设备的场景理解。图像语义分割是AI领域的一个重要分支，是机器视觉技术中关于图像理解的重要一环。语义分割(semanticsegmentation)是从粗推理到精推理的过程，即通过查找图像像素所属类别，识别图中存在的内容以及位置，最终完成图像中各物体对象的整体标注，形成图像掩膜或输出每个像素所属类别。近年来随着深度学习的普及，许多语义分割问题正在采用深层次的结构来解决，最常见的是卷积神经网络(CNN)，在精度及效率上超过其他方法。然而，此类方法使用了复杂的网络结构，计算资源和运算时间要求较高，在资源受限的嵌入式环境中受到极大的应用限制。目前各应用语义分割任务的领域多属于移动端系统或高机动性系统，语义分割网络模型大且推理速度慢，现有方法进行语义分割时为实现轻量化一般的做本文档来自技高网...

【技术保护点】
1.一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，具体按以下步骤实施：/n步骤1，构建基于多尺度特征提取的轻量级卷积神经网络LitNet；/n步骤2，将经步骤1建立的神经网络进行训练；/n步骤3，将经步骤2训练好的网络进行测试。/n

【技术特征摘要】
1.一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，具体按以下步骤实施：
步骤1，构建基于多尺度特征提取的轻量级卷积神经网络LitNet；
步骤2，将经步骤1建立的神经网络进行训练；
步骤3，将经步骤2训练好的网络进行测试。


2.根据权利要求1所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述步骤1的具体实施过程包括：所述多尺度特征提取的轻量级卷积神经网络结构包括特征提取模块、多尺度融合模块和上采样模块三部分，具体按以下步骤实施：
步骤1.1，图像输入网络后，首先通过特征提取模块进行下采样提取特征；
步骤1.2，再经过多尺度融合模块融合上下文信息，提取图像多尺度特征；
步骤1.3，最后通过上采样模块恢复图像尺寸，提高图像分辨率，输出分割结果。


3.根据权利要求2所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述特征提取模块具体按以下步骤实施：
步骤1.1.1，输入图像，设置widthmultiplerα为1；
步骤1.1.2，对输入图像进行一次普通卷积操作，压缩1次h*w，将通道数调整为32*α通道，并进行BatchNormalization与relu激活；
步骤1.1.3，将步骤1.1.2中所得特征图传入反残差卷积块进1次反残差卷积，得到通道数为16的特征图；
步骤1.1.4，对步骤1.1.3所得特征图进行16次反残差卷积操作，输出320通道的特征图。


4.根据权利要求3所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述反残差卷积构造步骤为：
首先通过1*1卷积进行通道扩张，并进行BatchNormalization与relu激活；然后通过3*3可分离卷积，并引入空洞卷积进行处理；进而通过1*1卷积调整通道，并进行BatchNormalization与relu激活；最后引入残差网络结构，将输入与最终卷积输出进行融合。


5.根据权利要求2所述的一种基于多尺度视觉特征提取的轻量级语义分割方法，其特征在于，所述多尺度融合模块具体按以下步骤实施：
步骤1.2.1，将特征提取模块所得特征图传入多尺度融合模块，构造平均全局池化层、膨胀率分别为1，6，12，18的空洞卷积模块；
步骤1.2.2，获取整体特征然后进行1x1卷积调整通道数，并恢复分辨率；,
步骤1.2.3，通过1*1卷积获取整体特征，改变通道数；
步骤1.2.4，分别使用膨胀率为6，12，1...

【专利技术属性】
技术研发人员：宋霄罡，付旺，梁莉，张元培，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61