一种面向交通场景的实时语义分割方法技术

本发明专利技术提供一种面向交通场景的实时语义分割方法，高效的实时语义分割网络通常主要从特征提取、网络结构设计、特征融合等方向解决实时语义分割的难点。包括：构建高效的特征提取结构：采用通道拆分和通道混洗操作来降低参与运算的通道数目；构建高效的共享型空间路径：采用双分支结构的网络设计，使用深度可分离卷积构建简单高效的浅层网络用来提取图像的空间信息；构建高效的多尺度上下文路径：使用深度可分离卷积与空洞卷积组建的高效特征提取结构构建高效的上下文路径；构建交互性极强的特征融合结构：构建两种不同尺度的上下文信息与空间信息，在融合后采用跳跃连接的方式融合由上下文路径与空间路径构成的中分辨率路径。路径。路径。

【技术实现步骤摘要】
一种面向交通场景的实时语义分割方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种面向交通场景的实时语义分割方法。

技术介绍

[0002]随着新时代通讯技术的诞生以及硬件设备的进步，人工智能离我们距离逐渐缩短。技术的进步使人类对智能化有了重新的定义。现阶段，人们希望机器能够像人类一样具有学习、理解和规划等能力。在日常感知外界信息时，我们至少有80％以上的信息是通过视觉感知的。因此，视觉是人类最重要的感知方式。同样的，计算机视觉在人工智能智能领域也是一项十分关键的技术。计算机视觉已经成为人工智能中不可或缺的组成部分之一。随着深度学习的发展与进步，计算机视觉正在以前所未有的速度高速发展。计算机视觉已经成为当下发展最快的领域之一。
[0003]近几年，随着现代化电动汽车技术的高速发展，自动驾驶从课本中走向了现实。自动驾驶能够有效地缓解交通拥堵、避免因驾驶员不规范的驾驶行为所造成的交通事故、为人们的安全出行提供了重要保障。
[0004]在深度学习兴起之前，提取不同特征需要手工设计不同的特征提取方法，正因如此传统方法发展缓慢。如今，由于深度学习技术的发展、高精度的数据集标签以及GPU性能的提升，从而我们可以使用深度卷积神经网络来自动学习并获取我们所需的特征，这极大程度上促进了语义分割技术的发展。语义分割是一个密集预测问题，由于网络需要对图像中的每个像素进行分类，语义分割网络的速度通常难以实际应用。如何平衡准确度与效率是一个非常有挑战性的研究。
[0005]随着智能化的发展以及自动驾驶的普及，语义分割网络的运行效率、内存的使用、网络的复杂度逐渐愈发的重要。因此，高效率的语义分割网络已经成为了一个十分重要的研究方向。

技术实现思路

[0006]为了解决
技术介绍
提出的技术问题，本专利技术提供一种面向交通场景的实时语义分割方法，基于深度学习的理论基础，深入研究了卷积神经网络提取图像特征的方法。着重研究了道路交通场景下的实时语义分割网络。高效的实时语义分割网络通常主要从特征提取、网络结构设计、特征融合等方向解决实时语义分割的难点。
[0007]为了达到上述目的，本专利技术采用以下技术方案实现：
[0008]一种面向交通场景的实时语义分割方法，包括如下步骤：
[0009]步骤一：选取街道场景数据集文件，预处理数据集；
[0010]步骤二：构建高效的特征提取结构
[0011]所述结构采用通道拆分和通道混洗操作来降低参与运算的通道数目；在所述结构中，采用深度可分离卷积来提取图像特征，通过深度可分离卷积进一步的降低网络的参数
量以及网络的计算复杂度，从而极大程度上的提高网络的性能；
[0012]步骤三：构建高效的共享型空间路径
[0013]所述空间路径采用双分支结构的网络设计，用来恢复丢失的空间路径；使用深度可分离卷积构建简单高效的浅层网络用来提取图像的空间信息；还将所述空间路径的权重与上下文路径共享，使上下文路径在不增加参数的前提下增加网络的层数，从而扩大感受野；
[0014]步骤四：构建高效的多尺度上下文路径
[0015]使用深度可分离卷积与空洞卷积组建的高效特征提取结构构建高效的上下文路径，通过采用不同膨胀系数的空洞卷积与深度可分离卷积相结合，构建具有多尺度、大感受野的上下文路径，通过扩大感受野上下文路径能够获取丰富的上下文信息，从而增强小目标的分割效果；
[0016]步骤五：构建交互性极强的特征融合结构
[0017]在特征提取后构建两种不同尺度的上下文信息与空间信息，通过将其相互融合来达到充分交互的目的，在融合后，采用跳跃连接的方式融合由1/16阶段的上下文路径与1/4阶段空间路径构成的中分辨率路径，最后，得到的特征图经过计算权重向量得到最终的特征图。
[0018]进一步地，选取Cityscapes数据集和CamVid数据集来完成网络的训练，Cityscapes数据集用来对模型的建立，CamVid用来验证网络的迁移性。
[0019]进一步地，所述步骤二中，采用残差结构来设计，在有限的计算资源内平衡预测时的速度与精度的问题上，在残差块中加入ChannelSplit和ChannelShuffle的操作；通过对通道使用Split和Shuffle操作达到特征重用的效果，通过这种方式增强了特征通道间的信息交互，从而在未增加计算量的前提下提高模型的密集预测能力并且扩大网络容量。
[0020]采用残差结构并且加入Split和Shuffle操作，将这个残差结构称为Split
‑
Shuffle
‑
Residual即SSR，SSR残差块共有两个版本，分为步长为1的s1版本和步长为2的s2版本。
[0021]步长为1的s1版本即SSR
‑
s1具体如下：
[0022]1)首先使用Split操作将通道分为两个分支，每个分支为输入通道数的一半，两个分支分别使用空洞卷积和深度可分离卷积进行特征提取；
[0023]2)采用空洞卷积的支路中，在空洞卷积的前后分别加入一个1
×
1卷积，通过使用1
×
1卷积完成先降维再升维的操作来减少参数量；空洞卷积通过将3
×
3的卷积核分解为3
×
1和1
×
3的两个串联的卷积核来减少参数量。
[0024]3)两个分支经过concat拼接为原通道数的特征图，最后在shuffle操作完成后与原特征相加。
[0025]步长为2的s2版本即SSR
‑
s2具体如下：
[0026]1)在开始时将特征图分别输入到两条分支中，两条分支均采用深度可分离卷积的设计；
[0027]2)经过concat操作和shuffle操作后得到通道数增加2倍、尺寸减少2倍的特征图；
[0028]3)最后与经过步长为2的最大池化下采样操作的特征图相加；
[0029]在本网络中SSR
‑
s2作为下采样单元使用。
[0030]进一步地，所述步骤三中，使用空间路径来平衡上下文信息和空间信息的精度；具体如下：
[0031]将空间路径设计为三个阶段，除了第一阶段外，每个阶段由1个SSR
‑
s2残差块和2个深度可分离卷积组成；由于输入的是RGB图像，因此第一阶段由1个普通卷积和1个深度可分离卷积构成；在卷积操作后均使用Batchnormalization和ReLU操作，此空间路径提取后的特征图为原始的1/8大小。
[0032]进一步地，所述步骤四中，由于在步骤三的空间路径中已经获取到了丰富的空间信息，因此在所述上下文路径中需要获取丰富的上下文信息。
[0033]所述上下文路径的输入采用共享空间路径特征图的方式，该方法在未增加计算量的前提下将具有丰富语义信息的特征图输入到上下文路径中；为平衡网络的计算速度与精度，将上下文路径设计为4个阶段，每个阶段由SSR
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向交通场景的实时语义分割方法，其特征在于，包括如下步骤：步骤一：选取街道场景数据集文件，预处理数据集；步骤二：构建高效的特征提取结构所述结构采用通道拆分和通道混洗操作来降低参与运算的通道数目；在所述结构中，采用深度可分离卷积来提取图像特征，通过深度可分离卷积进一步的降低网络的参数量以及网络的计算复杂度，从而极大程度上的提高网络的性能；步骤三：构建高效的共享型空间路径所述空间路径采用双分支结构的网络设计，用来恢复丢失的空间路径；使用深度可分离卷积构建简单高效的浅层网络用来提取图像的空间信息；还将所述空间路径的权重与上下文路径共享，使上下文路径在不增加参数的前提下增加网络的层数，从而扩大感受野；步骤四：构建高效的多尺度上下文路径使用深度可分离卷积与空洞卷积组建的高效特征提取结构构建高效的上下文路径，通过采用不同膨胀系数的空洞卷积与深度可分离卷积相结合，构建具有多尺度、大感受野的上下文路径，通过扩大感受野上下文路径能够获取丰富的上下文信息，从而增强小目标的分割效果；步骤五：构建交互性极强的特征融合结构在特征提取后构建两种不同尺度的上下文信息与空间信息，通过将其相互融合来达到充分交互的目的，在融合后，采用跳跃连接的方式融合由1/16阶段的上下文路径与1/4阶段空间路径构成的中分辨率路径，最后，得到的特征图经过计算权重向量得到最终的特征图。2.根据权利要求1所述的一种面向交通场景的实时语义分割方法，其特征在于，所述步骤一中，选取Cityscapes数据集和CamVid数据集来完成网络的训练，Cityscapes数据集用来对模型的建立，CamVid用来验证网络的迁移性。3.根据权利要求1所述的一种面向交通场景的实时语义分割方法，其特征在于，所述步骤二中，采用残差结构来设计，在有限的计算资源内平衡预测时的速度与精度的问题上，在残差块中加入Channel Split和Channel Shuffle的操作；通过对通道使用Split和Shuffle操作达到特征重用的效果，通过这种方式增强了特征通道间的信息交互，从而在未增加计算量的前提下提高模型的密集预测能力并且扩大网络容量；采用残差结构并且加入Split和Shuffle操作，将这个残差结构称为Split
‑
Shuffle
‑
Residual即SSR，SSR残差块共有两个版本，分为步长为1的s1版本和步长为2的s2版本；步长为1的s1版本即SSR
‑
s1具体如下：1)首先使用Split操作将通道分为两个分支，每个分支为输入通道数的一半，两个分支分别使用空洞卷积和深度可分离卷积进行特征提取；2)采用空洞卷积的支路中，在空洞卷积的前后分别加入一个1
×
1卷积，通过使用1
×
1卷积完成先降维再升维的操作来减少参数量；空洞卷积通过将3
×
3的卷积核分解为3
×
1和1
×
3的两个串联的卷积核来减少参数量。3)两个分支经过concat拼接为原通道数的特征图，最后在shuffle操作完成后与原特征相加；步长为2的s2版本即SSR
‑
s2具体如下：1)在开始时将特征图分别输入到两条分支中，两条分支均采用深度可分离卷积的设
计；2)经过concat操作和shuffle操作后得到通道数增加2倍、尺寸减少2倍的特征图；3)最后与经过步长为2的最大池化下采样操作的特征图相加；在本网络中SSR
‑
s2作为下采样单元使用。4.根据权利要求1所述的一种面向交通场景的实时语义分割方法，其特征在于，所述步骤三中，使用空间路径来平衡上下文信息和空间信息的精度；具体...

【专利技术属性】
技术研发人员：赵骥，邵慧威，
申请(专利权)人：辽宁科技大学，
类型：发明
国别省市：