城市街道语义分割方法及自动驾驶方法技术

本发明专利技术公开了一种城市街道语义分割方法，包括获取原始训练数据集；构建基础语义分割网络并添加基于像素的注意力模块和基于图像不同层级的注意力模块，得到基于图像不同层级注意力和像素注意力的基础语义分割网络并训练得到基于图像不同层级注意力和像素注意力的语义分割网络；采用基于图像不同层级注意力和像素注意力的语义分割网络实时进行城市街道的语义分割。本发明专利技术还公开了包括所述城市街道语义分割方法的自动驾驶方法。本发明专利技术方法充分利用了高级特征图信息和低级特征图的信息，而且精确度高、可靠性好且实时性较好。

【技术实现步骤摘要】
城市街道语义分割方法及自动驾驶方法
本专利技术属于计算机视觉和图像处理领域，具体涉及一种城市街道语义分割方法及自动驾驶方法。
技术介绍
随着经济技术的发展和人们生活水平的提高，计算机视觉技术已经逐步开始应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。语义分割是计算机视觉的核心研究热点之一，其目的是用于给图像划分具有语义信息的区域，并给每个区域块分配一个语义标签，最终得到每个像素都被语义标注的分割图像。现有技术主要有两种语义分割方法：基于传统的图像语义分割方法和基于深度学习的图像语义分割方法。基于深度学习的图像语义分割方法，其学习的特征更加丰富，表达能力更强，在分割精度上有很大的提升，因此已经成为了研究的重点。全卷积网络将分类网络应用到网络中，将传统卷积神经网络的全连接层替换为卷积层，使用跳跃层的方法组合中间卷积层产生的特征图，然后进行转置卷积；但是，这种方法带来两个问题：1.随着卷积池化，分辨率在不断地缩小，造成部分像素丢失；2.没有考虑特征图原有的上下文信息。随后，大量研究人员在全卷积网络的基础上提出了改进方法。金字塔网络中，金字塔池化模块能够融合多尺度的上下文信息，有效的利用了上下文信息，能够使得分割结果更加细化，但是缺点是分割目标的边界信息部分会丢失。U型神经网络是一种编码器-解码器的网络模型，由收缩路径和扩展路径组成，收缩路径提取上下文信息，扩展路径逐步恢复物体细节和图像分辨率，但是缺点是其网络训练参数过多，计算量较大，无法满足实时处理。OCNet通过计算每个像素与所有像素的相似度，形成一个目标上下文特征图，然后通过聚合所有像素的特征来表示该像素，但是缺点是过程中会丢失部分像素。DeepLab-v3中将空洞卷积核金字塔池化方法结合，构建了空洞空间金字塔池化模块，通过使用不同空洞率的卷积来捕获多尺度上下文信息，有效的增强了感受野，提高分割结果的空间精度，但是缺点是丢失像素间的依赖性。
技术实现思路
本专利技术的目的之一在于提供一种精确度高、可靠性好且实时性较好的城市街道语义分割方法。本专利技术的目的之二在于提供一种包括了所述城市街道语义分割方法的自动驾驶方法。本专利技术提供的这种城市街道语义分割方法，包括如下步骤：S1.获取原始训练数据集；S2.构建基础语义分割网络；S3.在步骤S2构建的基础语义分割网络中，添加基于像素的注意力模块，从而得到基于像素注意力的基础语义分割网络；S4.在步骤S3得到的基于像素注意力的基于语义分割网络中，添加基于图像不同层级的注意力模块，从而得到基于图像不同层级注意力和像素注意力的基础语义分割网络；S5.采用步骤S1获取的原始训练数据集，对步骤S4得到的基于图像不同层级注意力和像素注意力的基础语义分割网络进行训练，从而得到基于图像不同层级注意力和像素注意力的语义分割网络；S6.采用步骤S5得到的基于图像不同层级注意力和像素注意力的语义分割网络，实时进行城市街道的语义分割。步骤S2所述的构建基础语义分割网络，具体为采用Resnet101网络作为基础语义分割网络。步骤S3所述的在步骤S2构建的基础语义分割网络中，添加基于像素的注意力模块，具体为在Resnet101网络的第四个块的输出端，串接基于像素的注意力模块。所述的基于像素的注意力模块，具体包括如下步骤：A.对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全1填充；B.对步骤A得到的填充后的特征图，采用如下算式进行操作，从而得到预处理特征图Xpre：式中为经过步骤A填充后的Resnet101网络的第四个块的特征图；为标准的卷积操作，卷积核为3×3，采样步长为1，d为空洞率且取值为1；BN()为批量标准化操作；C.对步骤B得到的预处理特征图Xpre，采用如下算式进行处理，从而得到像素关系矩阵Xwmap：式中R()为reshape操作；×为矩阵乘法操作；为sigmoid激活函数；D.对步骤C得到的像素关系矩阵Xwmap，采用如下算式进行处理，从而得到深度特征图Xproc为Xproc=R(Xwmap×R(Xpre))；E.对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全0填充；F.对步骤E得到的填充后的特征图，采用如下算式进行操作，从而得到经过不同空洞率卷积后的特征图F1~F4：式中为经过步骤E填充后的Resnet101网络的第四个块的特征图；为标准的卷积操作，且卷积核大小为1×1，采样步长为1，d为空洞率且取值为1；为标准的卷积操作，且卷积核大小为3×3，采样步长为1，d为空洞率且取值为12；为标准的卷积操作，且卷积核大小为3×3，采样步长为1，d为空洞率且取值为24；为标准的卷积操作，且卷积核大小为3×3，采样步长为1，d为空洞率且取值为36；G.将得到的特征图Xproc、F1、F2、F3和F4在通道上，采用如下算式进行处理，从而完成基于像素的注意力模块的处理：式中Fm为基于像素的注意力模块处理后输出的特征图；concat()为在通道维度的拼接操作。步骤S4所述的在步骤S3得到的基于像素注意力的基于语义分割网络中，添加基于图像不同层级的注意力模块，具体为在Resnet101网络的第二个块的输出端，并接基于图像不同层级的注意力模块。所述的基于图像不同层级的注意力模块，具体包括如下步骤：a.对Resnet101网络的第二个块的输出的特征图X2的外侧进行尺度为3的全0填充；b.对步骤a得到的填充后的特征图，进行全局平均池化，得到结果；c.对步骤a得到的填充后的特征图，进行最大池化，得到结果；d.将步骤b和步骤c得到的结果进行concat操作，从而得到第一特征图；e.采用如下算式对步骤d得到的第一特征图进行操作，从而得到注意力特征图FN：式中为标准的卷积操作，且卷积核大小为7×7，采样步长为1，d为空洞率且取值为1；为Hadamard积；f.将步骤e得到的注意力特征图FN，采用如下算式进行处理，从而得到基于图像不同层级的注意力模块输出的最终特征图Fpam：式中Fm为基于像素的注意力模块处理后输出的特征图。本专利技术还提供了一种包括了上述城市街道语义分割方法的自动驾驶方法。本专利技术提供的这种城市街道语义分割方法及自动驾驶方法，利用计算高级特征图像素之间的联系来获取全局信息，增强像素之间的相关性，再结合基于像素的注意力模块来进一步提取图像的特征信息；而针对图像的高层特征图像素丢失问题，提出基于图像不同层级的注意力模块，将高层特征图中的信息作为指导对低层特征图中隐藏的信息进行挖掘，然后和高级特征图进行融合；因此，本专利技术方法充分利用了高级特征图信息和低级特征图的信息，而且精确度高、可靠性好且实时性较好。附图说明图1为本专利技术方法的方法流程示意本文档来自技高网...

【技术保护点】
1.一种城市街道语义分割方法，其特征在于包括如下步骤：/nS1. 获取原始训练数据集；/nS2. 构建基础语义分割网络；/nS3. 在步骤S2构建的基础语义分割网络中，添加基于像素的注意力模块，从而得到基于像素注意力的基础语义分割网络；/nS4. 在步骤S3得到的基于像素注意力的基于语义分割网络中，添加基于图像不同层级的注意力模块，从而得到基于图像不同层级注意力和像素注意力的基础语义分割网络；/nS5. 采用步骤S1获取的原始训练数据集，对步骤S4得到的基于图像不同层级注意力和像素注意力的基础语义分割网络进行训练，从而得到基于图像不同层级注意力和像素注意力的语义分割网络；/nS6. 采用步骤S5得到的基于图像不同层级注意力和像素注意力的语义分割网络，实时进行城市街道的语义分割。/n

【技术特征摘要】
1.一种城市街道语义分割方法，其特征在于包括如下步骤：
S1.获取原始训练数据集；
S2.构建基础语义分割网络；
S3.在步骤S2构建的基础语义分割网络中，添加基于像素的注意力模块，从而得到基于像素注意力的基础语义分割网络；
S4.在步骤S3得到的基于像素注意力的基于语义分割网络中，添加基于图像不同层级的注意力模块，从而得到基于图像不同层级注意力和像素注意力的基础语义分割网络；
S5.采用步骤S1获取的原始训练数据集，对步骤S4得到的基于图像不同层级注意力和像素注意力的基础语义分割网络进行训练，从而得到基于图像不同层级注意力和像素注意力的语义分割网络；
S6.采用步骤S5得到的基于图像不同层级注意力和像素注意力的语义分割网络，实时进行城市街道的语义分割。


2.根据权利要求1所述的城市街道语义分割方法，其特征在于步骤S2所述的构建基础语义分割网络，具体为采用Resnet101网络作为基础语义分割网络。


3.根据权利要求2所述的城市街道语义分割方法，其特征在于步骤S3所述的在步骤S2构建的基础语义分割网络中，添加基于像素的注意力模块，具体为在Resnet101网络的第四个块的输出端，串接基于像素的注意力模块。


4.根据权利要求3所述的城市街道语义分割方法，其特征在于所述的基于像素的注意力模块，具体包括如下步骤：
A.对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全1填充；
B.对步骤A得到的填充后的特征图，采用如下算式进行操作，从而得到预处理特征图Xpre：



式中为经过步骤A填充后的Resnet101网络的第四个块的特征图；为标准的卷积操作，卷积核为3×3，采样步长为1，d为空洞率且取值为1；BN()为批量标准化操作；
C.对步骤B得到的预处理特征图Xpre，采用如下算式进行处理，从而得到像素关系矩阵Xwmap：



式中R()为reshape操作；×为矩阵乘法操作；为sigmoid激活函数；
D.对步骤C得到的像素关系矩阵Xwmap，采用如下算式进行处理，从而得到深度特征图Xproc为Xproc=R(Xwmap×R(Xpre))；
E.对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全0填充；
F.对步骤...

【专利技术属性】
技术研发人员：瞿绍军，欧阳柳，刘义亮，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：湖南;43