一种用于自动驾驶的街道场景解析语义分割方法技术

一种用于自动驾驶的街道场景解析语义分割方法，包括以下步骤：构建图像语义分割网络，图像语义分割网络用于对图像进行下采样处理得到初始特征图，对初始特征图进行一维水平池化处理得到第一全局特征图，对初始特征图进行一维垂直池化处理得到第二全局特征图，融合第一全局特征图和第二全局特征图并生成输出图像；采集训练图片，利用训练图片训练所述图像语义分割网络；利用训练后的图像语义分割网络对待处理图像进行语义分割。本发明专利技术利用全局一维池化机制这种长且窄的池化方式，能够直接有效地将水平和垂直方向上的所有信息进行聚合，将大量的信息联系起来，形成有效的上下文信息，弥补了传统矩形池化在聚合长距离上下文信息上的不足。息上的不足。息上的不足。

【技术实现步骤摘要】
一种用于自动驾驶的街道场景解析语义分割方法


[0001]本专利技术涉及图像语义分割领域，具体涉及一种用于自动驾驶的街道场景解析语义分割方法。

技术介绍

[0002]由于汽车用户的不断增加，公路交通面临的拥堵、安全事故等问题越发严重。自动驾驶技术在车联网技术和人工智能技术的支持下，能够协调出行路线与规划时间，从而大程度提高出行效率，并在一定程度上减少能源消耗。而对于自动驾驶等快速视觉任务，图像语义分割的精度和效率均十分重要，然而目前的语义分割网络无法较好的实现两者的平衡。
[0003]目前，为提升语义分割的效率，大量应用于实时分割任务的轻量型网络研究也得到了快速的发展。PSPNet网络设计出了结构如图1所示的金字塔池化模块（pyramid pooling module，PPM）。PPM模块通过并行多个不同尺度的池化算子，以聚合到不同程度的上下文信息，提升感受野。在PSPNet网络中，PPM模块并行连接了4个不同尺度的池化模块，处理后的特征图尺寸大小分别为1
×
1，2
×
2，3
×
3和6
×
6，分别代表了不同子区域的特征表示，之后，网络对这4个不同区域级的特征图进行卷积后处理以提取区域特征，接着，利用双线性插值将各特征图恢复至原图同样大小，再将所有特征图进行拼接实现多尺度信息的融合，同时，为保证梯度的传递，将输入特征图进行拼接融合，最后，利用1
×
1逐点卷积整合通道信息，并恢复通道数。
[0004]但是，现有的网络采用二维方形池化算子对局部区域特征进行聚合以实现大小比例一致的特征金字塔和金字塔池化模式，这种池化聚合范围为正方形区域的方形池化模式只能聚合某一局部区域的物体信息，无法取得有效的长距离上下文信息。此外，对于某些形状大小不规则的物体，例如树、电线杆，二维方形池化算子将不可避免地引入不相关的噪声信息，影响网络对特征的整体理解与判断。

技术实现思路

[0005]本专利技术的目的在于提供一种用于自动驾驶的街道场景解析语义分割方法，其采用一维池化方式可直接有效地将图片水平和垂直方向上的所有信息进行聚合，将大量的信息联系起来，形成有效的上下文信息，弥补了传统矩形池化在聚合长距离上下文信息上的不足。
[0006]本专利技术通过下述技术方案实现：一种用于自动驾驶的街道场景解析语义分割方法，包括以下步骤：构建图像语义分割网络，所述图像语义分割网络用于对图像进行下采样处理得到初始特征图，对所述初始特征图进行一维水平池化处理得到第一全局特征图，对所述初始特征图进行一维垂直池化处理得到第二全局特征图，融合所述第一全局特征图和第二全局特征图并生成输出图像；采集训练图片，利用所述训练图片训练所述图像语义分割网络；利
用训练后的图像语义分割网络对待处理图像进行语义分割。
[0007]传统的PSPNet网络为实现大小比例一致的特征金字塔和金字塔池化模式，网络通常会采用二维方形池化算子，例如1
×
1，3
×
3，对局部区域特征进行聚合，即池化聚合的范围为正方形区域。但是，传统的方形池化模式较为局限，其只能聚合某一局部区域的物体信息，无法取得有效的长距离上下文信息。并且，对于某些形状大小不规则的物体会不可避免的引入不相关的噪声信息，影响网络对特征的整体理解与判断。
[0008]与传统的二维方形池化算子不同，本技术方案中构建的图像语义分割网络采用全局一维池化机制以获取图像在垂直和水平方向上的全局信息。
[0009]具体地，首先构建图像语义分割网络，该图像语义分割网络优选采用ResNet
‑
18作为骨干网络提取特征。本技术方案中，图像语义分割网络用于对图像进行下采样得到初始特征图后，对初始特征图进行一维水平池化处理以聚合初始特征图在水平方向上的图像特征，获取初始特征图上水平方向上的全局信息，得到第一全局特征图；同时，对初始特征图进行一维垂直水平池化处理以聚合初始特征图在垂直方向上的图像特征，获取初始特征图在垂直方向上的全局信息，得到第二全局特征图。第一、第二全局特征图的大小与原图大小一致，之后，融合第一、第二全局特征图，使得水平和垂直方向的全局上下文信息得到有效的融合，得到输出图像。
[0010]在一个或多个实施例中，第一全局特征图和第二全局特征图融合后产生的高级特征图和低级特征图可直接相加，每个通道的高级特征和低级特征的权重相同。在部分实施例中，也可以对高级特征图中的高级特征、低级特征图中的低级特征的权重进行再分配，使得同一通道中的高级特征和低级特征的权重不同，加强一份特征的同时抑制另一份特征，以在语义和细节上实现互补融合。
[0011]构建图像语义分割网络后，采集用于训练网络的训练图片以对构建的图像语义分割网络进行训练。最后，利用训练后的网络对待处理的图像进行语义分割。
[0012]本专利技术采用的图像语义分割网络利用全局一维池化机制这种长且窄的池化方式，能够直接有效地将水平和垂直方向上的所有信息进行聚合，将大量的信息联系起来，形成有效的上下文信息，弥补了传统矩形池化在聚合长距离上下文信息上的不足，可为网络带来较大范围的感受野，有助于网络对全局上下文信息的解析，同时，此种一维池化方式对图像中的长条型物体的检测十分友好。
[0013]进一步地，所述一维水平池化处理包括对所述初始特征图的每一行进行均值处理得到一维水平特征Y
h
，对所述一维水平特征Y
h
依次进行卷积层处理、批归一化处理后，利用激活函数进行激活，通过上采样还原得到第一全局特征图；所述一维垂直池化处理包括对所述初始特征图的每一列进行均值处理得到一维垂直特征Y
v
，对所述一维垂直特征Y
v
依次进行卷积层处理、批归一化处理后，利用激活函数进行激活，通过上采样还原得到第二全局特征图。
[0014]本技术方案中，对初始特征图的每一行进行均值处理得到一维水平特征Y
h
，对初始特征图的每一列进行均值处理得到一维垂直特征Y
v
。之后，采用一维卷积核对一维水平特征Y
h
和一维垂直特征Y
v
进行卷积后处理，在卷积层处理过程中，由于计算量大幅减少，网络效率显著提高。卷积层处理后，对一维水平特征Y
h
进行BN归一化、以及激活函数非线性化处理，最后对其进行上采样，将其还原至原图的大小，得到第一全局特征图。类似地，对一维
垂直特征Y
v
也进行BN归一化、以及激活函数非线性化处理，最后对其进行上采样，将其还原至原图的大小，得到第二全局特征图。
[0015]进一步地，所述一维水平特征Y
h
为由H个水平均值输出构成的一维池化算子，所述一维垂直特征Y
v
为由W个垂直均值输出构成的一维池化算子，H为初始特征图的行数，W为初始特征图的列数；其中，第i行的水平均值输出，第j列的垂直均值输出，式中，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶的街道场景解析语义分割方法，其特征在于，包括以下步骤：构建图像语义分割网络，所述图像语义分割网络用于对图像进行下采样处理得到初始特征图，对所述初始特征图进行一维水平池化处理得到第一全局特征图，对所述初始特征图进行一维垂直池化处理得到第二全局特征图，融合所述第一全局特征图和第二全局特征图并生成输出图像；采集训练图片，利用所述训练图片训练所述图像语义分割网络；利用训练后的图像语义分割网络对待处理图像进行语义分割。2.根据权利要求1所述的一种用于自动驾驶的街道场景解析语义分割方法，其特征在于，所述一维水平池化处理包括对所述初始特征图的每一行进行均值处理得到一维水平特征Y
h
，对所述一维水平特征Y
h
依次进行卷积层处理、批归一化处理后，利用激活函数进行激活，通过上采样还原得到第一全局特征图；所述一维垂直池化处理包括对所述初始特征图的每一列进行均值处理得到一维垂直特征Y
v
，对所述一维垂直特征Y
v
依次进行卷积层处理、批归一化处理后，利用激活函数进行激活，通过上采样还原得到第二全局特征图。3.根据权利要求2所述的一种用于自动驾驶的街道场景解析语义分割方法，其特征在于，所述一维水平特征Y
h
为由H个水平均值输出构成的一维池化算子，所述一维垂直特征Y
v
为由W个垂直均值输出构成的一维池化算子，H为初始特征图的行数，W为初始特征图的列数；其中，第i行的水平均值输出，第j列的垂直均值输出，式中，为图像的第i行、第j列的像素值。4.根据权利要求1所述的一种用于自动驾驶的街道场景解析语义分割方法，其特征在于，所述图像语义分割网络对述初始...

【专利技术属性】
技术研发人员：张强，温杰宾，万敏，鲍海龙，廖茁栋，唐斌，
申请(专利权)人：西南石油大学，
类型：发明
国别省市：