一种语义分割方法及应用其的道路积水检测方法和装置制造方法及图纸

本申请提出了一种语义分割方法及道路积水检测方法和装置，该语义分割方法包括：将待处理图像输入语义分割模型，语义分割模型包括主干网络、多尺度特征提取网络和语义分割预测头部，多尺度特征提取网络包括并联的多个全局特征提取网络，其中，每一全局特征提取网络至少包括串联的一个或多个全局特征提取模块，全局特征提取模块为嵌入了多个堆叠的全局注意力模块的CNN模块，使得该全局特征提取模块既具有卷积的性质，又能进行全局的建模。该道路积水检测方法使用上述语义分割方法快速获取待处理图像的语义分割结果，识别是否存在道路积水，以实现城市道路管理中对于道路积水的高效治理。效治理。效治理。

【技术实现步骤摘要】
一种语义分割方法及应用其的道路积水检测方法和装置


[0001]本申请涉及计算机视觉领域，特别是涉及一种语义分割方法及应用其的道路积水检测方法和装置。

技术介绍

[0002]在计算机视觉领域中，语义分割技术是完全按照人类感知的方式从像素级别来识别图像，与其他的图像识别技术相比，它是一个将图像中的每个像素链接到对应的类别标签的过程，因此可以将语义分割视为像素级别的图像分类。
[0003]Transformer模型抛弃了以往深度学习任务里面使用到的卷积神经网络和循环神经网络，是一个利用注意力机制来提高模型训练速度的模型，将Transformer模型应用于计算机视觉领域中，也就是Vision Transformer（Vision Transformer），利用多头部自注意力机制建立特征的长距离依赖关系。但Transformer在计算机视觉中的应用仍然受到限制。
[0004]由于卷积神经网络的空间归纳偏差允许在不同的视觉任务中以较少的参数学习视觉表征，而Vision Transformer忽略了卷积神经网络固有的空间归纳偏差，因此，在使用Vision Transformer识别图像时，导致需要更多的参数学习视觉表征以及更长的训练时间来训练模型。
[0005]并且，卷积神经网络在空间上是局部建模的，卷积神经网络通过计算局部相邻的像素点之间的联系能够提取局部特征，比如边缘和角，能在浅层提供丰富局部特征(local feature)，然而在深层CNN很难建立长距离依赖关系。

技术实现思路

[0006]本申请实施例提供了一种语义分割方法及应用其的道路积水检测方法和装置。
[0007]第一方面，本申请实施例提供了一种语义分割方法，包括：将待处理图像输入语义分割模型，所述语义分割模型包括主干网络、多尺度特征提取网络和语义分割预测头部，所述多尺度特征提取网络包括并联的多个全局特征提取网络，其中，每一所述全局特征提取网络至少包括串联的一个或多个全局特征提取模块，所述全局特征提取模块为嵌入了多个堆叠的全局注意力模块的CNN模块；使用所述主干网络提取所述待处理图像的第一特征图，其中所述第一特征图为具有局部注意力的特征图；将第一特征图输入每一所述全局特征提取网络获取不同尺度的多个第二特征图，其中所述第二特征图为同时具有局部注意力和全局注意力的特征图；将每一所述第二特征图输入所述语义分割预测头部获取多个预测目标分支结果，通过非极大值抑制输出所有所述预测目标分支结果中损失最小的预测框作为所述待处理图像的语义分割结果。
[0008]在一些申请实施例中，使用所述全局特征提取模块将输入的特征图增大感受野并卷积升维，再展开为包括多个不重叠图像块的图像向量序列，将所述图像向量序列输入多
个堆叠的全局注意力模块获取具有全局注意力的特征向量，将所述特征向量进行重塑和卷积降维后与输入所述全局特征提取模块的特征图进行堆叠和并联空洞卷积，得到所述全局特征提取模块输出的特征图。
[0009]在一些申请实施例中，所述多尺度特征提取网络包括用于提取大尺度的第二特征图的第一全局特征提取网络、用于提取中尺度的第二特征图的第二全局特征提取网络、用于提取小尺度的第二特征图的第三全局特征提取网络。
[0010]在一些申请实施例中，所述第一全局特征提取网络包括两个全局特征提取模块，每一所述全局特征提取模块中堆叠2个全局注意力模块；所述第二全局特征提取网络中包括两个全局特征提取模块，每一所述全局特征提取模块中堆叠4个全局注意力模块；所述第三全局特征提取网络中包括一个全局特征提取模块，该全局特征提取模块中堆叠3个全局注意力模块。
[0011]在一些申请实施例中，所述第一全局特征提取网络的输入为第一特征图，所述第二全局特征提取网络的输入为所述第一特征图经过瓶颈模块后输出的特征图，所述第三全局特征提取网络的输入为所述第二全局特征提取网络中第一个全局特征提取模块输出的特征图经过瓶颈模块后输出的特征图；所述第一、第二全局特征提取网络中的第一个全局特征提取模块输出的特征图均分别输入所述第一、第二、第三全局特征提取模网络中的第二个全局特征提取模块；所述第三全局特征提取网络中的全局特征提取模块输出的特征图输入所述第二全局特征提取网络中的第二个全局特征提取模块，所述第二全局特征提取网络中第二个全局特征提取模块输出的特征图输入第一全局特征提取网络中的第二个全局特征提取模块；所述第一、第二、第三全局特征提取网络输出的特征图均为所述第二特征图。
[0012]在一些申请实施例中，所述主干网络包括依次连接的卷积层、渐进感受野递增模块、瓶颈模块、两个堆叠的渐进感受野递增模块和瓶颈模块，其中：所述卷积层和所述瓶颈模块,用于对所述待处理图像进行下采样获取相应的特征图；所述渐进感受野递增模块，用于将输入的特征图增大感受野。
[0013]在一些申请实施例中，所述渐进感受野递增模块包括并行的第一分支和第二分支，所述第一分支将输入的特征图进行恒等映射，所述第二分支包括多层深度可分离空洞卷积，且所述第二分支内每一层的输入为前每一层的输出分别堆叠输入的特征图后再依据层级关系依次堆叠得到相应的特征图，每一层将输入的特征图进行深度可分离空洞卷积后再进行逐点卷积获得该层输出的特征图，将每一层输出的特征图依次与所述第一分支输出的特征图进行特征堆叠，并卷积堆叠后的所有特征图得到该渐进感受野递增模块输出的特征图。
[0014]在一些申请实施例中，所述瓶颈模块包括并行的第三分支和第四分支，所述第三分支用于将输入的特征图进行逐点卷积扩张特征通道，并采用深度可分离卷积进行特征提取和空间维度降采样，再进行逐点卷积进行特征融合和特征通道降维，所述第四分支用于采用深度可分离卷积将输入的特征图进行特征空间上降采样，并卷积所述深度可分离卷积输出的结果进行特征融合，将所述第三分支和所述第四分支输出的特征图进行元素级相加作为该瓶颈模块输出的特征图。
[0015]在一些申请实施例中，所述全局注意力模块为Vision Transformer。
[0016]在一些申请实施例中，所述全局注意力模块于对输入的图像向量序列进行归一化处理，并用多头部注意力机制联合来自不同头部学习到的信息，将所述信息进行Dropout缓解过拟合后与输入所述全局注意力模块的图像向量序列进行元素级相加，将元素级相加后得到的特征图再次进行归一化处理并输入MLP模块进行特征提取和特征转换，将所述MLP模块输出的特征图进行Dropout缓解过拟合后与前一元素级相加得到的特征图再次进行元素级相加，得到所述全局注意力输出的特征图。
[0017]第二方面，本申请实施例提供了一种道路积水检测方法，包括以下步骤：获取待处理图像；根据第一方面中任一申请实施例所述的语义分割方法获取所述待处理图像的语义分割结果；根据所述语义分割结果识别所述待处理图像中存在的道路积水。
[0018]第三方面，本申请实施例提供了一种道路积水检测装置，用于实现第二方面中所述的道路积水检测方法，该装置包括以下单元：获取单元，用于获取待处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，包括：将待处理图像输入语义分割模型，所述语义分割模型包括主干网络、多尺度特征提取网络和语义分割预测头部，所述多尺度特征提取网络包括并联的多个全局特征提取网络，其中，每一所述全局特征提取网络至少包括串联的一个或多个全局特征提取模块，所述全局特征提取模块为嵌入了多个堆叠的全局注意力模块的CNN模块；使用所述主干网络提取所述待处理图像的第一特征图，其中所述第一特征图为具有局部注意力的特征图；将第一特征图输入每一所述全局特征提取网络获取不同尺度的多个第二特征图，其中所述第二特征图为同时具有局部注意力和全局注意力的特征图；将每一所述第二特征图输入所述语义分割预测头部获取多个预测目标分支结果，通过非极大值抑制输出所有所述预测目标分支结果中损失最小的预测框作为所述待处理图像的语义分割结果。2.根据权利要求1所述的语义分割方法，其特征在于，使用所述全局特征提取模块将输入的特征图增大感受野并卷积升维，再展开为包括多个不重叠图像块的图像向量序列，将所述图像向量序列输入多个堆叠的全局注意力模块获取具有全局注意力的特征向量，将所述特征向量进行重塑和卷积降维后与输入所述全局特征提取模块的特征图进行堆叠和并联空洞卷积，得到所述全局特征提取模块输出的特征图。3.根据权利要求1所述的语义分割方法，其特征在于，所述多尺度特征提取网络包括用于提取大尺度的第二特征图的第一全局特征提取网络、用于提取中尺度的第二特征图的第二全局特征提取网络、用于提取小尺度的第二特征图的第三全局特征提取网络。4.根据权利要求3所述的语义分割方法，其特征在于，所述第一全局特征提取网络包括两个全局特征提取模块，每一所述全局特征提取模块中堆叠2个全局注意力模块；所述第二全局特征提取网络中包括两个全局特征提取模块，每一所述全局特征提取模块中堆叠4个全局注意力模块；所述第三全局特征提取网络中包括一个全局特征提取模块，该全局特征提取模块中堆叠3个全局注意力模块。5.根据权利要求4所述的语义分割方法，其特征在于，所述第一全局特征提取网络的输入为第一特征图，所述第二全局特征提取网络的输入为所述第一特征图经过瓶颈模块后输出的特征图，所述第三全局特征提取网络的输入为所述第二全局特征提取网络中第一个全局特征提取模块输出的特征图经过瓶颈模块后输出的特征图；所述第一、第二全局特征提取网络中的第一个全局特征提取模块输出的特征图均分别输入所述第一、第二、第三全局特征提取模网络中的第二个全局特征提取模块；所述第三全局特征提取网络中的全局特征提取模块输出的特征图输入所述第二全局特征提取网络中的第二个全局特征提取模块，所述第二全局特征提取网络中第二个全局特征提取模块输出的特征图输入第一全局特征提取网络中的第二个全局特征提取模块；所述第一、第二、第三全局特征提取网络输出的特征图均为所述第二特征图。6.根据权利要求1所述的语义分割方法，其特征在于，所述主干网络包括依次连接的卷积层、渐进感受野递增模块、瓶颈模块、两个堆叠的渐进感受野递增模块和瓶颈模块，其中：所述卷积层和所述瓶颈模块,用于对所述待处理图像进...

【专利技术属性】
技术研发人员：陈斌，张香伟，毛云青，金仁杰，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：