【技术实现步骤摘要】
一种基于边界语义分割的道路积水识别方法
本专利技术涉及计算机视觉领域中的语义分割技术，其实质是像素级的图像识别技术，是一种基于边界语义分割的道路积水识别方法。
技术介绍
近几年来，随着深度学习的快速发展，计算机视觉领域也日新月异。深度卷积神经网络已经在图像分类、语义分割、目标检测和人脸识别等许多计算机视觉任务中处于领先地位。在日常生活中，无论是物品对象的识别检测，还是视频交通道路的路况分析都离不开计算机视觉。而语义分割被认为是计算机视觉的关键问题之一，目标是为图像中的每个像素分配一个类别标签，预测每个像素的位置和形状。图像分类仅仅是识别图像中存在的内容并将其分类，目标检测是通过边界框识别图像中存在的内容和位置，语义分割是遍历图像中每一个像素并将整幅图像转换为具有感兴趣区域掩膜，识别图像中存在的内容及其目标的位置。相比于图像分类和目标检测任务，语义分割是一项相对复杂并且具有挑战性的任务，同时也可以辅助计算机视觉领域的其他识别和检测任务。因此，语义分割的好坏也决定了后续算法检测和识别的优劣。语义分割可以按照人类认知的方式提供图像...
【技术保护点】
1.一种基于边界语义分割的道路积水识别方法，其特征在于包括以下步骤：/n第一步，制作语义分割数据集，方法是：/n1.1利用开源计算机视觉库即Opencv库将摄像机采集的不同道路背景下积水视频转化为图片：通过Opencv中的cv2.VideoCapture库函数读取摄像机拍摄的视频流，将读取的视频流通过Opencv中的read函数转换为一帧一帧的图片并存放到计算机中，得到图片集D，D＝{I
【技术特征摘要】
1.一种基于边界语义分割的道路积水识别方法，其特征在于包括以下步骤：
第一步，制作语义分割数据集，方法是：
1.1利用开源计算机视觉库即Opencv库将摄像机采集的不同道路背景下积水视频转化为图片：通过Opencv中的cv2.VideoCapture库函数读取摄像机拍摄的视频流，将读取的视频流通过Opencv中的read函数转换为一帧一帧的图片并存放到计算机中，得到图片集D，D＝{I1,I2,…,Ii,…,In}，其中Ii为原图，1≤i≤n，n为图片集中的图片数量；
1.2利用图形可视化标记工具labelme读取图片集D中的图片Ii，并将图片Ii中的积水区域用曲线进行框选，将框选区域的标签设置为水，标记完图片Ii后生成对应的json格式文件，该json格式文件名为图片Ii的名称，包含了图片Ii中积水区域的位置信息；
1.3采用labelme将图片Ii对应的json格式文件转换成四个标准文件：
img.png、label.png、label_viz.png和label_names.txt；其中img.png是Ii原图，label.png是Ii的语义分割标签图片，label_viz.png是语义分割标签图片的可视化显示的图片，label_names.txt记录Ii中包含的语义类别集合C{c0,c1},c0表示的背景类，c1表示的是积水类；label.png的分辨率大小与图片Ii的分辨率大小相同，是一张图像模式为P的彩色图像，像素值的取值为0或1，像素值为1的区域表示目标区域即积水区域，像素值为0的区域表示非目标积水区域即背景区域；
1.4将label.png重新命名为图片Ii的名称，label.png和图片Ii共同构成语义分割数据集D1，D1＝{I1,I2,…,Ii,…,In,G1,G2,…,Gi,…,Gn}，Gi为Ii的label.png；
第二步，利用数据增广技术对语义分割数据集D1进行扩充，得到训练数据集D2，D2＝{I1″″,I2″″,…,Ii″″,…,In″″,G1″′,G2″′,…,Gi″′,…,Gn″′}；
第三步，构建基于边界语义分割的道路积水识别系统，基于边界语义分割的道路积水识别系统由基于边界语义分割的道路积水识别网络、输出判定器组成，构建方法是：
3.1构建基于边界语义分割的道路积水识别网络，该网络由非对称的编码器网络和解码器网络构成；
3.1.1编码器网络由第一下采样块、第二下采样块、第一单次残差级联模块、第一降维块、第三下采样块、第二单次残差级联模块、第二降维块、第四下采样块、第三单次残差级联模块和第三降维块构成；编码器网络中的模块用于提取不同级别的积水特征，网络浅层即第一下采样块、第二下采样块、第一单次残差级联模块和第一降维块提取的积水特征与网络深层即第三下采样块、第二单次残差级联模块、第二降维块、第四下采样块、第三单次残差级联模块和第三降维块提取的积水特征进行组合从而对整个图片中的积水进行表示；所述不同级别指有的提取积水的边缘，有的提取积水的轮廓，有的提取积水的纹理特征；其中第一下采样块和第二下采样块提取积水特征并减小特征图的空间分辨率，第一单次残差级联模块提取积水的边缘特征，第一降维块对积水的边缘特征进行通道降维；第三下采样块下采样积水特征，第二单次残差级联模块提取积水的轮廓特征，第二降维块对积水的轮廓特征进行通道降维；第四下采样块再次下采样积水特征，第三单次残差级联模块提取积水的纹理特征，第三降维块对积水的纹理特征进行通道降维；
第一下采样块由第一3×3卷积层、第一批归一化层和第一ReLU层组成，它对从D2读取的Ii′′′′提取特征，得到输出特征图将输出给第二下采样块和解码器网络；
第二下采样块由第二3×3卷积层、第二批归一化层和第二ReLU层组成，通过对提取特征，得到输出特征图将输出给第一单次残差级联模块；
第一单次残差级联模块由4个残差块组成；第一残差块对进行特征提取，得到输出特征图将输出给第一单次残差级联模块中的第二残差块得到输出特征图将输出给第一单次残差级联模块中的第三残差块得到输出特征图将输出给第一单次残差级联模块中的第四残差块得到输出特征图和按照公式(1)连接得到输出特征图将输出给第一降维块；公式(1)中的[F21,F22,F23,F24]操作指对F21,F22,F23,F24进行连接；
第一降维块由第一1×1卷积层、第三批归一化层和第三ReLU层组成，第一降维块对进行特征提取，得到输出特征图将输出给第三下采样块和解码器网络；
第三下采样块由第三3×3卷积层、第四批归一化层和第四ReLU层组成，第三下采样块对进行特征提取，得到输出特征图将输出给第二单次残差级联模块；
第二单次残差级联模块由5个残差块组成，第二单次残差级联模块中的第一个残差块对进行特征提取，得到输出特征图将特征图输出给第二单次残差级联模块中的第二个残差块得到输出特征图将输出给第二单次残差级联模块中的第三个残差块得到输出特征图将输出给第二单次残差级联模块中的第四个残差块得到输出特征图将输出给第二单次残差级联模块中的第五个残差块得到输出特征图将和进行连接操作得到输出特征图out6i，将out6i输出给第二降维块；
第二降维块由第二1×1卷积层、第五批归一化层和第五ReLU层组成，第二降维块对out6i进行特征提取，得到输出特征图out7i，将out7i输出给第四下采样块和解码器；
第四下采样块由第四3×3卷积层、第六批归一化层和第六ReLU层组成，第四下采样块对out7i进行特征提取，得到输出特征图out8i，将out8i输出给第三单次残差级联模块；
第三单次残差级联模块由5个残差块组成，第三单次残差级联模块中的第一个残差块对out8i进行特征提取，得到输出特征图F81i，将F81i输出给第三单次残差级联模块中的第二个残差块得到输出特征图F82i，将F82i输出给第三单次残差级联模块中的第三个残差块得到输出特征图F83i，将F83i输出给第三单次残差级联模块中的第四个残差块得到输出特征图F84i，将F84i输出给第三单次残差级联模块中的第五个残差块得到输出特征图F85i；将F81i，F82i，F83i，F84i和F85i进行连接得到输出特征图out9i，将out9i输出给第三单次残差级联模块；
第三降维块由第三1×1卷积层、第七批归一化层和第七ReLU层组成，对out9i进行特征提取，得到输出特征图out10i；
3.1.2解码器网络由第一投影块、第一上下文信息融合模块、第一上采样层、第一卷积预测输出层、第二投影块、第二上采样层、第二上下文信息融合模块、第二卷积预测输出层、第三投影块、第三上下文信息融合模块、第三上采样层和第三卷积预测输出层构成；解码器网络中的模块用于扩大积水特征图的空间大小和获取积水空间特征，其中第一投影块对特征out1i进行通道升维和下采样得到inp1i，使inp1i和的宽，高和通道数相同；第一上下文信息融合模块通过融合和inp1i得到第一积水空间细节特征O1i；第二投影块对out4i进行通道升维和下采样得到inp2i，使inp2i和的宽，高和通道数相同；第二上下文信息融合模块通过融合和inp2i得到第二积水空间细节特征O2i；第三投影块对进行下采样得到inp3i，使inp3i和out10i的宽，高和通道数相同；第三上下文信息融合模块通过融合out10i和inp3i得到第三积水空间细节特征O3i；
第一投影块由第一平均池化层和第四1×1卷积层组成，第一投影块对out1i进行通道升维和下采样，得到输出特征图inp1i，将inp1i输出给第一上下文信息融合模块；
第二投影块由第二平均池化层和第五1×1卷积层组成，对进行通道升维和下采样，得到输出特征图inp2i，将inp2i输出给第二上下文信息融合模块；
第三投影块由第三平均池化层和第六1×1卷积层组成，对out7i进行下采样，得到输出特征图inp3i，将inp3i输出给第三上下文信息融合模块；
第一上下文信息融合模块对与inp1i进行积水特征融合得到输出特征图O1i，将O1i输出给第一卷积预测输出层；第一上下文信息融合模块由1个1×1卷积层、2个3×3卷积层、3个批归一化层、2个ReLU层和1个sigmoid层组成；
第二上下文信息融合模块对out7i与inp2i进行积水特征融合得到输出特征图O2i，将O2i输出给第二上采样层；第二上下文信息融合模块由1个1×1卷积层、2个3×3卷积层、3个批归一化层、2个ReLU层和1个sigmoid层组成；
第三上下文信息融合模块对out10i与inp3i进行积水特征融合得到输出特征图O3i，将O3i输出给第三上采样层、第一上采样层、第三卷积预测输出层；第三上下文信息融合模块由1个1×1卷积层、2个3×3卷积层、3个批归一化层、2个ReLU层和1个sigmoid层组成；
第一上采样层对O3i进行双线性插值操作，得到输出特征图O31i，将O31i输出给第一连接器；
第二上采样层对O2i进行双线性插值操作，得到输出特征图O21i，将O21i输出给第一连接器；
第一连接器将O31i，O21i和O1i连接得到输出特征图outconv1i，将outconv1i输出给第一卷积预测输出层；
第一卷积预测输出层对outconv1i进行积水区域预测，得到预测的输出特征图P1i，将P1i发送给输出判定器；第一卷积预测输出层由3×3卷积层、批归一化层、ReLU层、1×1卷积层、sigmoid层和第四上采样层组成；
第三上采样层对O3i进行双线性插值操作，得到输出特征图O32i，将O32i输出给第二连接器；
第二连接器将O32i和O2i连接得到输出特征图outconv2i，将outconv2i输出给第二卷积预测输出层；
第二卷积预测输出层对outconv2i进行积水区域预测，得到预测的输出特征图P2i，特征图P2i用于网络训练；第二卷积预测输出层由3×3卷积层、批归一化层、ReLU层、1×1卷积层、sigmoid层和第五上采样层组成；
第三卷积预测输出层对O3i进行积水区域预测，得到预测的输出特征图P3i，特征图P3i用于网络训练；第三卷积预测输出层由3×3卷积层、批归一化层、ReLU层、1×1卷积层、sigmoid层和第六上采样层组成；
3.2构建输出判定器：输出判定器是对P1i中的积水区域和背景区域进行分离的模块，输出判定器采用min-max归一化操作将P1i中的积水区域和背景区域进行分离，得到Pnormi，Pnormi中的白色区域是积水区域，黑色区域是背景区域；
第四步，训练基于边界语义分割的道路积水识别网络，得到网络权重参数的集合，方法为：
4.1初始化权重参数，设置训练过程中需要的超参数，方法是：
4.1.1利用Kaiming初始化方法初始化道路积水识别网络中的卷积层的权重参数集合和偏置参数集合其中1≤k≤K，K为基于边界语义分割的道路积水识别网络中的卷积层的总层数；利用随机均匀分布初始化基于边界语义分割的道路积水识别网络中的批归一化层的权重参数集合初始化道路积水识别网络中的批归一化层的偏置参数集合的值为0，其中1≤l≤L，L为基于边界语义分割的道路积水识别网络中的批归一化层的总层数；为基于边界语义分割的道路积水识别网络中第k层卷积的权重参数，为第k层卷积的偏置参数，为网络中第l层批归一化的权重参数，为第l层批归一化的偏置参数；
4.1.2设置基于边界语义分割的道路积水识别网络的超参数，包括训练迭代次数，训练批尺寸大小batchsize，训练学习率；
4.2选择基于边界语义分割的道路积水识别网络训练的优化器，并训练基于边界语义分割的道路积水识别网络，方法为：
4.2.1采用Adam优化器优化基于边界语义分割的道路积水识别网络；
4.2.2选择训练集D2对基于边界语义分割的道路积水识别网络进行训练，方法为：
4.2.2.1令变量i＝1；令第i-1次即第0次训练后得到的卷积层权重参数集合令第0次训练后得到的卷积层偏置令第0次训练后得到的批归一化层权重参数集合令第0次训练后得到的批归一化层偏置
4.2.2.2基于边界语义分割的道路积水识别网络的编码器从D2读取Ii′′′′，令Ii′′′′h×w×3表示宽为h，高w，输出通道数为3的Ii′′′′，编码器对Ii′′′′h×w×3进行编码，提取积水特征，方法为：
4.2.2.2.1第一下采样块对Ii′′′′h×w×3进行积水边缘特征提取，得到宽为高和输出通道数为16的第一输出特征图
4.2.2.2.2第二下采样块对进行积水边缘特征提取，得到宽为高和输出通道数为32的第二输出特征图
4.2.2.2.3第一单次残差级联模块对进行进一步的积水边缘特征提取，得到宽为高和输出通道数为128的第三输出特征图
4.2.2.2.4第一降维块对进行通道降维，得到宽为高和输出通道数为64的第四输出特征图
4.2.2.2.5第三下采样块对进行积水轮廓特征提取，得到宽为高和输出通道数为64的第五输出特征图
4.2.2.2.6第二单次残差级联模块对进行进一步的积水轮廓特征提取，得到宽为高和输出通道数为320的第六输出特征图
4.2.2.2.7第二降维块对进行通道降维，得到宽为高和输出通道数为128的第七输出特征图
4.2.2.2.8第四下采样块对进行积水纹理特征提取，得到宽为高和输出通道数为96的第八输出特征图
4.2.2.2.9第三单次残差级联模块对进行进一步的积水纹理特征提取，得到宽为高和输出通道数为480的第九输出特征图
4.2.2.2.10第三降维块对进行通道降维，得到宽为高和输出通道数为128的第十输出特征图
4.2.2.3训练后的基于边界语义分割的道路积水识别网络的解码器对进行解码，得到积水空间细节特征，并恢复空间分辨率大小为h×w，方法为：
4.2.2.3.1第一投影块对进行通道升维和下采样，得到宽高和输出通道数为64的输出特征图
4.2.2.3.2第一上下文信息融合模块对和进行积水特征融合，得到第一积水空间特征图
4.2.2.3.3第二投影块对进行通道升维和下采样，得到宽高和输出通道数为128的输出特征图
4.2.2.3.4第二上下文信息融合模块对和进行积水特征融合，得到第二积水空间特征图
4.2.2.3.5第三投影块对进行下采样，得到宽为高和输出通道数为128的输出特征图
4.2.2.3.6第三上下文信息融合模块对和进行积水特征融合，得到第三积水空间特征图
4.2.2.3.7第一上采样层将的宽和高分别扩大四倍，得到宽高和输出通道数为128的输出特征图
4.2.2.3.8第二上采样层将的宽和高分别扩大两倍，得到宽高和输出通道数为128的输出特征图
4.2.2.3.9第一连接器对和连接，得到宽高和输出通道数为320的输出特征图
4.2.2.3.10第一卷积预测输出层对进行上采样和积水区域预测得到宽w，高h和输出通道数为1的第一积水预测概率图Pi1h×w×1；
4.2.2.3.11第三上采样层将的宽和高分别扩大两倍，得到宽高和输出通道数为128的输出特征图
4.2...
【专利技术属性】
技术研发人员：骆志刚，蓝龙，张翔，杨露露，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。