一种基于双向注意力网络的街景图像分割方法及系统技术方案

本发明专利技术涉及一种基于双向注意力网络的街景图像分割方法及系统，属于图像分割处理领域，首先采集城市街道图像数据，预处理后构建训练数据集；再建立以街景图像为输入，以街景图像对应的预测图为输出的双向注意力网络分割模型，包括具有注意力机制的语义信息提取网络和空间信息提取网络以及多尺度融合模块；预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注；再利用训练数据集对双向注意力网络分割模型进行训练；采集待分割街景图像并输入到模型中输出预测图；将预测图与待分割街景图像原图叠加，生成最终的街景分割叠加图像。该方法可提升街景图像的分割精度，保证自动驾驶汽车的安全行驶。全行驶。全行驶。

【技术实现步骤摘要】
一种基于双向注意力网络的街景图像分割方法及系统


[0001]本专利技术涉及图像分割处理领域，特别是涉及一种基于双向注意力网络的街景图像分割方法及系统。

技术介绍

[0002]图像分割是根据图像的颜色、纹理、形状等特征把图像划分成若干个互不相交的区域，使同一区域内特征表现出一致或相似性，不同区域表现出明显差异的图像处理方法。其中，针对道路场景的街景图像分割技术是自动驾驶领域中的核心技术之一。
[0003]针对道路场景的语义分割是将采集到的道路场景图像中的每个像素都划分到对应的类别，以实现街景图像在像素级别上的分类。实际上，街景图像分割中的准确性会受到不同行驶区域的影响，首先要克服不同目标对象的相异性和相似目标对象的相似性，其次还要注意分割对象所处场景的复杂性，最后还要注意如光照、拍摄条件、拍摄设备和拍摄距离等外界因素，这些外界因素也会使得目标物体与图片差异较大，影响图像分割的准确性。这些因素都极大提升了图像分割的难度，使得对复杂的街景图像的分割精度较低，导致自动驾驶车辆无法根据街景图像特征获取到准确的路况信息，影响自动驾驶技术的实现。...

【技术保护点】

【技术特征摘要】
1.一种基于双向注意力网络的街景图像分割方法，其特征在于，包括：采集城市街道图像数据，预处理后构建训练数据集；建立双向注意力网络分割模型；所述双向注意力网络分割模型包括多尺度融合模块、具有注意力机制的语义信息提取网络和具有注意力机制的空间信息提取网络，所述多尺度融合模块用于将语义信息提取网络提取的语义信息和空间信息提取网络提取的空间信息融合；所述双向注意力网络分割模型以街景图像为输入，以街景图像对应的预测图为输出；所述预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注；利用所述训练数据集对所述双向注意力网络分割模型进行训练，得到训练好的双向注意力网络分割模型；采集待分割街景图像，将待分割街景图像输入到训练好的双向注意力网络分割模型中，得到与所述待分割街景图像对应的预测图；将所述预测图与所述待分割街景图像叠加，生成最终的街景分割叠加图像。2.根据权利要求1所述的街景图像分割方法，其特征在于，所述采集城市街道图像数据，预处理后构建训练数据集，具体包括：利用车载摄像头采集城市街道视频，并按照预设频率从所述城市街道视频数据中提取出多张不同时刻下的城市街道图像；根据提取的城市街道图像，确定城市街道场景下所有待语义分割的街景特征类别；根据待语义分割的街景特征类别，利用开源工具包Vott对每一张城市街道图像中的街景特征进行标注。3.根据权利要求1所述的街景图像分割方法，其特征在于，所述建立双向注意力网络分割模型，具体包括：采用Pytorch框架搭建ResNet18神经网络作为语义信息提取网络，并利用开源数据集ImgeNet对所述ResNet18神经网络进行预训练，得到并保存所述ResNet18神经网络的最优参数；基于现有的AlexNet网络，将所述AlexNet网络最后一层FC层替换为Sigmoid层，得到所述空间信息提取网络；所述Sigmoid层用于输出空间信息和语义信息；采用线性变换的方法，将输入特征转化为Q，K，V三组向量，并计算向量Q与向量K的注意力权重矩阵；采用Relu函数对所述注意力权重矩阵进行归一化后，对向量V赋予权重，完成注意力加权；计算空间信息和语义信息的交叉注意力，并将其归一化作为权重赋予语义信息，将加权后的语义信息上采样到与空间信息同样大小，再将语义信息和空间信息进行累加融合，得到所述多尺度融合模块。4.根据权利要求3所述的街景图像分割方法，其特征在于，在得到所述语义信息提取网络和所述空间信息提取网络后，采用Dice Loss损失函数训练所述语义信息提取网络，采用交叉熵损失函数训练所述空间信息提取网络。5.根据权利要求4所述的街景图像分割方法，其特征在于：所述Dice Loss函数定义的二分类表示为：

【专利技术属性】
技术研发人员：史彦丽，盛鹏鹏，
申请(专利权)人：吉林化工学院，
类型：发明
国别省市：