一种基于多特征图的交通图像语义分割方法技术

本发明专利技术公开了一种基于多特征图的交通图像语义分割方法，包括以下步骤：获取多特征图训练样本：视差图、高度图和角度图；构建网络模型，并对网络模型进行训练，把训练好的网络模型和六通道的测试图像，输入到网络模型中，经过多类分类器softmax层输出六通道图像中每个像素属于每一物体类别的概率值，进而预测六通道图像中每个像素所属的物体类别，最终输出图像语义分割图。本发明专利技术基于多特征图的交通图像语义分割方法，实现了彩色图像和深度图、高度图、角度图的融合，能获取图像更多特征信息，有助于对道路交通场景的理解，提高了语义分割精度。本发明专利技术通过学习到的有效特征，能够预测出图像中每个像素所属的物体类别，输出图像语义分割图。

A traffic image semantic segmentation method based on multi feature map

The invention discloses a semantics segmentation method of traffic image based on multi-feature graph, which includes the following steps: acquiring training samples of multi-feature graph: disparity map, altitude map and angle map; constructing network model, training network model, and inputting the trained network model and six-channel test image into network model. In the model, the probability value of each pixel belonging to each object class in six-channel image is output through multi-class classifier software Max layer, and then the object class of each pixel in six-channel image is predicted, and the semantics segmentation image is finally output. The method of traffic image semantics segmentation based on multi-feature graph realizes the fusion of color image and depth map, height map and angle map, can obtain more feature information of the image, is helpful to understand the road traffic scene, and improves the accuracy of semantics segmentation. By learning the effective features, the invention can predict the object category of each pixel in the image and output the image semantics segmentation map.

【技术实现步骤摘要】
一种基于多特征图的交通图像语义分割方法
本专利技术涉及计算机视觉和模式识别领域，具体涉及一种基于立体视觉和深度卷积神经网络模型的多特征图交通图像语义分割方法。
技术介绍
交通场景的理解和感知，在智能汽车的障碍检测、可通行性估测、路径规划等方面具有十分重要的意义。但是，道路交通场景具有复杂性、多变性以及不确定性等特点，使得交通场景的感知、理解工作变得困难且精度较低。在深度卷积神经网络出现之前，交通场景的感知和理解多通过人工设计特征提取器的方法来实现对交通场景的分类，需要通过编写复杂的程序来实现，且主要针对特定的类别有效，不具有普遍性。近年来，随着计算机硬件尤其是图形处理器(GPU)的快速发展以及大规模标记数据的出现，深度卷积神经在交通场景的感知和理解等方面得到了迅速的发展，成为当前主流的方法。但是，目前基于RGB图像的交通图像语义分割方法未能充分地利用图像的特征信息，导致语义分割精度较低。
技术实现思路
为了克服上述现有技术的不足，本专利技术要提出一种基于多特征图的能够提高语义分割精度的交通图像语义分割方法为实现上述目的，本专利技术的技术方案如下：一种基于多特征图的交通图像语义分割方法，包本文档来自技高网...

【技术保护点】
1.一种基于多特征图的交通图像语义分割方法，其特征在于：包括以下步骤：A、获取多特征图训练样本A1、获取视差图通过汽车自动驾驶系统中从水平安装的左右两个相机获取包含交通场景的左右两幅图像，然后通过半全局立体匹配算法得到包含场景三维信息的视差图；因为获得的初始视差图物体的边界较为粗糙，为提高分割精度，采用一种基于最小二乘法的快速全局图像平滑方法对视差图进行滤波处理，得到边缘更加平滑的视差图；所述的相机为双目立体视觉相机；A2、获取高度图在已经获得视差图的基础上，利用公式(1)，得到图像坐标系中点像素所对应的世界坐标系下的点的高度信息；

【技术特征摘要】
1.一种基于多特征图的交通图像语义分割方法，其特征在于：包括以下步骤：A、获取多特征图训练样本A1、获取视差图通过汽车自动驾驶系统中从水平安装的左右两个相机获取包含交通场景的左右两幅图像，然后通过半全局立体匹配算法得到包含场景三维信息的视差图；因为获得的初始视差图物体的边界较为粗糙，为提高分割精度，采用一种基于最小二乘法的快速全局图像平滑方法对视差图进行滤波处理，得到边缘更加平滑的视差图；所述的相机为双目立体视觉相机；A2、获取高度图在已经获得视差图的基础上，利用公式(1)，得到图像坐标系中点像素所对应的世界坐标系下的点的高度信息；式中，f为相机焦距，b为两个相机的基线长度，d为视差值，v为图像的纵坐标，Cy为双目校正后图像坐标系原点与校正前图像坐标系原点的纵向偏移，fy为相机的内参数；由于相机的安装不能保证与地平面完全平行，其与地平面之间存在俯仰角，所以利用最小二乘法，对地平面进行拟合，得到图像的实际高度；A3、获取角度图在已经获得视差图的基础上，以地平面的法线方向为基准方向r，获得与基准方向r有关的角度信息的方法分为以下两步：A31、假定初始基准方向为ri-1，则像素点集N1和N2满足以下关系式：N1＝{l:θ(l,ri-1)＜dorθ(l,ri-1)＞180°-d}i＝1,2,···,n(2)N2＝{l:90°-d＜θ(l,ri-1)＜90°+d}i＝1,2,···,n(3)式中，N1是法线平行于基准方向r的平面像素点集，N2是法线垂直于基准方向r的平面像素点集；l为像素点的法线方向，θ(l,ri-1)为法线方向l与ri-1之间的夹角，d为迭代计算的步长，n为像素点的个数；A32、迭代更新一个新的基准方向ri，使其与像素点集N1中像素点的法线方向平行，与像素点集N2中像素的法线方向垂直，即ri满足以下最优关系式：对式(2)-(4)进行求解，首先将步长d设为45°，连续迭代5次；然后，再将步长d设为15°，继续迭代5次后，得到基准方向r；最后计算像素点法线...

【专利技术属性】
技术研发人员：连静，孔令超，郑伟娜，李琳辉，周雅夫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21