基于全卷积神经网路的道路场景分割方法技术

本发明专利技术涉及一种基于全卷积神经网路的道路场景分割方法，包括：步骤1，利用KSW二维阈值及遗传算法对原始道路场景图像进行中值滤波处理获得训练集；步骤2，构建全卷积神经网络框架；步骤3，将步骤1得到训练样本和通过人眼识别判断标识的人工分割图像作为全卷积神经网络的输入数据，训练得到鲁棒性较高、准确度较好的深度学习神经网络分割模型；步骤4，将待分割的道路场景图像测试数据引入训练好的深度学习神经网络分割模型，得到最后的分割结果。实验结果表明，本发明专利技术能够有效地解决道路场景图像的分割问题，获得了比传统道路场景图像分割方法更高的鲁棒性和分割精度，可进一步应用于更复杂场景下道路图像分割。

Road scene segmentation method based on full convolution neural network

The present invention relates to a road scene segmentation method based on full convolution neural network, which includes: step 1, using KSW two-dimensional threshold and genetic algorithm to obtain training sets by median filtering of the original road scene images; step 2, constructing a full convolution neural network framework; step 3, getting training samples and passing people in step 1 The artificial segmentation image of eye recognition and judgment mark is used as the input data of the full convolution neural network, and the depth learning neural network segmentation model with high robustness and good accuracy is trained. Step 4, the road scene image test data to be segmented is introduced into the trained depth learning neural network segmentation model, and the final result is obtained. Segmentation results. The experimental results show that the method can effectively solve the segmentation problem of road scene images, obtain higher robustness and segmentation accuracy than traditional road scene image segmentation methods, and can be further applied to road image segmentation in more complex scenes.

【技术实现步骤摘要】
基于全卷积神经网路的道路场景分割方法
本专利技术属于图像分割
，涉及适用于城市、郊区、高速公路等多场景道路图像分割，可用于目标识别、目标检索、无人驾驶技术等领域。
技术介绍
随着社会的发展，经济的提高，城市交通不断完善，汽车的普及程度已很大，但由于汽车驾驶不当引起的各类交通事故也日益增多。在科技不断进步的今天，无人驾驶技术也应运而生。无人驾驶系统是一个集合智能识别、路径规划、机械控制等多个模块的复杂智能控制系统，最终目的是实现车内计算机控制系统实现自动驾驶操作。无人驾驶技术的研究是为了提供汽车驾驶的安全性、舒适性以及娱乐性，发展城市智能交通，解决城市交通拥堵等一系列问题。因此无人驾驶技术的研究实现具有巨大的现实意义，未来发展前景十分可观。智能识别模块在无人驾驶系统中具有举足轻重的作用，其主要是感知车辆周围环境中的车辆、行人、房屋、行车线等物体，将感知结果提供给路径决策模块进行相应的道路规划，最终由机械控制模块通过相关机械联动使汽车自动驾。环境感知包括道路识别、汽车检测、行人检测及道路标识线识别等，解决这些问题一直以来存在着很大的挑战。传统道路分割常采用两类方法：基于双目视觉深度图的方法和基于运动的方法。基于双目立体视觉和SVM算法行人检测是利用阈值分割确定运动目标所在的坐标位置；针对运动指标多样性则是以高度、投影表面方向、特征跟踪密度等5个运动指标对道路进行分割，但是上述方法需要极大的计算资源，难以满足现阶段无人驾驶汽车实用性要求。自2014年起，深度学习被逐渐引入到道路场景分割中，一些研究者提出了基于端对端深度学习的智能车转向研究，通过预训练自编码来得到良好的道路特征编码；最近几年，由于计算机巨大的并行计算能力加速了大规模数据的训练过程，卷积神网络(ConvolutionalNeuralNetwork，CNN)重新成为大家的研究热点并得到广泛应用，使用基于卷积神经网络(CNN)的算法学习场景中的高阶特征来进行道路场景分割，虽然降低了计算强度但也存在部分复杂场景分割效果不佳的问题；针对复杂场景问题提出了利用深度卷积神经网络(DCNN)深度结构的特征自动抽取能力，辅以特征自编码器对源-目标场景下特征相似度度量的方法。但是，这些算法对于道路标识、车辆、行人的分割精度并未达到理想结果，对于阴雨天、积雪天、高温天气的路面时常出现过分割现象。
技术实现思路
本专利技术的目的在于针对上述分割方法中的不足，提出基于一种结合KSW二维阈值及遗传算法和深度学习的道路场景分割算法，以提高分割效果的准确性和鲁棒性。本专利技术的技术方案为一种基于全卷积神经网路的道路场景分割方法，包括如下步骤：步骤1，利用KSW二维阈值及遗传算法对原始道路场景图像进行中值滤波处理获得训练集，包括如下子步骤；步骤1a，首先设定KSW二维阈值及遗传算法中的初始种群数，采用16位二进制来表示阈值矢量，前8位二进制码表示阈值s，后8位二进制码表示阈值t；构造适应度函数如式(1)所示：式中s*表示前8位编码最佳阈值，t*表示后8位编码最佳阈值，H(s,t)表示二维信息熵；步骤1b，然后将适应度较大的个体的比例直接遗传到下一代，再通过轮赌法选择个体；并设置交叉算子如式(2)所示，其中，k表示算法的搜索代数；步骤1c，将进化过程分为初期、中期和后期三个阶段，每个阶段采用不同变异概率，具体变异算子的设置如式(3)所示，其中，k表示算法的搜索代数；步骤1d，将新一代的二维阈值输入适应度函数，如果满足函数，则确定该二维阈值对原始道路场景图像进行滤波，如果不满足函数，则返回重新编码、交叉、变异得到下一代种群，直到得到最优二维阈值，然后利用最优二维阈值来对原始道路场景图像进行中值滤波得到训练集；步骤2，构建全卷积神经网络框架，网络层次包括：卷积层8层，池化层6层，反卷积层1层，其中卷积层采用Relu函数作为激活函数，池化层采用最大池化的方法，卷积层输入输出关系如式(4)所示；反卷积输入输出关系如式(5)所示：O'＝s(i'-1)+k-2p(5)式中s为步长，k为反卷积核尺寸，p为每个维度相同的填充，i和o为卷积运算的输入输出，i'和O'为反卷积运算输入和输出；步骤3，将步骤1得到训练样本和通过人眼识别判断标识的人工分割图像作为全卷积神经网络的输入数据，训练得到鲁棒性较高、准确度较好的深度学习神经网络分割模型；步骤4，将待分割的道路场景图像测试数据引入训练好的深度学习神经网络分割模型，得到最后的分割结果。进一步的，步骤1a中KSW二维阈值及遗传算法中的初始种群数根据训练样本的大小设定。进一步的，步骤3中选取FCN-32s权重构建全卷积神经网络框架。本专利技术与传统道路场景分割方法相比，具有以下优点：1、本专利技术引用了多样性输入的无监督深度全卷积神经网络模型，面对复杂场景下道路特征挖掘，克服了传统特征提取中的数据不完整性、操作周期长、适用范围有限等缺点，深层次逼近对道路场景的地物分割。2、本专利技术结合传统阈值分割技术改进和深度学习两种方法，将深度学习和迁移学习相结合，充分发挥两种算法的优势，在深度学习前将一些恶劣因素进行过滤，在一定程度上提高分割精度，同时防止道路场景上的过分割现象。实验结果表明，本专利技术能够有效地解决道路场景图像的分割问题，获得了比传统道路场景图像分割方法更高的鲁棒性和分割精度，可进一步应用于更复杂场景下道路图像分割，解决更多类别下的道路场景分割问题。附图说明图1是本专利技术实施例的流程图；图2是本专利技术实施例中全卷积神经网络结构示意图；图3是本专利技术实施例中的训练样本图；图4是本专利技术实施例中的手动分割图；图5是本专利技术实施例中测试数据的分割效果图。具体实施方式下面将结合附图对本专利技术技术方案作进一步说明。如图1所示，通过改进的KSW双阈值分割及遗传算法将原始数据集处理为训练集，在FCN网络框架中选用不同的权重，比如：选用VGG16权重则得到FCN-32s模型；选用FCN-32s权重则得到FCN-16s模型；选用FCN-16s权重则得到FCN-8s模型。根据多次实验结果反映FCN-16s模型效果最为优秀，本专利技术选用FCN-32s权重来搭建FCNN网络框架。步骤1，将原始道路场景图像作为初始数据放入改进的KSW(最佳熵)二维阈值及遗传算法获得深度学习的训练集，测试集用原始RGB图即可，具体实现步骤包括如下步骤；步骤1a，首先设定KSW(最佳熵)二维阈值及遗传算法中的初始种群数(population)为20，采用16位二进制来表示阈值矢量，前8位二进制码表示阈值s,后8位二进制码表示阈值t；构造适应度函数如式(1)所示：式中s*表示前8位编码最佳阈值，t*表示后8位编码最佳阈值，H(s,t)表示二维信息熵。步骤1b，然后将适应度较大的个体的比例(本实施例选择的10％)直接遗传到下一代，再通过轮赌法选择个体。这种方法不仅保证选出最优个体，而且体现了适应度高的个体繁殖后代几率大的进化思想。由于前期希望快速获得新个体，所以选择较大的交叉概率，后期由于个体趋于稳定，减少交叉概率，具体交叉算子的设置如式(2)所示：其中，k表示算法的搜索代数，为了满足搜索范围的全面性、时效性，前期选用交叉概率为0.8，后期选用交叉概率为0.6。步骤1c，将进化过程分为初期、中期和后期三个阶段，每个阶段本文档来自技高网...

【技术保护点】
1.基于全卷积神经网路的道路场景分割方法，其特征在于，包括如下步骤：步骤1，利用改进的KSW二维阈值及遗传算法对原始道路场景图像进行中值滤波处理获得训练集，包括如下子步骤；步骤1a，首先设定KSW二维阈值及遗传算法中的初始种群数，采用16位二进制来表示阈值矢量，前8位二进制码表示阈值s，后8位二进制码表示阈值t；构造适应度函数如式(1)所示：

【技术特征摘要】
1.基于全卷积神经网路的道路场景分割方法，其特征在于，包括如下步骤：步骤1，利用改进的KSW二维阈值及遗传算法对原始道路场景图像进行中值滤波处理获得训练集，包括如下子步骤；步骤1a，首先设定KSW二维阈值及遗传算法中的初始种群数，采用16位二进制来表示阈值矢量，前8位二进制码表示阈值s，后8位二进制码表示阈值t；构造适应度函数如式(1)所示：式中s*表示前8位编码最佳阈值，t*表示后8位编码最佳阈值，H(s,t)表示二维信息熵；步骤1b，然后将适应度较大的个体的比例直接遗传到下一代，再通过轮赌法选择个体；并设置交叉算子如式(2)所示，其中，k表示算法的搜索代数；步骤1c，将进化过程分为初期、中期和后期三个阶段，每个阶段采用不同变异概率，具体变异算子的设置如式(3)所示，其中，k表示算法的搜索代数；步骤1d，将新一代的二维阈值输入适应度函数，如果满足函数，则确定该二维阈值对原始道路场景图像进行滤波，如果不满足函数，则返回重新编码、交叉、变异得到下一代种群，直到得到最优二维阈值，然后利用最优二维阈值来对原始道路...

【专利技术属性】
技术研发人员：王云艳，罗冷坤，徐超，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42