一种基于语义分割的道路置信估计模糊帧方法技术

本发明专利技术公开了一种基于语义分割的道路置信估计模糊帧方法。本发明专利技术包括如下步骤：步骤1、搭建SegNet语义网络，用于输入检测道路的图像；步骤2、获取检测道路的图像数据集；步骤3、对数据集中的基础图像进行训练；步骤4、道路帧模糊性判断。本发明专利技术实现了一种基于语义分割的道路置信估计模糊帧，对智能驾驶中检测模糊图像有较大意义。本发明专利技术中的方法利用图片的语义特性将，道路驾驶的图像经过语义分割处理输出图像特征图，并通过时间差分法实现对图像进行置信估计，找出模糊、不稳定帧。排除这些干扰图像对智能图像识别的成功具有较高的提升。

A fuzzy frame method of road confidence estimation based on semantic segmentation

【技术实现步骤摘要】
一种基于语义分割的道路置信估计模糊帧方法
本专利技术属于计算机视觉
，涉及无人车辆和图像信息处理，具体为一种基于语义分割的道路置信估计模糊帧方法。
技术介绍
智能驾驶车辆道路环境感知问题一直以来是研究的热点，基于语义分割的道路环境感知方法是其研究重点之一，这类方法主要利用车载摄像机拍摄车辆行驶前方道路图像，利用图像处理和模式识别方法实现道路图像分割，图像语义分割就是机器自动从图像中分割出对象区域，并识别其中的内容，确定图像中各种障碍物的位置大小。传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理(NaturalLanguageProcessing)问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果。基于全卷积网络(FullyConvolutionalNetworks，FCN)的语义分割方法大多是端到端，过程繁琐，训练参数比较多，训练难度大。近年来，深度卷积神经网络对图像特征的提取具有很大的优势，如反卷积网络提出的输出等分辨率可视化，但针对特殊场景缺少适当优化，识别结果常出现误判。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于语义分割的道路置信估计模糊帧方法。本专利技术包括如下步骤：步骤1、搭建SegNet语义网络，用于输入检测道路的图像；步骤2、获取检测道路的图像数据集：步骤3、对数据集中的基础图像进行训练；步骤4、道路帧模糊性判断。步骤1具体实现如下：SegNet是一种用于图像分割的深度卷积编码解码结构，采用核心的可训练的分割引擎，包含一个编码网络和一个对应的解码网络，并跟随着一个像素级别的分类层，编码器网络的架构在拓扑上与VGG16网络中的13个卷积层相同都采用了same卷积，不改变图像的大小；在每个卷积层前会有一个批量标准化层和ReLU激活层，批量标准化层将特征值进行标准化处理用于计算当前的学习率和其他参数，激活层采用ReLU作为非线性激活函数使训练网络收敛速度更快，最后使用最大池化(max-Pooling)采样来缩小图片；解码网络借助采样得到最大池化指标(max-poolingindices)将映射低分辨率的编码后的特征图扩展到输入分辨率的特征图，最后由soft-max分类器计算每个像素占所有类别的概率，实现图像到图像的训练的过程，也称端到端的训练过程。步骤2具体实现如下：利用车载摄影仪进行录像，然后获取检测道路的图像；采用单一车种在光线充足且连续行驶的视频中的图像作为基础图像输入数据集；同时采用其他多设备指导图象识别：采用道路固定的监测设备图像作为辅助人工判断，要求在同一时间下，车载摄影图像与监测设备图像保持一致，如果相差超过预设，则该车载摄影仪的检测道路的图像可信度低，不能作为训练数据集。步骤3具体实现如下：解码器和编码器采用SegNet的方法，使用计算速度更快Adam自适应梯度法优化SegNet语义网络中的参数；使用交叉熵损失作为训练SegNet语义网络的目标函数，同时采用max—pool的采样方法对网络特征值进行提取；训练数据集中的每个类别中，若像素数量的变化超过预设阈值时，则需要根据图像真实类别进行不同地加权，或该图像超出所需范围，不可取。所述的Adam自适应梯度法，具体实现如下：Adam更新公式：其中(2)对移动均值的更新，(3)对平方梯度的更新：mt＝β1mt-1+(1-β1)gt(2)其中，θt—当前参数；θt+1—下一时间参数；η—学习率；ε—非常小的参数；mt—指数移动均值；vt—平方梯度；gt—在时间跨度上的梯度值；β1，β2∈(0，1]—衰减率；和分别是梯度一阶矩和二阶矩；通过计算偏差校正的一阶矩和二阶矩估计量，从而抵消偏差：所述的采用max—pool的采样方法对网络特征值进行提取网络特征值的提取优化，具体实现如下：首先将整个图片的图像特征矩阵不重叠的分割成多个大小相同的区域，然后对每个区域提取该区域的最大值，并将其余数值舍弃。步骤4所述的道路帧模糊性判断通过两帧差分法实现，具体如下：记视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x,y)和fn-1(x，y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn；Dn(x，y)＝|fn(x，y)-fn-1(x，y)|设定阈值T，逐个对像素点进行二值化处理，得到二值化图像Rn；其中，灰度值为255的点即为前景点，灰度值为0的点即为背景点；对二值化图像Rn进行连通性分析，最终可得到含有完整运动目标的二值化图像Rn；根据二值化图像Rn判断运动目标，由于车辆行驶过程中，如果两车速度相近，在道路上得到的结果是类似与对静止目标的检测；同时根据道路两侧场景的变换速度，二值化图像Rn会有较大的变化进而推算出道路车辆的行驶速度；当二值化图像Rn的区域值拟合性较高，超出预设值，则代表该时刻的图像拟合度太高不够准确，不能作为识别图像；当二值化图像Rn(x,y,t)与Rn(x,y,t-1)变化较大，即图像的当前帧与前一帧相差较大，超出变化阈值，作为识别图像可信度不高。本专利技术的特点及有益效果：本专利技术实现了一种基于语义分割的道路置信估计模糊帧，对智能驾驶中检测模糊图像有较大意义。本专利技术中的方法利用图片的语义特性将，道路驾驶的图像经过语义分割处理输出图像特征图，并通过时间差分法实现对图像进行置信估计，找出模糊、不稳定帧。排除这些干扰图像对智能图像识别的成功具有较高的提升。对研究智能驾驶的准确性具有较高的科研价值和应用价值。本专利技术由多个汽车的摄影仪器实时拍摄采集汽车行驶时道路的图像实时传输给计算系统，进行图像的预处理；对图像进行语义分析；根据前几帧的图像信息进行置信估计；分辨道路情况；指导计算机系统协助驾驶，本专利技术充分利用了行驶过程钟的图像信息和图像帧的先后性，在统计数据的支持下，对道路进行区域的状况进行比较准确的划分，提升了图像识别结果的鲁棒性，使得驾驶更加安全。此技术可以在计算机，摄像机等硬件系统上实现。附图说明图1为SegNet网络的基本结构组成。具体实施方式下面结合附图和实施例对本专利技术作进一步说明；本文采用模型简单训练时间短，运行时间短的神经网络SegNet(ADeepConvolutionalEncoder-DecoderArchitectureforImageSegmentation)其具有训练准确率高、规格小、可视化的特点，并采用训练速度比较快的优化器Adam更新权值，并利用图像连续性快速更新网络模型中的Max-poolingindeices，并将可视化图像结果进行置信估计，优化输出结果，提高准确率。本专利技术具体实现步骤如下：步骤本文档来自技高网...

【技术保护点】
1.一种基于语义分割的道路置信估计模糊帧方法，其特征在于包括如下步骤：/n步骤1、搭建SegNet语义网络，用于输入检测道路的图像；/n步骤2、获取检测道路的图像数据集：/n步骤3、对数据集中的基础图像进行训练；/n步骤4、道路帧模糊性判断。/n

【技术特征摘要】
1.一种基于语义分割的道路置信估计模糊帧方法，其特征在于包括如下步骤：
步骤1、搭建SegNet语义网络，用于输入检测道路的图像；
步骤2、获取检测道路的图像数据集：
步骤3、对数据集中的基础图像进行训练；
步骤4、道路帧模糊性判断。


2.根据权利要求1所述的一种基于语义分割的道路置信估计模糊帧方法，其特征在于步骤1具体实现如下：
SegNet是一种用于图像分割的深度卷积编码解码结构，采用核心的可训练的分割引擎，包含一个编码网络和一个对应的解码网络，并跟随着一个像素级别的分类层，编码器网络的架构在拓扑上与VGG16网络中的13个卷积层相同都采用了same卷积，不改变图像的大小；在每个卷积层前会有一个批量标准化层和ReLU激活层，批量标准化层将特征值进行标准化处理用于计算当前的学习率和其他参数，激活层采用ReLU作为非线性激活函数使训练网络收敛速度更快，最后使用最大池化(max-Pooling)采样来缩小图片；解码网络借助采样得到最大池化指标(max-poolingindices)将映射低分辨率的编码后的特征图扩展到输入分辨率的特征图，最后由soft-max分类器计算每个像素占所有类别的概率，实现图像到图像的训练的过程，也称端到端的训练过程。


3.根据权利要求2所述的一种基于语义分割的道路置信估计模糊帧方法，其特征在于步骤2具体实现如下：
利用车载摄影仪进行录像，然后获取检测道路的图像；采用单一车种在光线充足且连续行驶的视频中的图像作为基础图像输入数据集；同时采用其他多设备指导图象识别：采用道路固定的监测设备图像作为辅助人工判断，要求在同一时间下，车载摄影图像与监测设备图像保持一致，如果相差超过预设，则该车载摄影仪的检测道路的图像可信度低，不能作为训练数据集。


4.根据权利要求3所述的一种基于语义分割的道路置信估计模糊帧方法，其特征在于步骤3具体实现如下：
解码器和编码器采用SegNet的方法，使用计算速度更快Adam自适应梯度法优化SegNet语义网络中的参数；使用交叉熵损失作为训练SegNet语义网络的目标函数，同时采用max-pool的采样方法对网络特征值进行提取；训练数据集中的每个类别中，若像素数量的变化超过预设阈值时，则需要根据图像真实类别进行不...

【专利技术属性】
技术研发人员：颜成钢，叶宇晨，周铁生，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33