一种基于深度学习的车辆行车车道检测方法技术

本发明专利技术涉及一种基于深度学习的车辆行车车道检测方法，属于智能交通领域。该方法包括以下步骤：S1：数据采集模块布设；S2：视频数据处理；S3：音频数据处理；S4：建立长短期记忆网络进行训练及测试。本发明专利技术利用拾音器采集道路信息数据，利用摄像头采集的图像通过图像处理技术，识别道路交通状况作为标签数据，将道路信息数据添加标签数据进行有标签的深度学习，通过训练好的网络模型实现对车辆车道的检测，提高检测的精度。本发明专利技术具有对路面结构无破坏、险危环境表现良好、检测精度高等优点。

A Vehicle Lane Detection Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的车辆行车车道检测方法
本专利技术属于智能交通领域，涉及一种基于深度学习的车辆行车车道检测方法。
技术介绍
我国国土面积广大，高速公路里程不断增加，地域差异大，气象条件多变，增加道路行车安全隐患，尤其在低能见度等险危条件下，交通事故频发，检测交通事件难度增大。需要实时采集方法获取道路动态化、多样化的交通信息，为交通事件检测及诱导方案的提出提供依据。到目前为止，交通信息采集主要有感应线圈、视频、微波、超声波、红外、GPS定位、电子标签等方式。视频检测数据量及计算量大，实时性差，并且容易受到外界气象环境的干扰；感应线圈影响道路使用寿命，且容易损坏；超声波检测精度受环境影响较大；GPS和电子标签需要车辆配有相应的硬软件。利用视频检测车道线的方式通过算法来提高识别率，但是检测结果很容易受到环境条件的影响。而微波会出现车辆之间遮挡的情况而增大多车道车辆同时检测的难度。音频也是属于交通信息检测技术之一，车辆自发声是车辆行驶状态的一种表现形式(如不同行车道上的车辆在音频幅值上存在明显差别)，目前利用音频的研究较少。但在低能见度(如雾、雨、雪、夜间等)环境条件下通过拾音器采集道路车辆的音频信息几乎无影响，因此利用道路车辆的音频实现车辆行车车道的检测具有安装方便、对路面结构无损害、低能见度环境表现良好等优点。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度学习的车辆行车车道检测方法。为达到上述目的，本专利技术提供如下技术方案：一种基于深度学习的车辆行车车道检测方法，该方法包括以下步骤：S1：数据采集模块布设；S2：视频数据处理；S3：音频数据处理；S4：建立长短期记忆网络LSTM进行训练及测试。进一步，所述步骤S1具体为：设摄像头C投影在路面F的点为O，OC为摄像机架杆G，AB是摄像头C能够检测的路面区域在路面的投影截面边缘点，拾音器ID以及拾音器IIE设置在AB上，AB的中点和DE的中点重合；车辆行驶为B到A，AB之间的间距为20m，拾音器ID和拾音器IIE之间间隔为0.2m；同步启动摄像头和拾音器，采集一段时间内的道路数据。进一步，所述步骤S2具体为：S21将视频转化为图像设一辆车的行驶速度100km/h＝27.8m/s，摄像头拍摄一辆车的有效时间为0.7s，视频1s有24帧，占据视频中的24*0.7＝16.8帧，试取3张图片，视频中每隔4帧将视频转成图像，即帧数取5i,5(i+1),5(i+2),…,5(i+5)，i＝1,2,3…；S22进行图像识别首先对图像进行二值化和灰度处理，边缘检测方法采用Canny，然后是进行开运算，消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用，接着是分析每个区域的图像特征参数，找出提取目标值的区域，得出识别结果；S23对识别的图像进行标签标注分析前后图片中目标物的坐标值，确定其为车道占用情况的类别，对不同类别进行编号标记。进一步，所述步骤S3具体为：S31图像处理结果与音频数据进行数据配对通过对图像识别得出车道占用情况，对一段时间的图像数据标记对应的车道占用情况标签信息，返回此时的帧数5i，确定此时的时间为(5i/24)s；摄像头拍摄同一时段车辆经过的有效时间为0.7s，经过DE中点的时间为[(5i/24)-0.35]s，取[(5i/24)-0.7]～[(5i/24)]s的音频数据，得到的图像标签数据与音频数据形成一一对应的关系；S32音频数据数字化获取的音频数据是模拟信号时间段，进行AD转换变成数字信号(D1和D2)；采用将两段音频数据拼接的方式作为样本信息数据(D＝D1+D2)；在每一秒时间按照平均采样的方法采取100条数据，那么输入数据的大小K_size＝0.7*100*2＝140，将类别分为9类，即输出结果的大小为L_size＝9。进一步，所述步骤S4具体为：S41基于LSTM模型的车辆车道检测训练学习利用预处理的数据搭建合适的深度网络模型，已经获取到音频数据和图像标签数据，深度学习模型采用的是长短期记忆网络LSTM；输入层单元数大小是140，采用多个节点数相同的隐藏层，设置隐藏层单元数为80，输出层单元数是9，输入层与隐藏层之间的权重矩阵的大小为140*80；隐藏层与输出层之间权重矩阵的大小为80*9；隐藏层自身的权重矩阵的大小为80*80；输入的数据利用权重矩阵提取特征，通过激活函数非线性化映射，最后利用softmax分类器进行分类；分类器给出一个9位数的矢量，其中矢量的每一位分别对应不同的车辆行车车道占用情况的结果概率，将实际概率与真实值之间的误差进行反向传播来修正权重，进行大量带标签的训练，最后得到的是稳定的权重矩阵；S42基于LSTM模型的车辆车道检测的实现训练时采用固定长度的音频时间段进行训练，在分类的时候首先是判断是否触发条件，收发信号通过混频、有源滤波和放大处理后实现有移动物体时产生触发，音频通过设定阈值的方式产生触发，一旦接收到的音频信号产生触发，将触发信息发送给控制器产生触发中断，此时控制器接收音频此后固定长度的音频时间的数据，然后通过数据处理，处理过程和训练数据音频处理方法一样，将处理后的数据输入到训练好的LSTM模型中进行分类输出，输出编码结果，对应不同的车辆车道占用情况，实现车辆车道的检测。本专利技术的有益效果在于：本专利技术利用拾音器采集道路信息数据，利用摄像头采集的图像通过图像处理技术，识别道路交通状况作为标签数据，将道路信息数据添加标签数据进行有标签的深度学习，通过训练好的网络模型实现对车辆车道的检测，提高检测的精度。本专利技术具有对路面结构无破坏、险危环境表现良好、检测精度高等优点。本专利技术在低能见度和正常能见度道路环境下对行车车道检测具有良好的效果，在正常的能见度环境条件下进行学习和训练，摄像头处理后的标签信息用于前期训练。当网络训练好之后，不论是否是低能见度环境条件，不再需要图像标签的辅助作用都能实现车辆行车车道的检测。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为模拟人的大脑工作原理示意图；图2为总体思路示意图；图3为数据处理流程图；图4为采集模块安放位置侧面图；图5为图像识别流程图；图6为实际道路区域标注；图7为LSTM模型训练流程图；图8为基于LSTM模型的车辆车道检测；图9为整体流程图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车辆行车车道检测方法，其特征在于：该方法包括以下步骤：S1：数据采集模块布设；S2：视频数据处理；S3：音频数据处理；S4：建立长短期记忆网络LSTM进行训练及测试。

【技术特征摘要】
1.一种基于深度学习的车辆行车车道检测方法，其特征在于：该方法包括以下步骤：S1：数据采集模块布设；S2：视频数据处理；S3：音频数据处理；S4：建立长短期记忆网络LSTM进行训练及测试。2.根据权利要求1所述的一种基于深度学习的车辆行车车道检测方法，其特征在于：所述步骤S1具体为：设摄像头C投影在路面F的点为O，OC为摄像机架杆G，AB是摄像头C能够检测的路面区域在路面的投影截面边缘点，拾音器ID以及拾音器IIE设置在AB上，AB的中点和DE的中点重合；车辆行驶为B到A，AB之间的间距为20m，拾音器ID和拾音器IIE之间间隔为0.2m；同步启动摄像头和拾音器，采集一段时间内的道路数据。3.根据权利要求1所述的一种基于深度学习的车辆行车车道检测方法，其特征在于：所述步骤S2具体为：S21将视频转化为图像设一辆车的行驶速度100km/h＝27.8m/s，摄像头拍摄一辆车的有效时间为0.7s，视频1s有24帧，占据视频中的24*0.7＝16.8帧，试取3张图片，视频中每隔4帧将视频转成图像，即帧数取5i,5(i+1),5(i+2),…,5(i+5)，i＝1,2,3…；S22进行图像识别首先对图像进行二值化和灰度处理，边缘检测方法采用Canny，然后是进行开运算，消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用，接着是分析每个区域的图像特征参数，找出提取目标值的区域，得出识别结果；S23对识别的图像进行标签标注分析前后图片中目标物的坐标值，确定其为车道占用情况的类别，对不同类别进行编号标记。4.根据权利要求1所述的一种基于深度学习的车辆行车车道检测方法，其特征在于：所述步骤S3具体为：S31图像处理结果与音频数据进行数据配对通过对图像识别得出车道占用情况，对一段时间的图像数据标记对应的车道占用情况标签信息，返回此时的帧数5i，确定此时的时间为(5i/24)s；摄像头拍摄同一时段车辆经过的有效时间为0.7s，经过DE中点的时...

【专利技术属性】
技术研发人员：张奔牛，秦攀，
申请(专利权)人：重庆交通大学，
类型：发明
国别省市：重庆,50