基于深度学习的前方车辆测距方法技术

本发明专利技术公开了一种基于深度学习的前方车辆测距方法。主要解决现有超声波测距系统有效探测距离较小和测距准确率低的问题。其实现方案为：获取一段视频图像；将获取的视频图片进行标记；将所有的图片制作成图像识别与图像分类数据集；由数据集训练的车辆检测模型对图片中的目标车辆进行检测，得到目标车辆的边框信息；建立车辆测距模型，将目标车辆的边框信息输入到车辆测距模型，得到目标车辆的距离。本发明专利技术的方法简单，易于实施，增长了对前方车辆的探测距离、减少了单目摄像头的相关参数产生的误差以及实际成像中的光路误差，提高了测距的准确性，可用于道路行驶中的安全预警。

Forward Vehicle Ranging Method Based on Deep Learning

The invention discloses a forward vehicle ranging method based on depth learning. It mainly solves the problems of small effective detection distance and low accuracy of the existing ultrasonic ranging system. Its realization scheme is: to acquire a video image; to mark the acquired video image; to make all the pictures into image recognition and image classification data sets; to detect the target vehicle in the picture by the vehicle detection model trained by the data set, to get the border information of the target vehicle; to establish a vehicle ranging model, to input the border information of the target vehicle into the vehicle ranging. The distance of the target vehicle is obtained by the model. The method of the invention is simple and easy to implement, increases the detection distance of the vehicle in front, reduces the errors caused by the relevant parameters of the monocular camera and the optical path errors in the actual imaging, improves the accuracy of ranging, and can be used for safety early warning in road driving.

【技术实现步骤摘要】
基于深度学习的前方车辆测距方法
本专利技术属于计算机测量
，更进一步涉及一种车辆测距的方法，可用于道路行驶中的安全预警。
技术介绍
随着计算机视觉和图像处理技术的深入发展,基于视觉的测距技术逐渐应用于汽车智能导航系统和军事上。车辆测距系统是汽车智能导航系统的重要组成部分,对提高行驶的安全性、减少交通事故的发生有着重要的意义。三一重工股份有限公司在其申请的专利文献“一种车辆测距雷达系统及车辆”(专利申请号：201220296267.6，公开号：CN202703404U)中公开了一种车辆测距雷达系统。该系统需要具有至少一个超声探头，用于检测与障碍物之间的距离；一根通信总线，用于实现通信与超声波探头和显示主机的通信；一个显示主机，用于通过总线获得距离信号，并根据距离信号显示或报警。该系统采用了超声波测距系统，使得获取前方车辆的距离。该方法存在的不足之处是：系统设备复杂昂贵，容易受到干扰，且有效探测距离较小。东北大学在其申请的专利文献“一种基于单目视觉的车辆测距方法”(专利申请号：201510229988.3，公开号：CN104899554A)中公开了一种基于单目视觉的车辆测距方法。该方法通过在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参数；采集高速公路环境下的视频图像并采用高斯滤波对视频图像进行初步去噪、滤波处理；对视频图像进行目标车辆检测前的兴趣区域分割预处理；在分割后的视频图像区域内进行车辆检测，目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的haar特征，测量目标车辆距离，在近距离范围内采用基于小孔成像的测距方法；在长距离的范围上，采用数据拟合的测距方法。该方法的不足之处在于需要了解单目摄像头的高度及其俯仰角，并确定摄像头的焦距参数，采取小孔成像的光学模型，其中是以理想光路为前提的坐标变换的几何关系，并未考虑实际成像中存在的透镜畸变等光路误差，测距的准确低，无法满足实际需求中的需要。
技术实现思路
本专利技术的目的在于针对上述现有方法的不足，提出一种基于深度学习的前方车辆测距方法，以增加对前方车辆的探测距离、减少单目摄像头的相关参数产生的误差以及实际成像中存在的透镜畸变等产生的光路误差，提高测距的准确性。为实现上述目的，本专利技术的技术方案包括如下:((1)获取一段前方车辆行驶视频；(2)将获取的视频分成长度相同的N张图片，并对每张图片进行标记，N大于5000；(3)将所有的图片制作成图像识别与图像分类数据集P，该数据集P包含训练集、验证集以及测试集；(4)对前方目标车辆进行检测：(4a)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；(4b)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域；(4c)使用目标检测模型ZF初始化快速区域卷积神经网络FastR-CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络FastR-CNN；(4d)使用训练好的快速区域卷积神经网络FastR-CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；(4e)将新的候选区域作为快速区域卷积神经网络FastR-CNN的输入，固定(4c)中快速区域卷积神经网络FastR-CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络FastR-CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络FastR-CNN；(4f)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，用数据集P中验证集的图片对车辆检测模型进行验证，得到车辆检测模型的检测准确率；(4g)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注于图片上，得到目标车辆的边框信息；(5)对检测出的前方目标车辆进行测距：(5a)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型；(5c)将(4g)中检测的目标车辆的边框信息作为(5b)车辆测距模型的输入，输出检测的目标车辆的车距。本专利技术具有如下优点：1.方法简单，易于实施。本专利技术只需要获取前方车辆的行驶视频，不需要了解摄像机的一些基本参数，且利用数据回归建模法原理，实验测量得到必须的数据，就能完成前方目标距离测量，不需要高精度的仪器设备，方法简单实用。2.准确性高。本专利技术在建模的过程中，考虑了实际成像中存在的透镜畸变光路误差，采用的径向基函数神经网络训练车距模型，保证了测距的准确性。3.探测的有效距离增长。本专利技术采用快速区域卷积网络对图片进行目标检测，对于超声波测距系统，不易受外界环境的干扰，提高了检测效率，增加了对前方车辆的探测距离。附图说明图1为本专利技术的实现流程图；图2为本专利技术中的车辆检测模型的原理示意图；图3为本专利技术中的目标车辆检测标注边框示意图；图4为本专利技术中的车辆测距模型原理示意图；图5为用本专利技术对目标车辆测距的实验结果图。具体实施方式下面结合附图对本专利技术的实例和效果做进一步的详细描述。参照图1，本专利技术对前方车辆测距的实现步骤如下：步骤1：获取一段前方车辆行驶视频。通过行车记录仪记录的前方车辆行驶视频，获取其中的一段。步骤2：将获取的视频图片进行标记。通过视频图片转换器将获取的视频分成长度相同的N张图片，并对每张图名进行标记，N大于5000。步骤3：将所有的图片制作成图像识别与图像分类数据集P。3.1)建立三个文件夹，即第一个文件夹A，第二个文件夹I，第三个文件夹J；3.2)将所有的图片放入第三个文件夹J；3.3)对图片中目标车辆区域画标注框，将目标车辆区域的标注框信息转化为xml格式的标签文件，并将所有的xml文件放入第一个文件夹A中，每一个xml文件都对应于第三个文件夹J中的一张图片；3.4)在第二个文件夹I中再建立一个新文件夹M，并在该新文件夹M中建立四个空白文档，即第一个空白文档T，第二个空白文档V,第三个空白文档L,第四个空白文档S,第一个空白文档T用于存放训练图片名称，第二个空白文档V用于存放验证图片名称，第三个空白文档L用于存放第一个空白文档T和第二个空白文档V的所有图片名称,第四个空白文档S用于存放测试图片名称；3.5)将所有标记的图片按照7:3的比例随机分配到第三个空白文档L和第四个空白文档S中，并将第三个文档L中的图片标记按照7:3的比例随机分配到第一个空白文档T和第二个空白文档V中，第一个文档T中的图片构成了训练集，第二个文档V中的图片构成了验证集，第四个文档S中的图片构成了测试集；3.6)由包含有xml格式的标签文件的第一个文件夹A、包含有所有图片名称的第二个文件夹I以及包含有所有图片的第三个文件夹J构成数据集P。步骤4：对目标车辆进行检测。4.1)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000本文档来自技高网...

【技术保护点】
1.一种基于深度学习的前方车辆测距方法，其特征在于，包括如下：(1)获取一段前方车辆行驶视频；(2)将获取的视频分成长度相同的N张图片，并对每张图片进行标记，N大于5000；(3)将所有的图片制作成图像识别与图像分类数据集P，该数据集P包含训练集、验证集以及测试集；(4)对前方目标车辆进行检测：(4a)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；(4b)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域；(4c)使用目标检测模型ZF初始化快速区域卷积神经网络Fast R‑CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络Fast R‑CNN；(4d)使用训练好的快速区域卷积神经网络Fast R‑CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；(4e)将新的候选区域作为快速区域卷积神经网络Fast R‑CNN的输入，固定(4c)中快速区域卷积神经网络Fast R‑CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络Fast R‑CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络Fast R‑CNN；(4f)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，用数据集P中验证集的图片对车辆检测模型进行验证，得到车辆检测模型的检测准确率；(4g)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注于图片上，得到目标车辆的边框信息；(5)对检测出的前方目标车辆进行测距：(5a)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型；(5c)将(4g)中检测的目标车辆的边框信息作为(5b)车辆测距模型的输入，输出检测的目标车辆的车距。...

【技术特征摘要】
1.一种基于深度学习的前方车辆测距方法，其特征在于，包括如下：(1)获取一段前方车辆行驶视频；(2)将获取的视频分成长度相同的N张图片，并对每张图片进行标记，N大于5000；(3)将所有的图片制作成图像识别与图像分类数据集P，该数据集P包含训练集、验证集以及测试集；(4)对前方目标车辆进行检测：(4a)将现有的目标检测模型ZF的检测类别分为车辆和背景两类，并设置四个阶段的训练次数依次为20000、8000、20000、8000；(4b)使用目标检测模型ZF初始化区域生成网络RPN，并对其进行单独训练20000次，生成候选区域；(4c)使用目标检测模型ZF初始化快速区域卷积神经网络FastR-CNN，并将区域生成网络RPN生成的候选区域作为快速区域卷积神经网络的输入，对其进行单独训练8000次，生成训练好的快速区域卷积神经网络FastR-CNN；(4d)使用训练好的快速区域卷积神经网络FastR-CNN重新初始化区域生成网络RPN,固定共有卷积层的网络，只更新区域生成网络RPN独有的网络部分，并将其网络部分训练20000次，生成新的候选区域；(4e)将新的候选区域作为快速区域卷积神经网络FastR-CNN的输入，固定(4c)中快速区域卷积神经网络FastR-CNN的固定共有卷积层的网路，只更新快速区域卷积神经网络FastR-CNN独有的网络部分，并将其网络部分训练8000次，生产新的训练好的快速区域卷积神经网络FastR-CNN；(4f)用(4b)到(4e)的训练结果构成一个训练好的车辆检测模型，用数据集P中验证集的图片对车辆检测模型进行验证，得到车辆检测模型的检测准确率；(4g)用车辆检测模型对数据集P中测试集的图片进行车辆检测，并将检测出的目标车辆标注于图片上，得到目标车辆的边框信息；(5)对检测出的前方目标车辆进行测距：(5a)采样50组数据，其输入为图片标注检测车辆的边框信息，其输出为图片中检测车辆的真实车距；(5b)基于数据中心的监督学习算法，用50组数据对现有的径向基函数神经网络进行训练，得到车辆测距模型；(5c)将(4g)中检测的目标车辆的边框信息作为(5b)车辆测距模型的输入，输出检测的目标车辆的车距。2.根据权利要求1所述的方法，其特征在于(3)中制作图像识别与图像检测数据集P，其实现如下：建立三个文件夹，即第一个文件夹A，第二个文件夹I，第三个文件夹J；将所有的图片放入第三个文件夹J；对图片中目标车辆区域画标注框，并将目标车辆区域的标注框信息转化为xml格式的标签文件，并将所有的xml文件放入第一个文件夹A中，每一个xml文件都对应于第三个文件夹J中的一张图片；在第二个文件夹I中再建立一个新文件夹M，并在该新文件夹M中建立四个空白文档，即第一个空白文档T，第二个空白文档V,第三个空白文档L,第四个空白文档S,第一个空白文档T用于存放训练图片名称，第二个空白文档V用于存放验证图片名称，第三个空白文档L用于存放第一个空白文档T和第二个空白文档V的所有图片名称,第四个空白文档S用于存放测试图片名称；将所有标记的图片按照7:3的比例随机分配到第三个空白文档L和第四个空白文档S中，并将第三个文档L中的图片标记按照7:3的比例随机分配到第一个空白文档T和第二个空白文档V中，第一个文档T中的图片构成了训练集，第二个文档V中的图片构成了验证集，第四个文档S中的图片构成了测试集；由包含有xml格式的标签文件的第一个文件夹A、包含有所有图片名称的第二个文件夹I以及包含有所有图片的第三个文件夹J构成数据集P。3.根据权利要求1所述的方法，其特征在于(4b)中的区域生成网络RPN，包括有十一层结构，即第1层为输入层；第2层为模板大小为7*7的卷积层；第3层为模板大小为3*3的池化层；第4层为模板大小为5*5的卷积层；第5层为模板大小为3*3的池化层；第6层为模板大小为3*3的卷积层；第7层为模板大小为3*3的卷积层；第8层为模板大小为3*3的卷积层，第9层为全连接层；第10层为全连接层；第11层为输出层。4.根据权利要求1或3所述的方法，其特征...

【专利技术属性】
技术研发人员：宋骊平，杨平，岑汉，潘雁鹏，邹志彬，王菲菲，宋飞宇，柴嘉波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61