基于TensorFlow和OpenCV的车道线识别方法技术

本发明专利技术公开了基于TensorFlow和OpenCV的车道线识别方法，从道路图像中识别出车道线并建立车道线拟合方程，解决了传统车道线识别算法中遇到的干扰项多、识别率低的难题。本发明专利技术使用TensorFlow建立卷积和反卷积神经网络模型，模型经过训练后可以实现道路图像的语义分割，使该模型能够对道路图像中的车道线区域实现像素级的分类；然后建立可变阈值的图像二值化方法，将神经网络的输出图像二值化，区分出道路图像中的车道线区域；最后使用OpenCV建立提取车道线坐标点的方法，从而进一步排除干扰项，从二值化图像中提取出车道线坐标点，并建立车道线方程。本发明专利技术提出的算法具有效率高、识别率高的特点，并且在实际应用中也有较好的鲁棒性。

Lane recognition method based on TensorFlow and OpenCV

The invention discloses a lane line recognition method based on TensorFlow and OpenCV, identifies lane lines from road images and establishes lane line fitting equation, which solves the problem of multiple interference items and low recognition rate encountered in traditional lane line recognition algorithm. The invention uses TensorFlow to establish convolution and deconvolution neural network model, which can realize semantics segmentation of road image after training, so that the model can realize pixel-level classification of lane area in road image, and then establishes image binarization method with variable threshold, binarizes the output image of neural network, and distinguishes Lane area in road image. Finally, OpenCV is used to establish the method of extracting lane line coordinate points, so as to further eliminate interference items, extract lane line coordinate points from binary images, and establish lane line equation. The proposed algorithm has the characteristics of high efficiency and high recognition rate, and has good robustness in practical application.

【技术实现步骤摘要】
基于TensorFlow和OpenCV的车道线识别方法
本专利技术属于车辆自动驾驶图像识别技术，具体涉及一种基于TensorFlow和OpenCV的车道线识别方法。
技术介绍
车道线识别算法是自动驾驶算法中的重要组成部分，该算法采用的是图像处理技术，从车前CCD相机中采集到的原始道路图像中提取车道线上的点，并建立车道线方程，以完成对道路图像中的车道线识别的功能。但是，由于道路图像复杂，干扰项多，导致基于传统的图像处理方法不能够满足自动驾驶车辆对车道线识别精度的要求。
技术实现思路
针对上述问题，本专利技术提出了一种基于TensorFlow和OpenCV的车道线识别方法，该识别方法采用的算法融合了当前先进的图像识别技术和传统图像处理技术的优点，前者通过神经网络模型提取道路图像中的车道线特征，实现了对道路图像的车道线区域像素点级的分类功能；后者针对车道线的特点建立一系列的图像处理算法，这些算法能够进一步地去除干扰项目，获得更佳的车道线识别效果。本专利技术提出的算法具有效率高、识别率高的特点，并且在实际应用中也有较好的鲁棒性。本专利技术提出的设计方法包含以下步骤：步骤1.图像数据集的制作方法：制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像，本专利技术利用这些图像生成用于神经网络训练的图像数据集。该制作方法包括图像标注方法、图像处理方法和生成图像数据集方法。图像标注方法通过手工进行图像标注，利用LabelMe标注软件将原始图像中的车道线区域框选出来，输出的标注图像为二值图像；图像处理方法是将标注图像和原始图像分别经过处理后生成神经网络模型训练所需要的两种图像，包括训练时的神经网络输入图像和计算交叉熵时的输入图像；生成图像数据集方法是利用TensorFlow的图像数据集格式TFRecord，将图像处理方法中的两种图像打包成图像数据集。步骤2.神经网络模型的设计方法：神经网络模型由TensorFlow搭建，本专利技术搭建该模型，然后对模型进行训练后用于提取车道线特征。该模型共有8层，分别为卷积层1、卷积层2、卷积层3、最大池化层、反最大池化层、反卷积层3、反卷积层2、反卷积层1，每层具有特定的过滤器尺寸、过滤器深度和过滤器移动步长，有些层还使用了全零填充。在设计时，反卷积层3的输入等于卷积层3的输出与反最大池化层的输出的线性加权和。步骤3.可变阈值的图像二值化方法：在实际使用中，训练好的神经网络模型会输出具有明显车道线特征的图像，可变阈值的图像二值化方法可以将这些输出图像进行二值化处理，处理后的图像可以去除更多的干扰项，使车道线特征更加明显。本专利技术将待处理的图像的像素点的值与阈值比较，如果像素点值大于阈值，就将其设置为255，否则设置为0。可变阈值与待处理图像的像素点之和具有一次函数关系，其斜率和截距可根据实际情况进行调整。步骤4.提取车道线坐标点的方法：本专利技术利用OpenCV建立提取车道线坐标点算法，从经过二值化处理后的道路图像中提取出车道线坐标点。该方法先设定一个中间值，然后进行图像的行扫描和列扫描，行扫描的增量为8，列扫描的增量为1。图像行扫描的过程中，如果像素点的值满足以下两种情况，将不再扫描下两列数的两个像素点的值，并记录下一列数的一个像素点作为车道线的坐标点：(a)像素点所在列数小于或等于中间值，像素点的像素值大于100，相同行向x轴正方向偏移1列像素点的像素值大于100，相同行向x轴正方向偏移4列像素点的像素值小于100；(b)像素点所在列数大于中间值，像素点的像素值大于100，相同行向x轴负方向偏移1列像素点的像素值大于100，相同行向x轴负方向偏移4列像素点的像素值小于100。步骤5.建立车道线拟合方程的方法：利用提取到的车道线坐标点可以建立车道线拟合方程并求解该方程。本专利技术采用多项式函数作为车道线拟合方程的基本形式，每条车道线拟合方程建立时，其未知量的个数与在该车道线上提取到的坐标点的个数相等，并且该方程的自变量的最高次数为未知量个数减一，这保证了该方程是完全可解的。本专利技术的有益效果：本专利技术提出的车道线识别方法融合了传统OpenCV算法的高效率和深度学习算法的高识别率的优点，根据本专利技术提出的方法所设计的程序在Intel(R)Core(TM)i5-7400和NVIDIAGeForceGTX1050Ti的机器环境中仅占用了约68.469ms的运行时间，对车道线坐标点的识别准确率达到了90.446％，并对车辆阴影、光照条件等外界环境具备较好的鲁棒性。附图说明图1为本专利技术中图像数据集制作过程示意图；图2为本专利技术中神经网络模型示意图；图3为本专利技术中图像扫描坐标系；图4为本专利技术中提取车道线坐标点的流程图。具体实施方式为了使本领域的技术人员更好地理解本专利技术所提供的方案，下面结合附图对本专利技术进行具体阐述。1.图像数据集的制作方法：图像数据集用于训练神经网络模型，训练后的神经网络模型具有车道线特征提取的功能，如图1所述为图像数据集制作过程示意图。制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像，这些彩色图像经过图像标注、图像处理和生成图像数据集三个过程后获得图像数据集。图像标注使用了LabelMe软件从彩色道路图像中标注出车道线区域。标注时将车道线区域定义为车道虚线、车道实线、车道双虚线和车道双实线所在区域。标注后的图像为二值图像，二值图像中的车道线区域的像素点的像素值为255，其余部分的像素点的像素值为0。因此，从二值图像中可以看到车道线区域为白色，其余部分为黑色。完成图像标注后进入到图像处理环节。图像处理环节用于处理图像标注输出图像时包括图像裁剪、图像缩放和图像二值化过程，用于处理彩色道路图像时包括图像裁剪、图像缩放和图像灰度化。图像裁剪就是从图像高度方向按照固定的大小将待处理图像中的非车道线区域去除，尽可能地保留图像中的车道线区域，图像的宽度则保持不变，这一处理可以极大地减小图像的大小，有助于提高图像识别算法的效率和准确率。图像缩放使用的是双线性插值法将图像裁剪后的输出图像的大小缩放至固定的尺寸并且图像缩放后其宽度和高度相等，这一处理的目的是为了满足神经网络模型对输入图像尺寸的要求。图像二值化是将图像缩放后的输出图像的像素值与固定阈值比较，并根据比较结果修改像素值，当图像的像素值小于阈值时，其将被设定为0，否则被设定为255，这里图像二值化用于标注图像裁剪并缩放后的输出图像，二值化的目的是让它们变为纯粹的二值图，以提高神经网络模型的训练质量。图像灰度化是将图像的颜色转换为灰度，图像的灰度化用于彩色道路图像裁剪并缩放后的输出图像，在尽可能地保留图像信息的前提下，这有助于减小图像的数据量。图像处理环节生成神经网络模型训练所需要的两种图像，它们分别是训练神经网络模型时的输入图像和计算交叉熵输入图像，前者是彩色道路图像经过图像裁剪、图像缩放和图像灰度化后获得的，后者是彩色道路图像先经过图像标注过程，标注的输出图像再经过图像裁剪、图像缩放和图像二值化后获得的。完成图像处理后进入生成图像数据集环节。在图像数据集中封装了图像处理环节中获得的两种图像，即训练神经网络模型时的输入图像和计算交叉熵输入图像，该环节将这两种图像按照TFRecord文件格式打包成数据集。2.神经网络模型的设计方法：神经本文档来自技高网...

【技术保护点】
1.基于TensorFlow和OpenCV的车道线识别方法，其特征在于，包括如下：步骤1.图像数据集的制作方法：制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像，本专利技术利用这些图像生成用于神经网络训练的图像数据集；步骤2.神经网络模型的设计方法：采用卷积神经网络模型；步骤3.可变阈值的图像二值化方法：将所述卷积神经网络模型输出的具有车道线特征的图像进行二值化处理；步骤4，提取车道线坐标点的方法：利用OpenCV建立提取车道线坐标点算法，从经过二值化处理后的道路图像中提取出车道线坐标点；步骤5.建立车道线拟合方程的方法：利用提取到的车道线坐标点建立车道线拟合方程并求解该方程得到车道线识别结果。

【技术特征摘要】
1.基于TensorFlow和OpenCV的车道线识别方法，其特征在于，包括如下：步骤1.图像数据集的制作方法：制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像，本发明利用这些图像生成用于神经网络训练的图像数据集；步骤2.神经网络模型的设计方法：采用卷积神经网络模型；步骤3.可变阈值的图像二值化方法：将所述卷积神经网络模型输出的具有车道线特征的图像进行二值化处理；步骤4，提取车道线坐标点的方法：利用OpenCV建立提取车道线坐标点算法，从经过二值化处理后的道路图像中提取出车道线坐标点；步骤5.建立车道线拟合方程的方法：利用提取到的车道线坐标点建立车道线拟合方程并求解该方程得到车道线识别结果。2.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法，其特征在于，步骤1中，所述图像数据集的制作方法包括：图像标注方法、图像处理方法和生成图像数据集方法；所述图像标注方法通过手工进行图像标注，利用LabelMe标注软件将道路原始图像中的车道线区域框选出来，输出的标注图像为二值图像；所述图像处理方法是将标注图像和原始图像分别经过处理后生成神经网络模型训练所需要的两种图像，包括训练时的神经网络输入图像和计算交叉熵时的输入图像；具体地：所述图像处理方法用于处理所述图像标注方法的输出图像时包括图像裁剪、图像缩放和图像二值化过程，用于处理所述彩色道路图像时包括图像裁剪、图像缩放和图像灰度化过程；所述图像裁剪是从图像高度方向按照固定的大小将待处理图像中的非车道区域去除，图像的宽度则保持不变；所述图像缩放使用的是双线性插值法将所述图像裁剪后输出图像的大小缩放至固定的尺寸，图像缩放后其宽度和高度相等；所述图像二值化是将图像缩放后输出图像的像素值与阈值比较，并根据比较结果修改像素值，当图像的像素值小于阈值时，其将被设定为0，否则被设定为255；所述图像灰度化是将图像缩放后输出图像的颜色转换为灰度；所述生成图像数据集方法是利用TensorFlow的图像数据集格式TFRecord，将图像处理方法中的两种图像打包成图像数据集。3.根据权利要求2所述的基于TensorFlow和OpenCV的车道线识别方法，其特征在于，所述道路原始图像中的车道线区域包括车道虚线、车道实线、车道双虚线和车道双实线；所述图像处理方法的输出图像包括对所述图像标注方法的输出图像经过预处理后的输出图像，和对所述彩色道路图像经过预处理后的输出图像。4.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法，其特征在于，步骤2中，所述卷积神经网络模型包含8层，别为卷积层1、卷积层2、卷积层3、最大池化层、反最大池化层、反卷积层3、反卷积层2、反卷积层1；所述卷积层1的过滤器尺寸为2×2，过滤器深度为32，过滤器移动步长为1×1；所述卷积层2的过滤器尺寸为2×2，过滤器深度为64，过滤器移动步长为1×1；所述卷积层3的过滤器尺寸为3×3，过滤器深度为128，过滤器移动步长为1×1；所述最大池化层的过滤器尺寸为2×2，过滤器移动步长为2×2，使用全零填充；所述反最大池化层的过滤器尺寸为2×2，过滤器移动步长为2×2，使用全零填充；所述反卷积层3的过滤器尺寸为3×3，过滤器深度为64，过滤器移动步长为1×1；所述...

【专利技术属性】
技术研发人员：王权，卢思源，尹升，刘胜，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32