一种结合双分支网络和自定义函数网络的车道线检测系统及方法技术方案

本发明专利技术公开了一种结合双分支网络和自定义函数网络的车道线检测系统及方法，该方法改进经典卷积神经网络结构，重新配置编码‑解码器组成结构，形成双分支网络检测车道线；训练带有自定义损失函数的卷积网络，允许在道路坡度发生变化时对变换矩阵参数进行调整，构建自定义函数网络拟合车道像素。该方法双分支网络包括车道分段分支和车道嵌入分支，其中，分段分支将图像划分为背景和车道两部分，车道嵌入分支将车道像素分成不同实例，改进检测固定车道线的做法。该方法自定义函数网络生成可变换矩阵拟合车道像素，解决远处车道像素拟合差问题。本发明专利技术提出采用双分支网络和自定义函数网络检测车道线，解决了道路复杂状况下检测准确率低的技术问题。

A Lane Line Detection System and Method Combining Double Branch Network and Custom Function Network

【技术实现步骤摘要】
一种结合双分支网络和自定义函数网络的车道线检测系统及方法
本专利技术属于无人驾驶
，具体涉及一种结合双分支网络和自定义函数网络的车道线检测系统及方法，适用于车辆变道状况以及道路平面坡度变化情况下的检测。
技术介绍
车道线检测作为无人驾驶领域的重要环节、智能辅助驾驶的重要组成部分，对于减小道路交通事故具有重要作用，得到科研人员和工程实践人员的高度重视。车道线检测定义如下：通过检测输入图像，然后运用一系列特征提取算法提取车道线像素特征，运用高阶多项式拟合车道提取像素，最终显示在原始输入图像中并输出图像。车道线检测的目的是在图像中定位当前车道线的准确位置，并据此计算出安全行驶区域。传统的车道线检测算法主要有Canny算法、Sobel算法、Robert算法、Hough变换和Gauss算法等，但传统车道线检测方法不适应于检测复杂情况下车道线，无法适应多变的道路环境，如弯曲车道线、光照强度变化以及车辆遮挡等情况。近年来，具有多级别表示特征的深度学习取得突破发展，通过组合简单但非线性的低级特征形成更加抽象的高层属性或特征，可以学习非常复杂的功能，极大地改进了复杂条件下车道线检测准确率低的问题。其中，主要用于车道线检测的深度学习网络有VGGNet网络、R-CNN网络以及YOLO网络等。该类网络对于检测固定数量的车道线以及道路平面角度不变的情况下，具有较好的检测效果，当面对车道变换以及道路坡度变化时，检测效果较差。
技术实现思路
本专利技术为了克服现有车道线检测技术存在的不足，提供了一种结合双分支网络和自定义函数网络的车道线检测方法，能够有效解决车道变化、车道线遮挡和道路平面坡度变化时检测准确率低的问题，从而能够适应复杂道路状况下的检测，提高车道线检测的鲁棒性和实时性。本专利技术的技术方案为：一种结合双分支网络和自定义函数网络的车道线检测系统，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块；其中，所述的图像输入模块与所述车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接，用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数；所述的车道实例分段分支模块与所述车道实例嵌入分支模块和所述车道线拟合模块连接，所述的车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图；所述的车道实例嵌入分支模块与所述车道线拟合模块连接，所述的车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图；所述的车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合。另一方面，本专利技术提供了一种结合双分支网络和自定义函数网络的车道线检测方法，其包括以下步骤：(1)输入道路车道线图像，设置图像尺寸、单次载入图片数以及学习率，进行检测准备；(2)基于改进卷积神经网络结构的双分支网络，对步骤(1)中输入的道路车道图像进行车道实例分割，以生成车道线实例分割像素图，其中：所述双分支网络共享经典卷积神经网络的编码器的第一瓶颈阶段{bottleneck1.0,bottleneck1.1,bottleneck1.2,bottleneck1.3,bottleneck1.4}和第二瓶颈阶段{bottleneck2.0，bottleneck2.1，bottleneck2.2，bottleneck2.3，bottleneck2.4，bottleneck2.5，bottleneck2.6，bottleneck2.7，bottleneck2.8}，并且，将经典卷积神经网络的编码器的第三瓶颈阶段{bottleneck3.0，bottleneck3.1，bottleneck3.2，bottleneck3.3，bottleneck3.4，bottleneck3.5，bottleneck3.6，bottleneck3.7，bottleneck3.8}作为所述双分支网络的车道分段分支部分，将经典卷积神经网络的解码器的第一瓶颈阶段{bottleneck4.0，bottleneck4.1，bottleneck4.2}和第二瓶颈阶段{bottleneck5.0，bottleneck5.1}作为所述双分支网络的车道嵌入分支部分；所述车道分段分支部分输出背景和车道线，生成二值分割图；所述车道嵌入分支部分采用聚类损失函数，将车道分段分支部分输出的车道线的像素解开成不同的车道实例，使得属于同一车道的像素嵌入之间的距离较小，而属于不同车道像素嵌入之间的距离最大，通过引入方差项Lvar对每个嵌入项施加一个拉力和距离项Ldist将不同车道彼此分开，生成车道实例嵌入图，其中：式中，C为车道线个数，Nc为C中元素个数，μi是车道像素嵌入，μc为C的平均嵌入，||μc-μi||表示平均嵌入与像素嵌入的距离，CA、CB表示两车道线，||μCA-μCB||表示CA车道线与CB车道线平均嵌入的距离，[δd-||μCA-μCB||]+表示0与δd-||μCA-μCB||的正数最大值，[||μC-μi||-δv]+表示0与||μc-μi-δv||的正数最大值，δv表示方差项阈值，δd表示距离项阈值，总损失L＝Lvar+Ldist；所述双分支网络结合所述二值分割图和所述车道实例嵌入图，运用双分支网络聚类函数输出车道线实例分割像素图，作为后期车道像素拟合图像，其中：式中，δv表示方差项阈值，δd表示距离项阈值，r表示车道嵌入阈值半径；(3)训练卷积神经网络生成自定义损失函数，以允许在地面坡度发生变化时调整参数，构建自定义函数网络，生成可变换参数矩阵预测车道像素点，之后采用三阶多项式进行最优车道像素点拟合；3.1)提取步骤(1)中输入的道路车道图像的数据集，输入道路车道图像进行逆透视变换到新的俯视图，运用自定义函数网络训练生成可变换参数逆透视变换矩阵；自定义损失函数公式为：可变换参数逆透视变换矩阵公式为：式中，N为车道像素点个数，xi表示真实车道像素点横坐标，表示俯视图中预测车道像素点横坐标，H表示可变换参数逆透视变换矩阵，a、b、c、d、e、f表示训练产生最优参数；3.2)对步骤(1)输入的道路车道图像进行逆透视变换到新的俯视图，生成逆透视变换后的俯视图车道像素点，公式为：P’＝HP其中，P'(Pi'＝[X'i,Yi',1]T∈P'，i＝1,2,...)表示经过逆透视变换后的变换车道像素点，P(Pi＝[Xi,Yi,1]T∈P，i＝1,2,..)表示真实车道像素提取点，Xi,Yi表示真实车道像素点横、纵坐标，Xi',Yi'分别表示逆透视变换后变换车道像素点横、纵坐标；3.3)获得给定坐标y位置处的车道像素坐标x的位置，将真实车道像素提取点Pi＝[-,yi,1]T转换为经过逆透视变换后的变换车道像素点Pi'＝[-,y'i,1]T，在每个y'i位置处预测车道像素点及坐标3.4)运用三阶多项式f(y')＝αy'2+βy本文档来自技高网...

【技术保护点】
1.一种结合双分支网络和自定义函数网络的车道线检测系统，其特征在于，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块；其中，所述的图像输入模块分别与所述车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接，用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数；所述的车道实例分段分支模块分别与所述车道实例嵌入分支模块、所述车道线拟合模块连接，所述的车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图；所述的车道实例嵌入分支模块与所述车道线拟合模块连接，所述的车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道实例分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图；所述的车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合，获得最终检测结果图像。...

【技术特征摘要】
1.一种结合双分支网络和自定义函数网络的车道线检测系统，其特征在于，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块；其中，所述的图像输入模块分别与所述车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接，用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数；所述的车道实例分段分支模块分别与所述车道实例嵌入分支模块、所述车道线拟合模块连接，所述的车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图；所述的车道实例嵌入分支模块与所述车道线拟合模块连接，所述的车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道实例分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图；所述的车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合，获得最终检测结果图像。2.一种结合双分支网络和自定义函数网络的车道线检测方法，其特征在于，所述的车道线检测方法包括以下步骤：(1)输入道路车道线图像，设置图像尺寸、单次载入图片数以及学习率，进行检测准备；(2)基于改进卷积神经网络结构的双分支网络，对步骤(1)中输入的道路车道图像进行车道实例分割，以生成车道线实例分割像素图，其中：所述双分支网络共享经典卷积神经网络的编码器的第一瓶颈阶段{bottleneck1.0,bottleneck1.1,bottleneck1.2,bottleneck1.3,bottleneck1.4}和第二瓶颈阶段{bottleneck2.0，bottleneck2.1，bottleneck2.2，bottleneck2.3，bottleneck2.4，bottleneck2.5，bottleneck2.6，bottleneck2.7，bottleneck2.8}，并且，将经典卷积神经网络的编码器的第三瓶颈阶段{bottleneck3.0，bottleneck3.1，bottleneck3.2，bottleneck3.3，bottleneck3.4，bottleneck3.5，bottleneck3.6，bottleneck3.7，bottleneck3.8}作为所述双分支网络的车道分段分支部分，将经典卷积神经网络的解码器的第一瓶颈阶段{bottleneck4.0，bottleneck4.1，bottleneck4.2}和第二瓶颈阶段{bottleneck5.0，bottleneck5.1}作为所述双分支网络的车道嵌入分支部分；所述车道分段分支部分输出背景和车道线，生成二值分割图；所述车道嵌入分支部分采用双分支网络聚类损失函数，将车道分段分支部分输出的车道线的像素解开成不同的车道实例，使得属于同一车道的像素嵌入之间的距离较小，而属于不同车道像素嵌入之间的距离最大，通过引入方差项Lvar对每个嵌入项施加一个拉力和距离项Ldist将不同车道彼此分开，生成车道实例嵌入图，其中：式中，C为车道线个数，Nc为C中元素个数，μi是车道像素嵌入，μc为C的平均嵌入，||μc-μi||表示平均嵌入与像素...

【专利技术属性】
技术研发人员：高俊杰，陈乙庆，赵鹏，崔晓敏，王强，韩贤贤，林家乐，侯宛伶，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21