车道线检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种车道线检测方法、装置、计算机设备和存储介质。所述方法包括：接收待检测车道线图像及其帧序列号；调用预先训练好的分割网络，将待检测车道线图像输入至分割网络的主干网络，提取待检测车道线图像的共享特征；当根据帧序列号确定待检测车道线图像不为关键帧图像时，根据帧序列号获取对应关键帧图像的车道线实例聚类图像；将共享特征输入分割网络的语义分割分支网络，通过语义分割分支网络对待检测车道线图像进行语义分割，得到待检测车道线图像对应的二进制车道线图像；根据关键帧图像的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线图像。采用本方法能够提高精度且减少耗时。

Lane line detection methods, devices, computer equipment and storage media

【技术实现步骤摘要】
车道线检测方法、装置、计算机设备和存储介质
本申请涉及自动驾驶
，特别是涉及一种车道线检测方法、装置、计算机设备和存储介质。
技术介绍
随着计算机软硬件能力的不断提升，以及各种传感器精度的普遍提升，自动驾驶技术成为一个重要的研究领域，受到了学术界和工业界广泛的关注。在辅助驾驶系统中，当车辆偏离行驶车道并且未打转向灯时，车道偏离预警系统(LaneDepartureWarningSystem，LDWS)会利用车道线检测的结果发出偏离报警信号。而车道保持辅助系统(LaneKeepingAssistSystem，LKAS)会将车道线检测结果和车辆的基本控制单元联动起来，当车辆偏离行驶车道时，该系统会自动控制方向盘，将车辆矫正回本车道。无论是在辅助驾驶系统还是自动驾驶系统中都发挥着关键性的作用。在自动驾驶系统中，通常会利用车道线检测结果来确认车辆和道路的相对位置关系，并且进一步分析车辆的航向角以确定行驶方向。因此，无论是辅助驾驶系统还是自动驾驶系统，车道线检测是一项基础而重要的任务。然而，传统的车道线检测通常基于人工特征的车道线提点算法，并通过反投影变换将提取的车道线候选点投影到鸟瞰图中进行车道线的检测。但是，基于人工特征的检测算法通常都不能较好的适应复杂环境，因此无法在真实场景中稳定工作。同时，由于反投影变换非常容易受到外界道路情况的影响，从而容易使得后续处理出现问题，导致降低了检测的精度。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高精度且减少耗时的车道线检测方法、装置、计算机设备和存储介质。一种车道线检测方法，所述方法包括：接收待检测车道线图像及其帧序列号；调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果在其中一个实施例中，所述方法还包括：当根据所述帧序列号确定所述待检测车道线图像为关键帧图像时，将所述共享特征输入所述实例分割分支网络，通过所述实例分割分支网络对所述待检测车道线图像进行实例分割，得到所述待检测车道线图像的车道线实例分割图像；对所述车道线实例分割图像对应的图像矩阵进行聚类，得到所述待检测车道线图像对应的车道线实例聚类图像；根据所述待检测车道线图像对应的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。在其中一个实施例中，所述方法还包括：获取训练数据集；所述训练数据集中包括训练样本以及所述训练样本对应的标注结果；将所述训练样本输入所述待训练分割网络的待训练主干网络，通过所述待训练主干网络提取所述训练样本的共享特征；将所述训练样本的共享特征分别输入所述待训练分割网络的待训练语义分支分割网络和待训练实例分割分支网络，通过所述待训练语义分割分支网络和所述待训练实例分割分支网络分别对所述训练样本进行语义分割和实例分割，得到训练结果；获取损失函数，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。在其中一个实施例中，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足收敛条件，得到训练好的分割网络，包括：基于所述损失函数的约束计算所述训练结果和所述标注结果的损失值；所述损失函数包括背景点的约束，所述背景点为与质心的距离不大于类间的距离边缘的特征点；根据所述损失值对所述待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。在其中一个实施例中，所述损失函数为：Lfinal＝a·L+b·Lbk+c·CrossEntropyLoss(lpred,ltruth)；其中，Lfinal表示损失函数，L表示常规损失函数，a表示常规损失函数的权重，Lbk表示背景点的约束函数，b表示背景点约束函数的权重，c表示车道线分割权重，CrossEntropyLoss为交叉熵，lpred表示待训练语义分割分支网络输出的分割结果，ltruth表示标注结果。在其中一个实施例中，所述背景点的约束函数Lbk为：其中，C表示真实值中车道线的条数，Y表示符合约束条件的背景点集合，背景点集合里面的背景点yi满足与质心μc的距离小于类间的距离边缘δd，δv表示类内的距离边缘，NY表示每个背景集合点的个数，BK表示所有背景点集合。在其中一个实施例中，所述常规损失函数L为：L＝α·Lva+β·Ldist+γ·Lreg其中，L表示常规损失函数，α、β和γ表示权重，Lva表示类内拉力函数、Ldist表示类间推力函数，Lreg表示正则项式；所述类内拉力函数为：所述类间推理函数为：其中，C表示真实值中车道线的条数，Nc表示每条车道线中点的个数，xi表示实例分割分支网络输出的特征向量，μc表示质心，||·||表示L1范数或L2范数距离，[x]+＝max(0,x)表示最大截取函数，δv和δd分别表示类内的距离边缘和类间的距离边缘，CA表示A车道线点的集合，CB表示B车道线点的集合，μCA表示车道线的质心，μCB表示车道线的质心。。一种车道线检测装置，所述装置包括：接收模块，用于接收待检测车道线图像及其帧序列号；提取模块，用于调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；获取模块，用于当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；分割模块，用于将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；分类模块，用于根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的车道线检测方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的本文档来自技高网...

【技术保护点】
1.一种车道线检测方法，所述方法包括：/n接收待检测车道线图像及其帧序列号；/n调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；/n当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；/n将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；/n根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。/n

【技术特征摘要】
1.一种车道线检测方法，所述方法包括：
接收待检测车道线图像及其帧序列号；
调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；
当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；
将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；
根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当根据所述帧序列号确定所述待检测车道线图像为关键帧图像时，将所述共享特征输入所述实例分割分支网络，通过所述实例分割分支网络对所述待检测车道线图像进行实例分割，得到所述待检测车道线图像的车道线实例分割图像；
对所述车道线实例分割图像对应的图像矩阵进行聚类，得到所述待检测车道线图像对应的车道线实例聚类图像；
根据所述待检测车道线图像对应的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集；所述训练数据集中包括训练样本以及所述训练样本对应的标注结果；
将所述训练样本输入所述待训练分割网络的待训练主干网络，通过所述待训练主干网络提取所述训练样本的共享特征；
将所述训练样本的共享特征分别输入所述待训练分割网络的待训练语义分支分割网络和待训练实例分割分支网络，通过所述待训练语义分割分支网络和所述待训练实例分割分支网络分别对所述训练样本进行语义分割和实例分割，得到训练结果；
获取损失函数，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。


4.根据权利要求3所述的方法，其特征在于，所述基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足收敛条件，得到训练好的分割网络，包括：
基于所述损失函数的约束计算所述训练结果和所述标注结果的损失值；所述损失函数包括背景点的约束，所述背景点为与质心的距离不大于类间的距离边缘的特征点；
根据所述损失值对所述待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。


5.根据权利要求3或4任一项所述的方法，其特征在于，所述损失函数为：
Lfinal＝a·L+b·Lbk+c·CrossEntropyLoss(lpred,ltruth)；<...

【专利技术属性】
技术研发人员：李宇明，刘国清，郑伟，杨广，敖争光，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：广东;44