一种车道线的检测方法及相关设备技术

技术编号:26172406 阅读:13 留言:0更新日期:2020-10-31 13:49
本申请实施例公开了一种车道线的检测方法及相关设备,可应用于人工智能的计算机视觉领域中,该方法包括:首先通过对神经网络不同层提取到的特征进行融合,得到融合后的第二特征图,经过融合处理的第二特征图就具有了多个层次的特征,既有低层次感受野的相关特征,以利于车道线的准确回归,又有高层次感受野的相关特征,以利于判断车道线是否存在;其次,对于输出的预测车道线集合进行分组,在每一组中由于感受野的限制,每一条预测车道线都有自己的最优预测区间,本申请实施例通过选取每条预测车道线的最优预测区间做车道线的集成,最终结合不同预测车道线的优势,形成最终输出的预测车道线,从而提高了车道线检测的精度。

A lane line detection method and related equipment

【技术实现步骤摘要】
一种车道线的检测方法及相关设备
本申请涉及人工智能领域,尤其涉及一种车道线的检测方法及相关设备。
技术介绍
智能驾驶(如,自动驾驶、辅助驾驶等)技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让车辆可以在不需要人类主动操作下,实现自动驾驶,自动驾驶的第一步是环境信息的采集与处理,而车道线作为路面最主要的指示信息之一,它可以有效地引导智能车辆在约束的道路区域内行驶。因此,如何实时、准确检测出路面的车道线是智能车辆相关系统设计中的重要环节,可有利于协助路径规划、进行道路偏移预警等功能,并且可为精确导航提供参照。目前,常用的车道线检测方法是基于卷积特征的车道线检测,具体来说,是将待检测图像输入神经网络进行特征提取,再将提取出来的特征(每个特征图事先划分为多个栅格)通过预测头模型进行解码,生成密集的线簇(即多条预测车道线),最后,按照每个预测车道线的置信度(也可称为栅格的置信度,置信度反应的是是否有车道线穿过该栅格以及有多大概率穿过该栅格,置信度大于预设值的栅格则用于对车道线进行预测,置信度低于预设值的栅格则被认为对预测没有贡献)取值对线簇进行排序,以置信度取值最大的预测车道线为基线且以其他预测车道线与该基线之间的间距小于阈值为条件将车道线分为一组,以类似的方式将线簇分为若干组,并分别取每组中的基线作为本组最终对一条真实车道线的检测结果输出。在上述的车道线检测方式中,存在一个前提:假设每一个栅格能够准确预测通过此栅格的一整条车道线,然而现实的车道线跨度过长,车道线远离栅格中心的部分难以有效预测。
技术实现思路
本申请实施例提供了一种车道线的检测方法及相关设备,用于对训练后的神经网络不同层输出的第一特征图进行特征融合,得到的第二特征图,并基于该第二特征图得到的多个车道线预测结果进行集成,从而提高车道线检测的精度。基于此,本申请实施例提供以下技术方案:第一方面,本申请实施例首先提供一种车道线的检测方法,可用于图像处理领域中,该方法包括:首先,检测设备对训练后的神经网络不同层输出的第一特征图进行特征融合,得到一个或多个第二特征图,该第一个或多个第二特征图即为融合后的特征图。这是由于神经网络不同层提取到特征图性能不同,低层特征图分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多;高层特征图具有更强的语义信息,但是分辨率低,对细节的感知能力较差。因此,针对神经网络不同层提取到的特征图进行特征融合,得到的第二特征图就具有多层次特征。针对得到的每个第二特征图,可将其划分为多个栅格,若该多个栅格中存在置信度取值大于预设阈值(如,预设阈值为0.6)的栅格,则大于该预设阈值的置信度可称为第一置信度,与该第一置信度对应的栅格可称为第一栅格。在得到各个第一栅格的第一置信度之后,就可进一步通过训练后的预测头模型得到与每个第一栅格对应的一条预测车道线(即第一预测车道线)。由于一条真实的车道线往往会引起多个栅格的响应,因此在预测阶段对应于一条真实车道线的预测结果会有很多,在根据预测头模型获取到n个第一栅格对应的n个第一预测车道线之后,就需要将预测得到的n个第一预测车道线分为m组,其中每组中都包括有至少一条预测车道线。若m组中的某一组存在q个第一预测车道线,则根据q个第一预测车道线分别对应的q个第一置信度及分别对应的q个第一栅格对这q个第一预测车道线进行集成,得到一个第二预测车道线,该第二预测车道线作为对第二特征图内的一个真实车道线的检测结果输出。在本申请上述实施方式中,首先,通过特征融合的过程,输出的第二特征图融合了神经网络不同层输出的第一特征图的多个层次的特征,该第二特征图既有低层次的感受野的相关特征,使得利于车道线的准确回归,又有高层次的感受野的相关特征,使得利于判断车道线是否存在;其次,对于输出的预测车道线集合进行分组,在每一组中由于感受野的限制,每一条预测车道线都有自己的最优预测区间,本申请实施例通过选取每条线的最优预测区间做车道线的集成,最终结合不同预测车道线的优势,形成最终输出的预测车道线。在一种可能的实现方式中,若m组中的第一组存在q个第一预测车道线(q≥2),则可将这q个第一预测车道线在第二特征图内占据的区域划分为多个子区域,每个子区域中包括q个第一栅格中的至少一个第一栅格的中心点位置(anchor点位置),若这多个子区域中的第一子区域包括至少两个第一栅格的anchor点位置,则根据这至少两个第一栅格分别对应的第一置信度从该至少两个第一栅格选取一个第一栅格作为第二栅格,例如,从该至少两个第一栅格选取第一置信度取值最大的第一栅格作为第二栅格,并将第二栅格对应的第一预测车道线位于第一子区域的部分作为第二预测车道线的第一部分,或,对该至少两个第一栅格分别对应的第一预测车道线位于所述第一子区域的部分进行加权运算,得到的运算结果作为第二预测车道线的第一部分;若这多个子区域中的第二子区域仅包括一个第一栅格的anchor点位置,则将该第二子区域包括的第一栅格对应的第一预测车道线位于该第二子区域的部分作为第二预测车道线的第二部分;最后,将第一部分和第二部分集成,得到最终输出的第二预测车道线。在本申请上述实施方式中,具体阐述了如何对一组内的多条第一预测车道线进行集成,即分别取多条第一预测车道线的优势点进行集成,从而形成最终输出的检测结果,即一条第二预测车道线,最终输出的第二预测车道线由于融合了多条第一预测车道线的优点,提高了检测精度。在一种可能的实现方式中,根据至少两个第一栅格分别对应的第一置信度从该至少两个第一栅格选取一个第一栅格作为第二栅格具体可以是:从该至少两个第一栅格选取第一置信度取值最大的第一栅格作为第二栅格。在本申请上述实施方式中,阐述了一种确定第二栅格的方式,即选取第一置信度取值最大的那个,灵活方便,更适用于实际的使用场景。在一种可能的实现方式中,当m组中的第一组只存在一个第一预测车道线,则直接将该第一组中的第一预测车道线作为对所述第二特征图内的一个真实车道线的检测结果进行输出。在本申请上述实施方式中,说明当一组中只有一条第一预测车道线时,这时候就不需要集成,直接就将该第一预测车道线作为预测结果输出。针对组里第一预测车道线数量不同,分别对应不同的处理方式,具备灵活性,并且也符合实际应用。在一种可能的实现方式中,由于神经网络和特征融合模型都是经过训练后确定的,神经网络的网络结构可以有多种选择,本申请实施例自行构建的特征融合模型也有多种,那么如何从多种神经网络和多种特征融合模型中选择出一种神经网络(可称为目标神经网络)以及一种特征融合模型(可称为目标特征融合模型)就显得至关重要,在本申请的一些实施方式中,可通过但不限于如下方式得到:从多种已有的神经网络和本申请构建的多种特征融合模型组成的搜索空间中,搜索得到一组神经网络+特征融合模型的组合。具体地,首先,构建“神经网络+特征融合模型”的搜索空间,也就是每一对“神经网络+特征融合模型”对应的编码组合,每一次搜索的过程就包括从搜索空间中采样,采样之后可以获得一个代表“神本文档来自技高网
...

【技术保护点】
1.一种车道线的检测方法,其特征在于,包括:/n对训练后的神经网络不同层输出的第一特征图进行特征融合,得到第二特征图,所述训练后的神经网络的输入为待检测图像;/n将所述第二特征图划分为多个栅格,并得到所述多个栅格中第一栅格的第一置信度,所述第一置信度用于表示所述第二特征图内真实车道线穿过所述第一栅格的第一概率且所述第一概率超过第一预设阈值;/n通过训练后的预测头模型得到与所述第一栅格对应的第一预测车道线;/n当所述第一栅格有n个,则将n个第一预测车道线分为m组,m≤n且n≥2;/n当所述m组中的第一组存在q个第一预测车道线,则根据所述q个第一预测车道线分别对应的q个第一置信度及分别对应的q个第一栅格对所述q个第一预测车道线进行集成,得到一个第二预测车道线,所述第二预测车道线作为对所述第二特征图内的一个真实车道线的检测结果输出,q≥2。/n

【技术特征摘要】
1.一种车道线的检测方法,其特征在于,包括:
对训练后的神经网络不同层输出的第一特征图进行特征融合,得到第二特征图,所述训练后的神经网络的输入为待检测图像;
将所述第二特征图划分为多个栅格,并得到所述多个栅格中第一栅格的第一置信度,所述第一置信度用于表示所述第二特征图内真实车道线穿过所述第一栅格的第一概率且所述第一概率超过第一预设阈值;
通过训练后的预测头模型得到与所述第一栅格对应的第一预测车道线;
当所述第一栅格有n个,则将n个第一预测车道线分为m组,m≤n且n≥2;
当所述m组中的第一组存在q个第一预测车道线,则根据所述q个第一预测车道线分别对应的q个第一置信度及分别对应的q个第一栅格对所述q个第一预测车道线进行集成,得到一个第二预测车道线,所述第二预测车道线作为对所述第二特征图内的一个真实车道线的检测结果输出,q≥2。


2.根据权利要求1所述的方法,其特征在于,所述根据所述q个第一预测车道线分别对应的q个第一置信度及分别对应的q个第一栅格对所述q个第一预测车道线进行集成,得到一个第二预测车道线包括:
将所述q个第一预测车道线在所述第二特征图内占据的区域划分为多个子区域,每个子区域中包括所述q个第一栅格中的至少一个第一栅格的中心点位置;
当所述多个子区域中的第一子区域包括至少两个第一栅格的中心点位置,则根据所述至少两个第一栅格分别对应的第一置信度从所述至少两个第一栅格选取一个第一栅格作为第二栅格,并将所述第二栅格对应的第一预测车道线位于所述第一子区域的部分作为所述第二预测车道线的第一部分,或,对所述至少两个第一栅格分别对应的第一预测车道线位于所述第一子区域的部分进行加权运算,得到的运算结果作为所述第一部分;
当所述多个子区域中的第二子区域仅包括一个第一栅格的中心点位置,将所述第二子区域包括的第一栅格对应的第一预测车道线位于所述第二子区域的部分作为所述第二预测车道线的第二部分;
将所述第一部分和所述第二部分进行集成,得到所述第二预测车道线。


3.根据权利要求2所述的方法,其特征在于,所述根据所述至少两个第一栅格分别对应的第一置信度从所述至少两个第一栅格选取一个第一栅格作为第二栅格包括:
根据所述至少两个第一栅格分别对应的第一置信度,从所述至少两个第一栅格选取第一置信度取值最大的第一栅格作为第二栅格。


4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
当所述m组中的第一组只存在一个第一预测车道线,则将所述第一组中的第一预测车道线作为对所述第二特征图内的一个真实车道线的检测结果输出。


5.根据权利要求1-4中任一项所述的方法,其特征在于,所述对训练后的神经网络不同层输出的第一特征图进行特征融合,得到第二特征图包括:
构建搜索空间,所述搜索空间由多个神经网络的编码及多个特征融合模型的编码组合而成,所述多个特征融合模型根据多种预设规则构建得到;
在所述搜索空间进行采样,得到第一采样点,所述第一采样点为第一神经网络的编码及第一特征融合模型的编码构成的第一编码组合;
根据所述第一编码组合生成第一车道线检测网络,并通过训练集对所述第一车道线检测网络进行训练;
根据训练后的第一车道线检测网络进行性能评估,得到所述训练后的第一车道线检测网络性能;
当采样达到预设值,且所述训练后的第一车道线检测网络性能满足预设条件,则通过所述训练后的第一车道线检测网络中的第一神经网络对待检测图像进行特征提取,得到所述第一神经网络不同层输出的第一特征图;
将所述第一神经网络不同层输出的第一特征图作为所述训练后的第一车道线检测网络中第一特征融合模型的输入,输出第二特征图。


6.根据权利要求5所述的方法,其特征在于,所述多种预设规则至少包括如下一种:
将至少两个高分辨率的第一特征图分别通过至少一个第一卷积核操作,得到至少两个第三特征图;
对所述至少两个第三特征图的分辨率进行处理,得到与低分辨率的第一特征图具有相同分辨率的至少两个第四特征图;
将所述至少两个第四特征图与所述第分辨率的第一特征图按预设组合方式进行融合,得到至少一个第二特征图。


7.根据权利要求6所述的方法,其特征在于,所述对所述至少两个第三特征图的分辨率进行处理包括如下至少一种方式:
对所述至少两个第三特征图进行下采样操作、池化操作或卷积操作。


8.根据权利要求5-7中任一项所述的方法,其特征在于,所述训练后的第一车道线检测网络性能满足预设条件包括:
所述训练后的第一车道线检测网络性能在所有采样点对应的各个车道线检测网络性能中最优。


9.根据权利要求1-8中任一项所述的方法,其特征在于,所述将所述第二特征图划分为多个栅格,并得到所述多个栅格中第一栅格的第一置信度包括:
将所述第二特征图划分为多个栅格,并得到所述多个栅格中第一栅格的初始置信度,所述初始置信度用于表示所述第二特征图内真实车道线穿过所述第一栅格的初始概率且所述初始概率超过初始预设阈值;
通过预设方式对所述初始置信度进行调整,得到所述第一栅格的第一置信度。


10.根据权利要求9所述的方法,其特征在于,所述通过预设方式对所述初始置信度进行调整,得到所述第一栅格的第一置信度包括:
根据训练集中各个图像内真实车道线远端所在栅格中心点位置的分布建立统计模型,所述统计模型具有至少一个待确定的参数;
根据所述训练集中各个图像内真实车道线远端所在栅格中心点位置的统计结果对所述参数进行估计,得到所述参数的估值;
在训练过程中对所述参数的估值进行调整,得到所述参数的确定值;
通过确定了所述参数的确定值的所述统计模型对所述第一栅格的中心点位置进行计算,得到所述第一栅格的中心点位置的权重值;
对所述第一栅格的初始置信度与所述权重值进行运算,得到所述第一栅格的第一置信度。


11.根据权利要求10所述的方法,其特征在于,所述统计模型包括:
高斯函数。


12.一种车道线检测框架,其特征在于,包括:神经网络、特征融合模型、置信度调整模型、预测头模型和预测车道线集成模型;
所述神经网络,用于在训练后,对输入的待检测图像进行特征提取;
所述特征融合模型,用于对训练后的所述神经网络不同层输出的第一特征图进行特征融合,得到第二特征图;
所述置信度调整模型,用于将所述第二特征图划分为多个栅格,并得到所述多个栅格中第一栅格的第一置信度,所述第一置信度用于表示所述第二特征图...

【专利技术属性】
技术研发人员:蔡信岳徐航张维杨臻李震国
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1