多镜头车道线融合方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种多镜头车道线融合方法、装置、计算机设备及存储介质，涉及智能驾驶技术领域，其中，该方法包括：获取多视角下的车道线图像；将每个视角下的所述车道线图像，输入每个视角对应的车道线检测模型，所述车道线检测模型输出对应视角下的所述车道线图像的车道线关键点和车道线特征；根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合。该方案可以提高多视角车道线融合的精度、鲁棒性和场景适应性。鲁棒性和场景适应性。鲁棒性和场景适应性。

【技术实现步骤摘要】
多镜头车道线融合方法、装置、计算机设备及存储介质


[0001]本专利技术涉及智能驾驶
，特别涉及一种多镜头车道线融合方法、装置、计算机设备及存储介质。

技术介绍

[0002]现有车道线检测大多以前视单目为主，缺乏可靠的多镜头车道线融合方案。现有的多镜头车道线融合大多依赖传统的多视角几何的方式，对相加的标定参数、地平面的平整度、相机结构的稳定性都有着较高的要求，因此对各个镜头内外参的标定参数的精准度，有着较高的要求，非常容易出现由于车道线融合错误，而导致的车道线拟合参数出现较大的误差，在智能驾驶中对下游的控制和规划任务有着较高的影响，且由于自然场景的复杂度高，现有的算法都不能很好的支撑多镜头下的车道线的融合，导致车道线融合的精度、场景适应性、鲁棒性都较差。
[0003]现有的多镜头之间的车道线融合大多依赖于传统的多视角几何的方法，难以实现自然场景下多镜头下的车道线的融合。
[0004]与本专利技术较为接近的任务包括：
[0005]1.基于深度学习的车道线检测和分割模型。通过深度学习检测算法，将车道线的通过分割或者点回归的方式将车道线从前景中检测出来。
[0006]2.基于相机标定的AVM多镜头拼接，通过传统的标定算法将多个镜头的内参和相对位置进行标定出来，最后将各个相机的图像映射到同一坐标系下，进行融合。
[0007]3.基于深度学习的多镜头目标跟踪算法，通过检测算法多个镜头之间的目标ROI，并进行裁剪、缩放，送入深度学习算法进行特征提取，最后通过计算特征之间的欧式距离进行特征匹配，完成多镜头下的目标跟踪。

技术实现思路

[0008]有鉴于此，本专利技术实施例提供了一种多镜头车道线融合方法，以解决现有技术中多镜头车道线融合存在的精度、场景适应性和鲁棒性都较差的技术问题。该方法包括：
[0009]获取多视角下的车道线图像；
[0010]将每个视角下的所述车道线图像，输入每个视角对应的车道线检测模型，所述车道线检测模型输出对应视角下的所述车道线图像的车道线关键点和车道线特征；
[0011]根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合。
[0012]本专利技术实施例还提供了一种多镜头车道线融合装置，以解决现有技术中多镜头车道线融合存在的精度、场景适应性和鲁棒性都较差的技术问题。该装置包括：
[0013]图像获取模块，用于获取多视角下的车道线图像；
[0014]车道线检测模块，用于将每个视角下的所述车道线图像，输入每个视角对应的车道线检测模型，所述车道线检测模型输出对应视角下的所述车道线图像的车道线关键点和
车道线特征；
[0015]车道线融合模块，用于根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合。
[0016]本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多镜头车道线融合方法，以解决现有技术中多镜头车道线融合存在的精度、场景适应性和鲁棒性都较差的技术问题。
[0017]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的多镜头车道线融合方法的计算机程序，以解决现有技术中多镜头车道线融合存在的精度、场景适应性和鲁棒性都较差的技术问题。
[0018]与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：提出了获取多视角下的车道线图像后，将每个视角下的车道线图像，输入每个视角对应的车道线检测模型，进而通过车道线检测模型输出对应视角下的车道线图像的车道线关键点和车道线特征；最后，根据各个视角下的车道线图像的车道线关键点和车道线特征，对各个视角下的车道线图像中的车道线进行融合。实现了基于深度学习的车道线检测模型来检测各个视角下的车道线图像的车道线关键点和车道线特征，进而基于车道线关键点和车道线特征对各个视角下的车道线图像中的车道线进行融合，避免了基于多视角几何的方法来进行多视角车道线的融合，有利于提高多视角车道线融合的精度和鲁棒性，此外，车道线检测模型可以适用于任何场景下的车道线图像，可以对复杂的自然场景下的车道线图像进行车道线检测，有利于提高多视角车道线融合的场景适应性。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0020]图1是本专利技术实施例提供的一种多镜头车道线融合方法的流程图；
[0021]图2是本专利技术实施例提供的一种实施上述多镜头车道线融合方法的流程图；
[0022]图3是本专利技术实施例提供的一种计算机设备的结构框图；
[0023]图4是本专利技术实施例提供的一种多镜头车道线融合装置的结构框图。
具体实施方式
[0024]下面结合附图对本申请实施例进行详细描述。
[0025]以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]在本专利技术实施例中，提供了一种多镜头车道线融合方法，如图1所示，该方法包括：
[0027]步骤S101：获取多视角下的车道线图像；
[0028]步骤S102：将每个视角下的所述车道线图像，输入每个视角对应的车道线检测模型，所述车道线检测模型输出对应视角下的所述车道线图像的车道线关键点和车道线特征；
[0029]步骤S103：根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合。
[0030]由图1所示的流程可知，在本专利技术实施例中，提出了获取多视角下的车道线图像后，将每个视角下的车道线图像，输入每个视角对应的车道线检测模型，进而通过车道线检测模型输出对应视角下的车道线图像的车道线关键点和车道线特征；最后，根据各个视角下的车道线图像的车道线关键点和车道线特征，对各个视角下的车道线图像中的车道线进行融合。实现了基于深度学习的车道线检测模型来检测各个视角下的车道线图像的车道线关键点和车道线特征，进而基于车道线关键点和车道线特征对各个视角下的车道线图像中的车道线进行融合，避免了基于多视角几何的方法来进行多视角车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多镜头车道线融合方法，其特征在于，包括：获取多视角下的车道线图像；将每个视角下的所述车道线图像，输入每个视角对应的车道线检测模型，所述车道线检测模型输出对应视角下的所述车道线图像的车道线关键点和车道线特征；根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合。2.如权利要求1所述的多镜头车道线融合方法，其特征在于，根据各个视角下的所述车道线图像的车道线关键点和车道线特征，对各个视角下的所述车道线图像中的车道线进行融合，包括：根据每个视角下的所述车道线图像的车道线关键点，拟合车道线曲线，计算各个视角下的所述车道线图像对应的车道线曲线之间的物理距离；根据每个视角下的所述车道线图像的车道线特征，计算各个视角下的所述车道线图像中的车道线之间的相似度；根据各个视角下的所述车道线图像对应的车道线曲线之间的物理距离和各个视角下的所述车道线图像中的车道线之间的相似度，对各个视角下的所述车道线图像中的车道线进行融合。3.如权利要求2所述的多镜头车道线融合方法，其特征在于，根据每个视角下的所述车道线图像的车道线关键点，拟合车道线曲线，包括：将各个视角下的所述车道线图像的车道线关键点，映射到同一世界坐标系中，其中，所述世界坐标系以车身中心为坐标原点；在所述世界坐标系中，根据每个视角下的所述车道线图像的车道线关键点，拟合车道线曲线，得到各个视角下的所述车道线图像对应的车道线曲线。4.如权利要求2所述的多镜头车道线融合方法，其特征在于，根据每个视角下的所述车道线图像的车道线特征，计算各个视角下的所述车道线图像中的车道线之间的相似度，包括：通过以下公式计算两条车道线之间的余弦相似度：其中，cosθ为余弦相似度；A为一条车道线的特征向量；B为一条车道线的特征向量；通过以下公式对余弦相似度进...

【专利技术属性】
技术研发人员：申建坤，王小龙，王雅儒，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：