车道线处理方法、装置、设备以及存储介质制造方法及图纸

本公开提供了车道线处理方法、装置、设备以及存储介质，涉及计算机技术领域，具体涉及自动驾驶、计算机视觉和车道线检测等领域。具体实现方案为：根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。在本公开实施例中，可以利用与车辆位置有关的车道线约束提高车道线的曲线模型的拟合精度。车道线约束提高车道线的曲线模型的拟合精度。车道线约束提高车道线的曲线模型的拟合精度。

【技术实现步骤摘要】
车道线处理方法、装置、设备以及存储介质


[0001]本公开涉及计算机
，具体涉及自动驾驶、计算机视觉和车道线检测等领域。

技术介绍

[0002]在高速自动驾驶领域，车辆需要根据周围的车道线信息来控制车辆完成自适应巡航。在没有高精地图的情况下，车辆使用前视相机采集道路图像，由感知组件通过深度学习等方式提取图像中的车道线。接着使用逆透视变换(Inverse Perspective Mapping，IPM)将图像上2D(two
‑
dimensional，二维)车道线转换成车体坐标系下的3D(three
‑
dimensional，三维)车道线。单帧3D车道线测量范围较短并且易受噪声影响，因此不能直接使用。所以一般通过车道线建模将其拟合成三次曲线，还原出车辆周围接近真实状态的车道线信息，用于障碍物车道划分、车辆控制规划等。

技术实现思路

[0003]本公开提供了一种车道线处理方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种车道线处理方法，包括：
[0005]根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
[0006]将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
[0007]根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
[0008]根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
[0009]根据本公开的另一方面，提供了一种车道线处理装置，包括：
[0010]约束确定模块，用于根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
[0011]转换模块，用于将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
[0012]约束建立模块，用于根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
[0013]车道线生成模块，用于根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与该至少一个处理器通信连接的存储器；其中，
[0017]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0019]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0020]在本公开实施例中，根据车辆位置确定出的车道线的待处理观测点对应的约束方式，可以建立各待处理观测点转换的目标观测点对应的车道线约束，从而利用与车辆位置有关的车道线约束提高车道线的曲线模型的拟合精度。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开一实施例的车道线处理方法的流程示意图；
[0024]图2是根据本公开另一实施例的车道线处理方法的流程示意图；
[0025]图3是根据本公开另一实施例的车道线处理方法的流程示意图；
[0026]图4是根据本公开另一实施例的车道线处理方法的流程示意图；
[0027]图5是根据本公开另一实施例的车道线处理方法的流程示意图；
[0028]图6是根据本公开另一实施例的车道线处理方法的流程示意图；
[0029]图7是根据本公开一实施例的车道线处理装置的结构示意图；
[0030]图8是根据本公开另一实施例的车道线处理装置的结构示意图；
[0031]图9是根据本公开另一实施例的车道线处理装置的结构示意图；
[0032]图10是根据本公开另一实施例的车道线处理装置的结构示意图；
[0033]图11是根据本公开另一实施例的车道线处理装置的结构示意图；
[0034]图12是本公开的滑窗队列维护方法的流程图；
[0035]图13是用来实现本公开实施例的车道线处理方法的电子设备的框图。
具体实施方式
[0036]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0037]图1是根据本公开一实施例的车道线处理方法的流程示意图。该方法可以包括：
[0038]S101、根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各该待处理帧中车道线的待处理观测点和该待处理观测点对应的约束方式；
[0039]S102、将该待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；
[0040]S103、根据该待处理观测点对应的约束方式和目标观测点，建立该目标观测点对应的车道线约束；
[0041]S104、根据该目标观测点对应的车道线约束，得到该车道线的曲线模型。
[0042]在本公开实施例中，可以利用车辆的摄像头例如车身前方的前视摄像头采集得到
道路图像。可以将摄像头设置为每个一段距离采集一帧道路图像，也可以将摄像头设置为连续采集道路图像。通过车辆控制器或与车辆控制器连接的服务器，可以对摄像头采集的道路图像进行识别，提取道路图像中的车道线的观测点。然后通过IPM等方式可以将道路图像上2D车道线的观测点转换成车辆坐标系(或称为车体坐标系)下的3D车道线的观测点。本一种示例中，待处理帧可以包括摄像头道路上采集的一帧图像中的车道线的观测点的3D坐标。待处理帧可以为历史帧或当前帧等关键帧。历史帧中可以包括摄像头在道路上的历史位置采集的一帧图像中的车道线的观测点的3D坐标。当前帧中可以包括摄像头在道路上的当前位置采集的一帧图像中的车道线的观测点的3D坐标。其中，历史位置可以是车辆行驶到当前位置所经过的位置。
[0043]在本公开实施例中，待处理帧中可以包括一个或多个车道线的观测点的坐标。如果一个待处理帧中包括多个车道线的观测点的坐标，可以将每个车道线的观测点的坐标划分为一组。利用一组的观测点的坐标，可以拟合该组对应的车道线的曲线模型。此外，可以将待处理帧中的部分或全部观测点作为拟合车道线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线处理方法，包括：根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各所述待处理帧中车道线的待处理观测点和所述待处理观测点对应的约束方式；将所述待处理观测点按照当前的车辆坐标系转换为对应的目标观测点；根据所述待处理观测点对应的约束方式和目标观测点，建立所述目标观测点对应的车道线约束；根据所述目标观测点对应的车道线约束，得到所述车道线的曲线模型。2.根据权利要求1所述的方法，其中，根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各所述待处理帧中车道线的待处理观测点和所述待处理观测点对应的约束方式，包括以下至少之一：在所述待处理帧的车辆位置与所述当前的车辆位置的距离大于第一阈值的情况下，从所述待处理帧的第一区域提取第一观测点；其中，所述第一观测点对应的约束方式包括点到线距离约束；在所述待处理帧的车辆位置与所述当前的车辆位置的距离小于或等于第一阈值的情况下，从所述待处理帧的第二区域提取第二观测点，从所述待处理帧的第三区域提取第三观测点；其中，所述第二观测点对应的约束方式包括点到线距离约束；所述第三观测点对应的约束方式包括对应的方向一致约束和/或曲率一致约束。3.根据权利要求2所述的方法，其中，根据所述待处理观测点对应的约束方式和目标观测点，建立所述目标观测点对应的车道线约束，包括以下至少之一：根据所述第一观测点或所述第二观测点转换后的目标观测点，建立所述目标观测点对应的点到线距离约束；根据所述第三观测点转换后的目标观测点，建立所述目标观测点对应的方向一致约束和/或曲率一致约束。4.根据权利要求3所述的方法，其中，所述目标观测点对应的点到线距离约束是基于目标观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的。5.根据权利要求3或4所述的方法，其中，所述目标观测点对应的方向一致约束是基于目标观测点的y轴坐标的一阶导数、目标观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的；其中，所述目标观测点的y轴坐标的一阶导数是根据所述目标观测点的前一个观测点和所述目标观测点确定的。6.根据权利要求3至5中任一项所述的方法，其中，所述目标观测点对应的曲率一致约束是基于观测点曲率和三次曲线曲率建立的；其中，所述观测点曲率是基于所述目标观测点的前一个观测点、所述目标观测点、所述目标观测点的后一个观测点确定的；所述三次曲线曲率是基于所述第二观测点的x轴坐标对应的第一向量的一阶导数和二阶导数，以及曲线模型系数对应的第二向量确定的。7.根据权利要求1至6中任一项所述的方法，根据所述目标观测点对应的车道线约束，得到所述车道线的曲线模型，包括：根据所述目标观测点对应的点到线距离约束、方向一致约束和曲率一致约束的至少之
一构造三次曲线模型的非线性最小二乘法公式；迭代求解所述非线性最小二乘法公式，得到所述车道线的三次曲线模型中各系数的值。8.根据权利要求1至7中任一项所述的方法，所述待处理帧包括车道线的滑窗中的关键帧，所述方法还包括：根据当前帧和滑窗中的关键帧的关系，将所述当前帧压入所述滑窗。9.根据权利要求8所述的方法，其中，根据当前帧和滑窗中的关键帧的关系，将所述当前帧压入所述滑窗，包括：在所述滑窗中的关键帧的数量小于滑窗长度N的情况下，将所述当前帧压入所述滑窗；其中，N大于或等于1。10.根据权利要求8或9所述的方法，其中，根据当前帧和滑窗中的关键帧的关系，将所述当前帧压入所述滑窗，包括：在所述滑窗中的关键帧的数量等于滑窗长度的情况下，根据所述当前帧与所述滑窗中的第N帧的相对运动距离从所述滑窗中删除第一帧或第N帧后，将所述当前帧压入所述滑窗。11.根据权利要求10所述的方法，其中，根据所述当前帧与所述滑窗中的第N帧的相对运动距离从所述滑窗中删除第一帧或第N帧后，将所述当前帧压入所述滑窗，包括以下至少之一：在所述当前帧与所述滑窗中的第N帧的相对运动距离大于第二阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N
‑
1帧的相对运动距离大于第三阈值的情况下，从所述滑窗中删除第一帧后，将所述当前帧压入所述滑窗；在所述当前帧与所述滑窗中的第N帧的相对运动距离小于或等于第二阈值、且所述滑窗中的第N帧与第N
‑
1帧的相对运动距离小于或等于第三阈值的情况下，从所述滑窗中删除第N帧后，将所述当前帧压入所述滑窗。12.一种车道线处理装置，包括：约束确定模块，用于根据各待处理帧的车辆位置与当前的车辆位置之间的关系，确定各所述待处理帧中车道线的待处理观测点和所述待处理观测点对应的约束方式；转换模块，用于将所述待处理观测点按照当...

【专利技术属性】
技术研发人员：王丕阁，
申请(专利权)人：阿波罗智能技术北京有限公司，
类型：发明
国别省市：