一种道路线检测模型的训练方法、道路线检测方法及装置制造方法及图纸

本发明专利技术公开了一种道路线检测模型的训练方法、道路线检测方法及装置，涉及图像处理领域，还涉及智能驾驶领域。采用本发明专利技术公开的道路线检测模型的训练方法，采用连续线形算子提取特征图的空间位置连续性和道路线的线性形态，监督训练获得深度道路线检测模型，多帧融合技术根据车辆运动轨迹和历史道路信息生成预测道路信息，根据预测道路线校正当前道路线中被遮挡的部分，加强了检测的鲁棒性，使得道路线检测模型更适合在实际工况中应用。

A training method, detection method and device of road line detection model

The invention discloses a training method, a road line detection method and a device of a road line detection model, relating to the field of image processing and the field of intelligent driving. Adopting the training method of the road line detection model disclosed by the invention, adopting the continuous linear operator to extract the spatial position continuity of the feature map and the linear shape of the road route, supervising the training to obtain the deep road line detection model, multi frame fusion technology generates the predicted road information according to the vehicle motion track and the historical road information, and corrects the blocked road route according to the predicted road line In the part of, the robustness of detection is strengthened, so that the road route detection model is more suitable for application in actual conditions.

【技术实现步骤摘要】
一种道路线检测模型的训练方法、道路线检测方法及装置
本专利技术涉及图像处理领域，还涉及智能驾驶领域，尤其涉及一种道路线检测模型的训练方法、道路线检测方法及装置。
技术介绍
近年来，智能化系统被广泛应用于驾驶领域，目的在于实现自动驾驶功能或辅助驾驶功能。在智能驾驶的视觉感知系统中，车道检测是一个重要的功能模块，通常需要从车辆周围的道路图像中检测出车道线，进而指导驾驶车辆。目前，学术界和工业界针对检测车道线和道路边界线，开发了许多深度学习方法，其中，具有代表性的有LaneNet和SCNN。LaneNet引自在2018年IEEEIVconference公开的论文“TowardsEnd-to-EndLaneDetection:anInstanceSegmentationApproach”。该方法的流程图如图1所示，LaneNet训练了两个分支，通过对图像的像素点进行车道线点和非车道线点的语义分割后，再对分割结果进行类聚，得到属于若干根车道线的像素集合。SCNN引自在2018年AAAIConferenceonArtificialIntelligence公开的论文“SpatialAsDeep:SpatialCNNforTrafficSceneUnderstanding”。该方法的流程图如图2所示，SCNN首先通过卷积神经网提取图像的特征，再采用SpatialCNN对图像的横向和纵向连续性进行建模。上述两种方法取得了较好的检测效果，但在实际工况中也存在各自的缺陷。例如，采用LaneNet方法时，容易得到断断续续的检测结果，采用SCNN时，容易将路面的连续污渍等误检为车道线或道路边界线。而且不适用于车道线或道路边界线被遮挡的情况，而在实际应用场景中，车道线和道路边界线被遮挡的情况十分常见，采用上述方法中的任意一种均对检测结果存在干扰。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种道路线检测模型的训练方法、道路线检测方法及装置，解决现有技术无法对车道线和道路分界线进行准确检测的问题和检测效果不佳的问题。有鉴于此，本专利技术提供一种道路线检测模型的训练方法，所述道路线检测模型的训练方法包括：获取道路样本图像，具体地，所述道路样本图像至少包括标注的道路线数据。通过卷积网络提取所述道路样本图像的特征，获得特征图。采用连续线形算子提取所述特征图的深层特征，具体地，所述深层特征包括道路线的空间位置连续性和道路线的线形形态。根据所述深层特征，以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。进一步地，采用连续线形算子提取所述特征图的深层特征的步骤包括：采用卷积核对所述特征图的横向和纵向进行迭代卷积，具体地，所述横向和纵向包括从右到左、从左到右、从上到下和从下到上。获取所述特征图在一方向上的点概率值。根据所述点概率值，判断所述特征图在该方向上是否存在线形形态，若存在，则提取所述特征图的深层特征；若不存在，则抑制不存在线形形态的方向。进一步地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：判断该方向上的点概率值之和是否大于第一阈值；若大于，则判断该方向上的点概率值之差是否小于第二阈值；若小于，则判定所述特征图在该方向上存在线形形态。可替换地，所述判断所述特征图在该方向上是否存在线形形态的步骤为：判断该方向上的点概率值之差是否小于第二阈值；若小于，则判断该方向上的点概率值之和是否大于第一阈值；若大于，则判定所述特征图在该方向上存在线形形态。相应地，本专利技术还提供了一种道路线检测方法，所述道路线检测方法包括：获取当前道路图像，并输入道路线检测模型生成当前道路信息，所述道路线检测模型是上述任意一项所述的道路线检测模型的训练方法监督训练得到的道路线检测模型；根据车辆运动轨迹和历史道路信息生成预测道路信息；基于未被遮挡道路线和预测道路线，判断所述当前道路信息与所述预测道路信息是否关联；若关联，则根据预测道路信息校正当前道路信息，具体地，所述预测道路信息至少包括预测道路线；具体地，所述当前道路信息至少包括未被遮挡道路线；具体地，根据预测道路信息校正当前道路信息采用扩展卡尔曼滤波算法。进一步地，判断所述当前道路信息与所述预测道路信息是否关联之前，所述道路线检测方法还包括：计算所述未被遮挡道路线与所述预测道路线间的距离。进一步地，判断所述当前道路信息与所述预测道路信息是否关联的步骤包括：判断所述距离是否小于预设阈值；若是，则判定所述当前道路信息与所述预测道路信息关联，具体地，采用期望最大化算法减少计算误差。相应地，本专利技术还提供了一种道路线检测模型的训练装置，所述道路线检测模型的训练装置包括：道路样本图像获取单元，用于获取道路样本图像。提取单元，用于提取所述道路样本图像的特征和所述特征图的深层特征。具体地，所述提取单元包括第一提取单元和第二提取单元：第一提取单元，用于提取所述道路样本图像的特征；第二提取单元，用于提取所述特征图的连续性和线形形态的深层特征。训练单元，用于以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。进一步地，所述道路线检测模型的训练装置还包括：第一判断单元，用于判断所述特征图在一方向上是否存在连续性；第二判断单元，用于判断所述特征图在局部区域是否存在线形形态。实施本专利技术实施例，具有如下有益效果：本专利技术公开的道路线检测模型的训练方法、道路线检测方法及装置，采用连续线形算子提取特征图的空间位置连续性和道路线的线性形态，监督训练获得深度道路线检测模型，多帧融合技术根据车辆运动轨迹和历史道路信息生成预测道路信息，根据预测道路线校正当前道路线中被遮挡的部分，加强了检测的鲁棒性，使得道路线检测模型更适合在实际工况中应用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是LaneNet深度学习方法的流程示意图；图2是SCNN深度学习方法的流程示意图；图3是本专利技术实施例提供的一种道路线检测模型的训练方法的流程示意图；图4是本专利技术实施例提供的一种道路线检测方法的流程示意图；图5是本专利技术实施例提供的一种道路线检测模型的训练装置的结构示意图；图6是本专利技术实施例提供的一种迭代运算示意图；图7是一特征图的局部区域图；图8是一方向局部线形形态的示意图。具体实施方式为使本专利技术的目的、技术本文档来自技高网...

【技术保护点】
1.一种道路线检测模型的训练方法，其特征在于，所述道路线检测模型的训练方法包括：/n获取道路样本图像，所述道路样本图像至少包括标注的道路线数据；/n通过卷积网络提取所述道路样本图像的特征，获得特征图；/n采用连续线形算子提取所述特征图的深层特征，其中，所述深层特征包括道路线的空间位置连续性和道路线的线形形态；/n根据所述深层特征，以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。/n

【技术特征摘要】
1.一种道路线检测模型的训练方法，其特征在于，所述道路线检测模型的训练方法包括：
获取道路样本图像，所述道路样本图像至少包括标注的道路线数据；
通过卷积网络提取所述道路样本图像的特征，获得特征图；
采用连续线形算子提取所述特征图的深层特征，其中，所述深层特征包括道路线的空间位置连续性和道路线的线形形态；
根据所述深层特征，以标注的道路线数据进行监督训练，优化深度学习网络损失函数，调整网络参数，得到道路线检测模型。


2.根据权利要求1所述的一种道路线检测模型的训练方法，其特征在于，采用连续线形算子提取所述特征图的深层特征的步骤包括：
采用卷积核对所述特征图的横向和纵向进行迭代卷积；
获取所述特征图在一方向上的点概率值；
根据所述点概率值，判断所述特征图在该方向上是否存在线形形态；
若存在，则提取所述特征图的深层特征；
若不存在，则抑制不存在线形形态的方向。


3.根据权利要求2所述的一种道路线检测模型的训练方法，其特征在于，所述判断所述特征图在该方向上是否存在线形形态的步骤为：
判断该方向上的点概率值之和是否大于第一阈值；
若大于，则判断该方向上的点概率值之差是否小于第二阈值；
若小于，则判定所述特征图在该方向上存在线形形态。


4.一种道路线检测方法，其特征在于，所述道路线检测方法包括：
获取当前道路图像，并输入道路线检测模型生成当前道路信息，其中，所述当前道路信息至少包括未被遮挡道路线，所述道路线检测模型是权利要求1-3任意一项所述的道路线检测模型的训练方法监督训练得到的道路线检测模型；
根据车辆运动轨迹和历史道路信息生...

【专利技术属性】
技术研发人员：段翔宇，
申请(专利权)人：浙江吉利汽车研究院有限公司，浙江吉利控股集团有限公司，
类型：发明
国别省市：浙江;33