一种基于知识蒸馏的轻量车道线检测方法及装置制造方法及图纸

本申请公开了一种基于知识蒸馏的轻量车道线检测方法及装置，方法包括采集待处理图像，并将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的车道线特征；接着基于与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点；接着根据与车道线对应的多个目标关键点生成待处理图像的车道线。通过基于知识蒸馏得到的第一卷积神经网络不仅有效减小整体计算量，还可使得到的待处理图像中与每个子区域对应的车道线特征精度更高，进而保障待处理图像的车道线的准确性。道线的准确性。道线的准确性。

【技术实现步骤摘要】
一种基于知识蒸馏的轻量车道线检测方法及装置


[0001]本申请属于辅助驾驶
，特别的涉及一种基于知识蒸馏的轻量车道线检测方法及装置。

技术介绍

[0002]随着自动驾驶和辅助驾驶的需求日益增加，基于深度学习的视觉感知系统被广泛应用。作为自动驾驶系统里最重要的模块之一，道路线模型需要准确的检测到每一条车道线的位置，从而保证行驶车辆的安全。因为道路的环境条件会因为光照和遮挡而变化，道路线模型需要有一定的鲁棒性。同时，由于道路线模型会被部署在边缘设备的嵌入式版的轻量系统（例如TDA4VM和MDC），该道路线模型本身的尺寸需要满足内存的要求，向前推理和后处理的时间需要达到实时的标准，使用到的算子需要满足部署系统的机能限制。
[0003]目前学术界主流的道路线检测包括多个方案。第一种传统的统计方法，利用边缘及颜色检测来提取低级的车道线特征，然后通过卡尔曼滤波器或者霍夫转换组合低级车道线特征来进行预测。第二种语义分割的方法中比较典型的是SCNN模型，该模型先通过LargeFOV提取图像特征，然后使用slice
‑
by
‑
slice卷积的形式来替代传统layer
‑
by
‑
layer的卷积形式，使得每个像素点都可以获得全图的信息，将每一条车道线定义为一个预设的类别，进而检测出长距离连续形状的车道线。第三种实例分割配合后处理的方法先通过提取图片特征预测车道关键点，然后将预测出的关键点聚类成不同车道线。
[0004]但上述三种方案都在实际应用中有着明显的局限性。第一种方案的传统统计模型虽然运算快速而且模型简单，但是光照和道路上的遮挡会严重影响到性能的稳定性。第二种方案的SCNN模型里，每个像素点都可以获得全图的信息这一特点导致其计算量过于庞大，在实际应用中达不到实时性能的要求。第三种方案的实例分割的方法虽然有着最高的准确性，但是模型普遍难以部署到轻量级边缘设备。
[0005]综上，现有的道路线检测方法大都具有计算量较大、占据空间过多以及性能稳定性较差等技术缺陷，进而影响到道路线的检测效率。

技术实现思路

[0006]本申请为解决上述提到的现有的道路线检测方法大都具有计算量较大、占据空间过多以及性能稳定性较差等技术缺陷，进而影响到道路线的检测效率等技术问题，提出一种基于知识蒸馏的轻量车道线检测方法及装置，其具体方案如下：第一方面，本申请实施例提供了一种基于知识蒸馏的轻量车道线检测方法，包括：采集待处理图像，并将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的车道线特征；其中，第一卷积神经网络由多个已知车道线特征的样本图像以及第二卷积神经网络训练得到，待处理图像包括m
×
n个子区域，m以及n均为正整数；基于与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点；
根据与车道线对应的多个目标关键点生成待处理图像的车道线。
[0007]在第一方面的一种可选方案中，与每个子区域对应的车道线特征包括每个子区域的关键点所对应的偏移量特征以及内嵌特征；基于与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点，包括：基于与每个子区域的关键点对应的内嵌特征确定出车道线所包含的初始关键点；根据车道线所包含的初始关键点对应的偏移量特征，在待处理图像的预设区域内确定出第一初始点集合；其中，待处理图像的预设区域包括至少三个子区域；将待处理图像按照预设方向划分为第一区域以及第二区域，并分别确定出第一区域中包含初始关键点的个数以及第二区域中包含初始关键点的个数；当检测到第一区域中包含初始关键点的个数大于第二区域中包含初始关键点的个数时，根据第一区域中包含的所有初始关键点确定出第二初始点集合；根据第一初始点集合以及第二初始点集合确定出与车道线对应的多个目标关键点。
[0008]在第一方面的又一种可选方案中，将待处理图像按照预设方向划分为第一区域以及第二区域，并分别确定出第一区域中包含初始关键点的个数以及第二区域中包含初始关键点的个数之后，还包括：当检测到第一区域中包含初始关键点的个数小于第二区域中包含初始关键点的个数时，根据第二区域中包含的所有初始关键点确定出第三初始点集合；根据第一初始点集合以及第三初始点集合确定出与车道线对应的多个目标关键点。
[0009]在第一方面的又一种可选方案中，每个子区域的关键点所对应的偏移量特征包括每个子区域的关键点在与待处理图像对应的平面直角坐标系中的X轴坐标以及Y轴坐标；根据车道线所包含的初始关键点对应的偏移量特征，在待处理图像的预设区域内确定出第一初始点集合，包括：获取在待处理图像的预设区域内所有初始关键点对应的Y轴坐标；将Y轴坐标最小的三个初始关键点作为第一初始点集合；根据第一区域中包含的所有初始关键点确定出第二初始点集合，包括：获取在第一区域内所有初始关键点的X轴坐标；将X轴坐标最小的三个初始关键点作为第二初始点集合；或将X轴坐标最大的三个初始关键点作为第二初始点集合。
[0010]在第一方面的又一种可选方案中，根据第一初始点集合以及第二初始点集合确定出与车道线对应的多个目标关键点，包括：将第一初始点集合以及第二初始集合合并为第一集合；在车道线所包含的初始关键点中确定出与第一集合中任意一个初始关键点的直线距离最小的三个初始关键点，并将三个初始关键点作为第二集合；分别从第一集合以及第二集合中选取一个初始关键点，并计算出第一集合的初始关键点与第二集合的初始关键点的连线与车道线所包含的其余初始关键点之间的垂直距离；其中，车道线所包含的其余初始关键点与第一集合中任意一个初始关键点以及第二集
合中任意一个初始关键点均不相同；在检测到车道线所包含的其余初始关键点中存在至少一个初始关键点与连线之间的垂直距离处于预设距离区间时，将至少一个初始关键点合并至第一集合中，并重复在车道线所包含的初始关键点中确定出与第一集合中任意一个初始关键点的直线距离最小的三个初始关键点的步骤，直至车道线所包含的其余初始关键点中不存在与连线之间的垂直距离处于预设距离区间的初始关键点；基于合并后的第一集合，在车道线所包含的初始关键点中确定出与车道线对应的多个目标关键点。
[0011]在第一方面的又一种可选方案中，与每个子区域对应的车道线特征还包括每个子区域的关键点所对应的置信度特征；基于与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点之前，还包括：对车道线所包含的初始关键点中对应的置信度特征低于预设阈值的初始关键点进行删除处理。
[0012]在第一方面的又一种可选方案中，第一卷积神经网络包括一个沙漏结构，第二卷积神经网络包括四个沙漏结构；第一卷积神经网络的损失函数包括第二卷积神经网络经过训练后得到的损失参数，第二卷积神经网络由多个已知车道线特征的样本图像训练得到。
[0013]第二方面，本申请实施例提供了一种基于知识蒸馏的轻量车道线检测装置，包括：数据处理模块，用于采集待处理图像，并将待处理图像输入至训练好的第一卷积神经网络，得到待处理图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的轻量车道线检测方法，其特征在于，包括：采集待处理图像，并将所述待处理图像输入至训练好的第一卷积神经网络，得到所述待处理图像中与每个子区域对应的车道线特征；其中，所述第一卷积神经网络由多个已知车道线特征的样本图像以及第二卷积神经网络训练得到，所述待处理图像包括m
×
n个子区域，所述m以及所述n均为正整数；基于所述与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点；根据所述与车道线对应的多个目标关键点生成所述待处理图像的车道线。2.根据权利要求1所述的方法，其特征在于，所述与每个子区域对应的车道线特征包括每个子区域的关键点所对应的偏移量特征以及内嵌特征；所述基于所述与每个子区域对应的车道线特征确定出与车道线对应的多个目标关键点，包括：基于所述与每个子区域的关键点对应的内嵌特征确定出车道线所包含的初始关键点；根据所述车道线所包含的初始关键点对应的偏移量特征，在所述待处理图像的预设区域内确定出第一初始点集合；其中，所述待处理图像的预设区域包括至少三个所述子区域；将所述待处理图像按照预设方向划分为第一区域以及第二区域，并分别确定出所述第一区域中包含所述初始关键点的个数以及所述第二区域中包含所述初始关键点的个数；当检测到所述第一区域中包含所述初始关键点的个数大于所述第二区域中包含所述初始关键点的个数时，根据所述第一区域中包含的所有所述初始关键点确定出第二初始点集合；根据所述第一初始点集合以及所述第二初始点集合确定出与车道线对应的多个目标关键点。3.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像按照预设方向划分为第一区域以及第二区域，并分别确定出所述第一区域中包含所述初始关键点的个数以及所述第二区域中包含所述初始关键点的个数之后，还包括：当检测到所述第一区域中包含所述初始关键点的个数小于所述第二区域中包含所述初始关键点的个数时，根据所述第二区域中包含的所有所述初始关键点确定出第三初始点集合；根据所述第一初始点集合以及所述第三初始点集合确定出与车道线对应的多个目标关键点。4.根据权利要求2所述的方法，其特征在于，所述每个子区域的关键点所对应的偏移量特征包括每个子区域的关键点在与所述待处理图像对应的平面直角坐标系中的X轴坐标以及Y轴坐标；所述根据所述车道线所包含的初始关键点对应的偏移量特征，在所述待处理图像的预设区域内确定出第一初始点集合，包括：获取在所述待处理图像的预设区域内所有所述初始关键点对应的Y轴坐标；将所述Y轴坐标最小的三个所述初始关键点作为第一初始点集合；所述根据所述第一区域中包含的所有所述初始关键点确定出第二初始点集合，包括：获取在所述第一区域内所有所述初始关键点的X轴坐标；将所述X轴坐标最小的三个所述初始关键点作为第二初始点集合；或
将所述X轴坐标最大的三个所述初始关键点作为第二初始点集合。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一初始点集合以及所述第二初始点集合确定出与车道线对应的多个目标关键点，包括：将所述第一...

【专利技术属性】
技术研发人员：魏子雄，陈辉，王泽润，
申请(专利权)人：杭州涿溪脑与智能研究所，
类型：发明
国别省市：