基于轻量化边缘计算的车道线识别方法及装置制造方法及图纸

本发明专利技术公开了基于轻量化边缘计算的车道线识别方法及装置，通过根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据第一特征图形成多个第一特征图层，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，根据第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线；通过对全图特征图像进行降采样处理得到不同尺寸的特征图，利用上一次采集的关键帧图像中处理得到的高分辨率的第一特征图层转化为第二特征图层，大大节省了计算时间和成本，提高运算效率，达到实时性能，并且保留了高分辨率细节，提高运动中的车道线识别准确性。性。性。

【技术实现步骤摘要】
基于轻量化边缘计算的车道线识别方法及装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于轻量化边缘计算的车道线识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]基于神经网络的深度学习方法是机器学习的技术和研究领域之一，是一种以人工神经网络为架构，对数据进行表征学习的算法。随着大数据时代的到来，含更多隐含层的深度卷积神经网络具有更复杂的网络结构，与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的成绩。为了不断提高卷积神经网络的表征能力，提高图像分类、目标检测、图像分割等任务的性能，大量优秀的网络结构被各界学者提出。其中，经典的深度卷积网络往往拥有相当深的层级结构，在带来性能提升同时，引入了大量的参数，导致计算量急速上涨，模型存储问题和运算速度问题越来越突出，难以达到实际应用标准。
[0003]车道线检测是计算机视觉领域的一个基础问题，有着悠久的研究历史和广泛的应用，例如：高级辅助驾驶系统、无人驾驶系统等。对于车道线检测，目前主流的方法有两种：传统的图像处理方法和深度学习的图像分割方法。
[0004]传统的图像处理方法通常是基于视觉信息来解决车道检测问题，这些方法的主要思想是通过处理图像利用可见的三通道视觉信息，如HSI颜色模型和边缘检测算法。当视觉信息不够强（如遮挡、强光、弱光）时，跟踪是另一种流行的后处理解决方案，后处理方法除跟踪外，有些还采用了马尔可夫和条件随机场。随着机器学习的发展，采用模板匹配、支持向量机等算法也随之兴起，SAD方法通过自蒸馏来解决车道线检测问题，SAD基于分割的密集预测特性，该方法计算量大，计算效率低下达不到实时检测效果。
[0005]深度学习的方法一般把车道检测问题转化为语义分割任务，语义分割是对图像中的每个像素点都逐一进行分类，计算复杂度较高。例如，VPGNet提出了一个由消失点引导的多任务网络用于车道线的标记和检测。SCNN在分割模块中使用了特殊的卷积运算来更有效地利用视觉信息，该方法通过处理切片特征并将它们逐一相加，从而聚合来自不同维度的信息。除了主流的分割算法外，还有序列预测、聚类等算法。LSTM采用长短时记忆网络处理车道的长线结构；同样的原理，Fast
‑
Draw方法预测每个车道点上车道的方向，并依次绘制。车道检测问题也可以视为二值聚类问题，且可以利用三维信息，一定程度上解决路面不平整问题。深度学习的分割方法自然比传统的图像处理方法具有更强的语义表达能力，但由于密集的多通道海量像素级计算，这种消息传递需要更多的计算成本，在计算力有限的车上部署达不到实际的检测效果；此外，车道线表示为分割的二值特征而不是连续的直线或者曲线，不能很好地利用车道线原本具有的平滑连贯性特质，往往检测出来的车道线会有突变的现象。
[0006]另外，随着自动驾驶和其他应用的落地，大规模的实时视频处理和轻量化的边缘
计算对模型的处理速度提出了更高的要求。从实时性运算的角度来看，从静态图像处理到视频处理的转变意义重大，因为实时方面对于需要低延迟和实时响应的视频应用比单帧图像应用更重要，而现有方法往往缺乏复用视频序列中关键帧的特征，在有限的边缘计算设备资源上的运算速度往往有较大的瓶颈。

技术实现思路

[0007]为了克服现有技术的不足，本专利技术的目的在于提供一种基于轻量化边缘计算的车道线识别方法、装置、计算机设备及存储介质，其能解决现有技术运算速度慢、效率低的问题。
[0008]第一方面，本专利技术提供一种基于轻量化边缘计算的车道线识别方法，包括：基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层包括根据所述第二特征图形成的特征图层和第一特征图层；根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。
[0009]优选的，根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，包括：根据上一次关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第一特征图。
[0010]优选的，根据所述第一特征图形成多个第一特征图层，包括：将所述第一特征图进行降采样处理，输出每一个第一特征图的最后一层作为第一目标特征图层进行卷积计算，得到卷积计算后的第一参考特征图层；排除采样倍数最低的第一特征图后将其他第一特征图所对应的第一参考特征图层作为第一特征图层。
[0011]优选的，所述第一特征图层的采样倍数包括4倍、8倍、16倍和32倍。
[0012]优选的，根据所述第一特征图形成多个第一特征图层，包括：将第一特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第一特征图进行卷积计算得到顶层的第一特征图层；所述顶层的第一特征图层作为首个上一级第一特征图层，将上一级第一特征图层进行上采样后与所述上一级第一特征图层对应层级的下一级第一特征图进行相加得到第一目标特征图层，将第一目标特征图层进行卷积计算得到下一级第一特征图的第一特征图层。
[0013]优选的，所述上采样的方式为最近邻值插值法。
[0014]优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图，包括：根据当前非关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第二特征图。
[0015]优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：将所述第二特征图进行降采样处理，输出每一个第二特征图的最后一层作为第二目标特征图层进行卷积计算，得到卷积计算后的第二参考特征图层；排除采样倍数最低的第二特征图后将其他第二特征图所对应的第二参考特征图层作为第二特征图层。
[0016]优选的，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：将第二特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第二特征图进行卷积计算得到顶层的第二特征图层；所述顶层的第二特征图层作为首个上一级第二特征图层，将上一级第二特征图层进行上采样后与所述上一级第二特征图层对应层级的下一级第二特征图进行相加得到第二目标特征图层，将第二目标特征图层进行卷积计算得到下一级第二特征图的第二特征图层；将采样倍数为8倍和16倍的第一特征图所对应的第一特征图层替代采样倍数为8倍和16倍的第二特征图所对应的第二特征图层，形成新的第二特征图层。
[0017]优选的，基于所述网格分类图预测车道线具体为，基于所述网格分类图以及公式一预测车道线，其中，公式一为：；其中，C为设定的最大车道数，h为设定的网格分类图的行网格数，w为设定的网格分类图的每行网格单元数， X为全局特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于轻量化边缘计算的车道线识别方法，其特征在于，包括：基于上一次采集的全局特征图像获取上一次关键帧图像，以根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，并根据所述第一特征图形成多个第一特征图层；基于当前采集的全局特征图像获取当前非关键帧图像，以根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图和第二特征图层，其中，所述第二特征图层包括根据所述第二特征图形成的特征图层和第一特征图层；根据所述第二特征图层计算并输出当前的全局特征图像对应的网格分类图，基于所述网格分类图预测车道线。2.如权利要求1所述的车道线识别方法，其特征在于，根据上一次关键帧图像进行降采样处理得到若干不同采样倍数的第一特征图，包括：根据上一次关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第一特征图。3.如权利要求2所述的车道线识别方法，其特征在于，根据所述第一特征图形成多个第一特征图层，包括：将所述第一特征图进行降采样处理，输出每一个第一特征图的最后一层作为第一目标特征图层进行卷积计算，得到卷积计算后的第一参考特征图层；排除采样倍数最低的第一特征图后将其他第一特征图所对应的第一参考特征图层作为第一特征图层。4.如权利要求3所述的车道线识别方法，其特征在于，所述第一特征图层的采样倍数包括4倍、8倍、16倍和32倍。5.如权利要求3所述的车道线识别方法，其特征在于，根据所述第一特征图形成多个第一特征图层，还包括：将第一特征图按照采样倍数从高至低的顺序排序，将采样倍数最高的第一特征图进行卷积计算得到顶层的第一特征图层；所述顶层的第一特征图层作为首个上一级第一特征图层，将上一级第一特征图层进行上采样后与所述上一级第一特征图层对应层级的下一级第一特征图进行相加得到第一目标特征图层，将第一目标特征图层进行卷积计算得到下一级第一特征图的第一特征图层。6.如权利要求5所述的车道线识别方法，其特征在于，所述上采样的方式为最近邻值插值法。7.如权利要求4或5所述的车道线识别方法，其特征在于，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图，包括：根据当前非关键帧图像进行降采样处理得到采样倍数为1倍、2倍、4倍、8倍和16倍的第二特征图。8.如权利要求7所述的车道线识别方法，其特征在于，根据当前非关键帧图像进行降采样处理得到若干不同采样倍数的第二特征图层，包括：将所述第二特征图进行降采样处理，输出每一个第二特征图的最后一层作为第二目标特征图层进行卷积计算，得到卷积计算后的第二参考特征图层；排除采样倍数最低的第...

【专利技术属性】
技术研发人员：步宏飞，周东开，杨晓东，
申请(专利权)人：广州赛特智能科技有限公司，
类型：发明
国别省市：