路面坑洼检测方法及可读存储介质技术

本发明专利技术提供了一种路面坑洼检测方法及可读存储介质。所述路面坑洼检测方法包括如下步骤：获取双目图像；所述双目图像基于视差估计算法获取视差估计结果；所述双目图像基于路面分割算法获取路面分割结果；以及，基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果。其中，所述视差估计算法和所述路面分割算法至少共用一部分的神经网络。如此配置，一个方面通过双目图像解决了训练数据和应用门槛的问题，另一个方面，通过共用的神经网络使得两个算法在训练和计算过程中可以共享中间数据并加快训练和计算速度，并减少了参与计算的神经网络的整体尺寸；从而解决了现有技术中存在的训练数据要求高、计算量大、计算速度受限等问题。度受限等问题。度受限等问题。

【技术实现步骤摘要】
路面坑洼检测方法及可读存储介质


[0001]本专利技术涉及机器视觉
，特别涉及一种路面坑洼检测方法及可读存储介质。

技术介绍

[0002]路面坑洼检测是使用计算机视觉和机器学习等技术识别坑洼的过程，坑洼会影响车辆行驶的平顺性，对于较严重的坑洼甚至会对驾驶员构成安全隐患，并对车辆造成损坏，因此在车辆行驶过程中快速检测路面坑洼对于提高乘车舒适感和安全性非常重要。
[0003]传统的路面坑洼检测方法有：
[0004](1)基于传感器的检测：使用嵌入路面的传感器来检测由过往车辆引起的压力或振动变化。坑洼会导致这些测量值发生明显变化，这些变化可用于识别其位置。
[0005](2)图像处理：使用相机或其他成像设备捕获路面图像，然后处理这些图像以识别坑洼。图像处理算法可用于检测路面纹理或颜色的变化，这些变化可能表明存在坑洼。
[0006](3)机器学习：在图像或传感器数据集上训练机器学习模型以识别坑洼。然后，该模型可用于自动检测新数据中的坑洼。
[0007]通过训练模型直接识别路面坑洼是较为直接的方式，然而坑洼的形态和出现位置差异非常大，难以搜集覆盖面广的坑洼数据集。相较而言，道路数据集更容易获得，并且道路场景相对简单，容易学习。
[0008]目前有许多相关的研究工作，常见做法有2种：
[0009](1)通过分析双目图像获得视差图，随后对视差图进行转换得到V视差，拟合V视差中的道路直线，得到路面的视差信息，进而识别坑洼。这种方法的缺点是路面识别依赖于V视差图上的道路直线拟合，计算量大，并且有许多超参数需要调节，算法稳定性低。
[0010](2)首先计算出视差图，然后将视差图和相机获得的RGB图像相结合，训练模型识别出路面，结合路面区域和视差图识别坑洼，这种方法可以显著提高算法准确性，然而在移动端部署时需要有2个神经网络模型：视差预测模型和路面识别模型，模型大小相对受限，并且推理速度会受影响。
[0011]总之，现有技术中不同的路面坑洼识别的方法分别存在训练数据要求高、计算量大、计算速度受限等问题。

技术实现思路

[0012]本专利技术的目的在于提供一种路面坑洼检测方法及可读存储介质，以解决现有技术中存在的训练数据要求高、计算量大、计算速度受限等问题。
[0013]为了解决上述技术问题，本专利技术提供了一种路面坑洼检测方法，包括如下步骤：获取双目图像；所述双目图像基于视差估计算法获取视差估计结果；所述双目图像基于路面分割算法获取路面分割结果；以及，基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果。其中，所述视差估计算法和所述路面分割算法至少共用一部分的神经网络。
[0014]可选的，所述基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果的步骤包括：基于所述路面分割结果从所述视差估计结果中提取属于路面区域的路面区域视差；基于所述路面区域视差估计结果计算理想路面视差；以及，基于所述理想路面视差和所述路面区域视差的差值，确定所述路面区域中的坑洼区域。
[0015]可选的，所述路面坑洼检测方法，包括如下步骤：所述双目图像基于第一神经网络获取图像特征数据；所述图像特征数据基于第二神经网络获取所述视差估计结果和视差中间计算结果；以及，所述图像特征数据和所述视差中间计算结果拼接后，基于第三神经网络获取所述路面分割结果。
[0016]其中，所述第一神经网络和所述第二神经网络被配置为从属于所述视差估计算法；所述第一神经网络、所述第二神经网络和所述第三神经网络被配置为从属于所述路面分割算法。
[0017]可选的，所述图像特征数据包括多个不同尺度的图像特征值。
[0018]可选的，所述图像特征数据还包括基于位置设置的正弦位置编码。
[0019]可选的，所述图像特征数据包括左图的第一图像特征值和右图的第二图像特征值，所述视差估计结果为使得目标函数最小的对应偏差，所述目标函数包括所述第一图像特征值和所述第二图像特征值差值的绝对值之和。
[0020]可选的，所述图像特征数据包括多个不同尺度的图像特征值；所述视差中间计算结果包括对应于所述多个尺度的图像特征值的视差值。
[0021]所述第二神经网络的计算步骤包括：先计算最大尺度的所述图像特征值对应的所述视差值，剩余的尺度的所述视差值的初始值的取值范围按照如下公式进行限制：d
k
‑1∈[d
k
‑
q,d
k
+q]；其中，d
k
‑1代表第(k
‑
1)个尺度的所述视差值，d
k
代表第k个尺度的所述视差值，k的取值范围由所述图像特征值的尺度总数决定，当k取到最大值时，d
k
代表最大尺度的所述视差值，当k取到最小值时，d
k
代表最小尺度的所述视差值，q为视差扩展参数。
[0022]可选的，所述目标函数还包括局部匹配代价，所述局部匹配代价基于二阶视差梯度计算。
[0023]可选的，所述图像特征数据包括多个不同尺度的图像特征值；所述视差中间计算结果包括对应于所述多个尺度的图像特征值的视差值。
[0024]所述第三神经网络的计算步骤包括：先按照尺度拼接所述图像特征数据和所述视差中间计算结果，拼接后的数据按照尺度从大到小依次进行反卷积上采样和数据拼接，获得所述路面分割结果。
[0025]为了解决上述技术问题，本专利技术还提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序运行时，执行如上述的路面坑洼检测方法。
[0026]与现有技术相比，本专利技术提供的一种路面坑洼检测方法及可读存储介质中，所述路面坑洼检测方法包括如下步骤：获取双目图像；所述双目图像基于视差估计算法获取视差估计结果；所述双目图像基于路面分割算法获取路面分割结果；以及，基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果。其中，所述视差估计算法和所述路面分割算法至少共用一部分的神经网络。如此配置，一个方面通过双目图像解决了训练数据和应用门槛的问题，另一个方面，通过共用的神经网络使得两个算法在训练和计算过程中可以共享中间数据并加快训练和计算速度，并减少了参与计算的神经网络的整体尺寸；从而
解决了现有技术中存在的训练数据要求高、计算量大、计算速度受限等问题。
附图说明
[0027]本领域的普通技术人员将会理解，提供的附图用于更好地理解本专利技术，而不对本专利技术的范围构成任何限定。其中：
[0028]图1是本专利技术一实施例的路面坑洼检测方法的流程示意图；
[0029]图2是本专利技术一实施例的视差估计算法和路面分割算法的神经网络结构示意图；
[0030]图3是本专利技术一实施例的路面坑洼检测方法的又一流程示意图；
[0031]图4是匹配发生错误的场景示意图；
[0032]图5是本专利技术一实施例的视差扩展示意图；
[0033]图6是本专利技术一实施例的路面分割算法的计算流程示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路面坑洼检测方法，其特征在于，包括如下步骤：获取双目图像；所述双目图像基于视差估计算法获取视差估计结果；所述双目图像基于路面分割算法获取路面分割结果；以及，基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果；其中，所述视差估计算法和所述路面分割算法至少共用一部分的神经网络。2.根据权利要求1所述的路面坑洼检测方法，其特征在于，所述基于所述视差估计结果和所述路面分割结果获取路面坑洼检测结果的步骤包括：基于所述路面分割结果从所述视差估计结果中提取属于路面区域的路面区域视差；基于所述路面区域视差估计结果计算理想路面视差；以及，基于所述理想路面视差和所述路面区域视差的差值，确定所述路面区域中的坑洼区域。3.根据权利要求1所述的路面坑洼检测方法，其特征在于，包括如下步骤：所述双目图像基于第一神经网络获取图像特征数据；所述图像特征数据基于第二神经网络获取所述视差估计结果和视差中间计算结果；以及，所述图像特征数据和所述视差中间计算结果拼接后，基于第三神经网络获取所述路面分割结果；其中，所述第一神经网络和所述第二神经网络被配置为从属于所述视差估计算法；所述第一神经网络、所述第二神经网络和所述第三神经网络被配置为从属于所述路面分割算法。4.根据权利要求3所述的路面坑洼检测方法，其特征在于，所述图像特征数据包括多个不同尺度的图像特征值。5.根据权利要求4所述的路面坑洼检测方法，其特征在于，所述图像特征数据还包括基于位置设置的正弦位置编码。6.根据权利要求3所述的路面坑洼检测方法，其特征在于，所述图像特征数据包括左图的第一图像特征值和右图的第二图像特征值，所述视差估计结果为使得目标函数最小的对应偏差，所述目标函数包括所述第一图像特征值和所述第二...

【专利技术属性】
技术研发人员：孙林，刘鹏，张璨，陆唯佳，应东平，苏建业，林旺城，
申请(专利权)人：联合汽车电子有限公司，
类型：发明
国别省市：