基于双目相机的路面平坦度语义分割方法和系统技术方案

本发明专利技术公开了一种基于双目相机的路面平坦度语义分割方法和系统，所述方法包括：获取目标检测区域内的原始图像，并将所述原始图像划分为多个不同尺寸的输入图像；基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果；基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果。其解决了现有平坦度检测缺少与双目相机融合、且平坦度检测效果较差的技术问题。且平坦度检测效果较差的技术问题。且平坦度检测效果较差的技术问题。

【技术实现步骤摘要】
基于双目相机的路面平坦度语义分割方法和系统


[0001]本申请实施例涉及自动驾驶
，具体涉及一种基于双目相机的路面平坦度语义分割方法和系统。

技术介绍

[0002]随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并在感知周围环境后做出分析，通过将信息提供给控制系统，实现对路面平坦度区域的检测。
[0003]但对于路面的各种行驶环境，如路面破损、积水、井盖、减速带等，能否准确的感知到这些环境关系到行车的安全，舒适以及路面所受冲击力的大小和使用寿命，不平整的路表面会增大行车阻力，并使车辆产生附加的振动作用。这种振动作用会造成行车颠簸，影响行车的速度和安全，驾驶的平稳度和乘客的舒适程度。
[0004]传统的路面平坦度检测依赖于包括距离传感器、角度传感器等剖面仪来获得信息，进而计算出路面平坦度信息，但现有方法需要使用大量的传感器获取输入信息，缺少对双目相机的有效利用，且平坦度检测效果较差。

技术实现思路

[0005]为此，本申请实施例提供一种基于双目相机的路面平坦度语义分割方法和系统，以至少部分解决现有平坦度检测缺少与双目相机融合、且平坦度检测效果较差的技术问题。
[0006]为了实现上述目的，本申请实施例提供如下技术方案：根据本申请实施例的第一方面，提供了一种基于双目相机的路面平坦度语义分割方法，其特征在于，所述方法包括：获取目标检测区域内的原始图像，并将所述原始图像划分为多个不同尺寸的输入图像；基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果；基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果。
[0007]进一步地，所述获取目标检测区域内的原始图像，具体包括：采用双目相机获取所述目标检测区域内的视差图；将所述视差图转换为灰度图，并以所述灰度图作为所述原始图像。
[0008]进一步地，所述将所述原始图像划分为多个不同尺寸的输入图像，具体包括：将所述原始图像划分为原尺寸图像、四分之一大小图像和十六分之一大小图像，并将原尺寸图像、四分之一大小图像和十六分之一大小图像作为输入图像。
[0009]进一步地，基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果，具体包括：将所述十六分之一大小图像与所述四分之一大小图像进行特征融合，以得到第一特征图；将所述四分之一大小图像与所述原尺寸图像进行特征融合，以得到第二特征图；将所述十六分之一大小图像与所述原尺寸图像进行特征融合，以得到第三特征图；将所述第一特征图、所述第二特征图和所述第三特征图作为所述粗分割结果。
[0010]进一步地，将所述十六分之一大小图像与所述四分之一大小图像进行特征融合，以得到第一特征图，具体包括：将十六分之一大小图像t1上采样到四分之一大小图像，以得到融合后的特征图t11；将四分之一大小图像t2与融合后的特征图t11中每个特征点进行加权相加，得到t21；其中，对于t2上的每一个点，t21[i] = t2[i]*a+t11[i]*(1
‑
a)，a的值由监督信号学习得到。
[0011]进一步地，基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果，具体包括：将粗分割结果与所述原尺寸图像的特征图做矩阵乘法，将相同类别特征点之间进行强关联，以得到强关联结果；将强关联结果与所述原尺寸图像的特征图进行矩阵乘法，得到最终分割结果。
[0012]进一步地，所述第一语义分割网络为Encoder网络，所述第二语义分割网络为Decoder网络。
[0013]根据本申请实施例的第二方面，提供了一种基于双目相机的路面平坦度语义分割系统，其特征在于，所述系统包括：图像获取单元，用于获取目标检测区域内的原始图像，并将所述原始图像划分为多个不同尺寸的输入图像；图像粗分割单元，用于基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果；图像精分割单元，用于基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果。
[0014]根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
[0016]本申请实施例提供了一种基于双目相机的路面平坦度语义分割方法和系统，其通过获取目标检测区域内的原始图像，并将所述原始图像划分为多个不同尺寸的输入图像，
基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果，基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果。这样，以双目相机为基础，并通过双重语义分割得到的分割结果，精准度较高，为平坦度检测提供了准确的数据基础，解决了现有平坦度检测缺少与双目相机融合、且平坦度检测效果较差的技术问题。
附图说明
[0017]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0018]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。
[0019]图1为本专利技术所提供的路面平坦度语义分割方法一种具体实施方式的流程图；图2为本专利技术所提供的路面平坦度语义分割系统一种具体实施方式的结构框图。
[0020]具体实施方式
[0021]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]请参考图1，图1为本专利技术所提供的路面平坦度语义分割方法一种具体实施方式的流程图。
[0023]在一种具体实施方式中，本专利技术所提供的路面平坦度语义分割方法包括以下步骤：S1：获取目标检测区域内的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的路面平坦度语义分割方法，其特征在于，所述方法包括：获取目标检测区域内的原始图像，并将所述原始图像划分为多个不同尺寸的输入图像；基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果；基于所述原始图像对应的特征图和所述粗分割结果，在第二语义分割网络中进行特征点关联，以得到最终分割结果。2.如权利要求1所述的路面平坦度语义分割方法，其特征在于，所述获取目标检测区域内的原始图像，具体包括：采用双目相机获取所述目标检测区域内的视差图；将所述视差图转换为灰度图，并以所述灰度图作为所述原始图像。3.如权利要求1所述的路面平坦度语义分割方法，其特征在于，所述将所述原始图像划分为多个不同尺寸的输入图像，具体包括：将所述原始图像划分为原尺寸图像、四分之一大小图像和十六分之一大小图像，并将原尺寸图像、四分之一大小图像和十六分之一大小图像作为输入图像。4.如权利要求3所述的路面平坦度语义分割方法，其特征在于，基于所述输入图像，在第一语义分割网络中进行特征图提取和融合，以得到粗分割结果，具体包括：将所述十六分之一大小图像与所述四分之一大小图像进行特征融合，以得到第一特征图；将所述四分之一大小图像与所述原尺寸图像进行特征融合，以得到第二特征图；将所述十六分之一大小图像与所述原尺寸图像进行特征融合，以得到第三特征图；将所述第一特征图、所述第二特征图和所述第三特征图作为所述粗分割结果。5.如权利要求4所述的路面平坦度语义分割方法，其特征在于，将所述十六分之一大小图像与所述四分之一大小图像进行特征融合，以得到第一特征图，具体包括：将十六分之一大小图像t1上采样到四分之一大小图像，以得到融合后的特征图t11；将四分之一大小图像t2与融合后的特征图t11中每个特征点进行加权相加...

【专利技术属性】
技术研发人员：王鹏，冯凯，杨超，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：