路面测距方法及装置制造方法及图纸

本发明专利技术实施例提供一种路面测距方法及装置，其中方法包括：将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图；将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果；根据场景分割结果的路面区域，从所述视差结果中提取出所述路面区域的视差结果，并将所述路面区域的视差结果转换为距离值；从所述主视角图片中确定关键距离值的像素位置并拟合出示距线。本发明专利技术实施例相比现有技术更加鲁棒快速，并且能够更精准地表达出图像中的距离。

Pavement Ranging Method and Device

【技术实现步骤摘要】
路面测距方法及装置
本专利技术涉及测距
，更具体地，涉及一种路面测距方法及装置。
技术介绍
双目视觉和场景分割分属于计算机视觉领域中的低层级(low-level)问题和高层级(high-level)问题，其中双目视觉是视觉领域中最基础的问题之一，与人类使用双眼观察世界类似。双目视觉系统一般由双摄像机从不同的视点同时获取场景的数字图像，并基于视差原理恢复出物体的三维几何信息，估计与场景中不同物体的距离。双目视觉具有成本低、效率高、精度合适和系统结构简单等优点，被广泛应用于深度预测、场景建模、视觉里程计、工业视觉测量等多个任务中。场景分割是视觉中的另一个经典问题，它是从像素水平理解整幅图像，其目标是给出每一个像素区域的高级语义类别，它常用于场景理解、环境感知等任务中。最近几年，随着对深度卷积神经网络模型的深入研究，特别是全卷积(fullyconvolutional)模型在立体匹配和语义分割上的成功应用，视差估计和像素分类的准确率不断提升，同时端到端(end-to-end)模型还可以快速地预测出像素级别的视差图和语义图。然而，目前的大部分工作将视差估计和语义分割作为两个独立的问题进行研究。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的路面测距方法及装置。第一个方面，本专利技术实施例提供一种路面测距方法，包括：将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图；将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果；根据场景分割结果的路面区域，从所述视差结果中提取出所述路面区域的视差结果，并将所述路面区域的视差结果转换为距离值；从所述主视角图片中确定关键距离值的像素位置并拟合出示距线；其中，所述视差子网络根据左、右视角的两张样本图片以及所述两张样本图片的视差结果标签训练而成，所述语义子网络根据所述两张样本图片中主视角样本图片的特征图以及所述主视角样本图片的场景分割标签训练而成。第二个方面，本专利技术实施例提供一种路面测距装置，包括：视差结果获取模块，用于将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图；场景分割结果获取模块，用于将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果；距离转换模块，用于根据场景分割结果的路面区域，从所述视差结果中提取出所述路面区域的视差结果，并将所述路面区域的视差结果转换为距离值；示距线模块，用于从所述主视角图片中确定关键距离值的像素位置并拟合出示距线；其中，所述视差子网络根据左、右视角的两张样本图片以及所述两张样本图片的视差结果训练而成，所述语义子网络根据所述两张样本图片中主视角样本图片的特征图以及所述主视角样本图片的场景分割结果训练而成。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的路面测距方法及装置，将视差分析和场景分割相关联，视差分析子网络和语义分析子网络共享特征提取，能够实时预测密集视差图和场景分割图，通过确定测距场景，从场景分割结构中获得路面区域，并根据路面区域的视差结构计算路面区域的聚类，针对示距需求，通过提取关键聚类像素拟合示距线以克服视差图中存在的噪声，并且能够更精准地表达出图像中的距离。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍。显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的路面测距方法的流程示意图；图2为本专利技术实施例的视差子网络和语义子网络的处理流程示意图；图3为本专利技术实施例提供的路面测距装置的结构示意图；图4为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例的路面测距方法的流程示意图，如图1所示，包括：S101、将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图。需要说明的是，本专利技术实施例区别与现有技术采用两个独立的网络模型进行视差估计和语义分割，本专利技术采用联合网络模型，即用于语义分割的网络模型(即语义子网络)和用于视差估计的网络模型(即视差子网络)共享特征提取的结果，视差子网络在生成两种图片的视差结果的过程中，会首先生产两种图片的特征图，通过从两个视角的图片选择一张图片作为主视角图片(惯例以左视角的图片作为主视角图片)，从而确定主视角图片的特征图。可以理解的是，本专利技术实施例的视差子网络根据左、右视角的两张样本图片以及所述两张样本图片的视差结果标签训练而成。通过选择样本图片作为训练样本以及训练样本的视差结果作为样本标签，在确定训练样本和与训练样本对应的样本标签后，将训练安保输入视差子网络中，训练视差子网络，直至视差子网络能够输出与训练样本对应的样本标签匹配的输出结果，完成对视差子网络的训练。S102、将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果。需要说明的是，所述语义子网络根据所述两张样本图片中主视角样本图片的特征图以及所述主视角样本图片的场景分割结果训练而成，由于本专利技术实施例的语义子网络的输入为主视角图片的特征图，所以从结构上讲，本专利技术实施例的两个子网络共享特征图提取部分，从而能够更好地表达图像，相比原图更加鲁邦，也更适合获得视差信息和语义信息的计算。本专利技术实施例的语义子网络用于实现图像分割(imagesegmentation)，即将图片中代表不同场景区域的像素进行确定，将数字图像划分成互不相交的区域。作为一种可选实施例，语义子网络可以采用PSPNet，可参考以下文献：Zhao,H.,Shi,J.,Qi,X.,Wang,X.,&Jia,J.(2017).Pyramidsceneparsingnetwork.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.2881-2890)。需要说明的是，本专利技术实施例的场景分割结果用于表征图片中各区域像素所代表的物体，例如路面、车辆、行人、建筑、植被等等。图2为本专利技术实施例的视差子网络和语义子网络的处理流程示意图，如图2所示，左图(即左视角图片)和右图(即右视角图片)一起输入至视差子网络中，视差子网络首先分别生成两个图的本文档来自技高网...

【技术保护点】
1.一种路面测距方法，其特征在于，包括：将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图；将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果；根据场景分割结果的路面区域，从所述视差结果中提取出所述路面区域的视差结果，并将所述路面区域的视差结果转换为距离值；从所述主视角图片中确定关键距离值的像素位置并拟合出示距线；其中，所述视差子网络根据左、右视角的两张样本图片以及所述两张样本图片的视差结果标签训练而成，所述语义子网络根据所述两张样本图片中主视角样本图片的特征图以及所述主视角样本图片的场景分割标签训练而成。

【技术特征摘要】
1.一种路面测距方法，其特征在于，包括：将左、右视角的两张图片输入至预先训练的视差子网络中，输出所述两张图片的视差结果和所述两张图片中主视角图片的特征图；将所述主视角图片的特征图输入至预先训练的语义子网络，输出所述主视角图片的场景分割结果；根据场景分割结果的路面区域，从所述视差结果中提取出所述路面区域的视差结果，并将所述路面区域的视差结果转换为距离值；从所述主视角图片中确定关键距离值的像素位置并拟合出示距线；其中，所述视差子网络根据左、右视角的两张样本图片以及所述两张样本图片的视差结果标签训练而成，所述语义子网络根据所述两张样本图片中主视角样本图片的特征图以及所述主视角样本图片的场景分割标签训练而成。2.根据权利要求1所述的路面测距方法，其特征在于，所述视差子网络包括：特征提取模块，用于输入左、右视角的两张图片，输出左视角图片的特征图和右视角图片的特征图；匹配代价聚合模块，用于输入所述左、右视角图片的特征图，对所述左、右视角图片的特征图进行关联计算得到匹配特征，对主视角图片的特征图进行卷积操作得到主视角图片的转换特征，将所述匹配特征和主视角的转换特征进行连接，输出聚合特征；视差回归模块，采用编码-解码结构，用于输入所述聚合特征，输出预测的视差结果。3.根据权利要求2所述的路面测距方法，其特征在于，所述特征提取模块包括：第一卷积层，用于输入左、右视角的两张图片，输出左、右视角的两张图片的第一卷积特征值，所述第一卷积层的输入通道为3，输出通道为64，卷积核大小为3，步幅为2，尺寸缩放为1/2；第二卷积层，用于输入所述两张图片的第一卷积特征值，输出两张图片的第二卷积特征值，所述第二卷积层的输入通道为64，输出通道为64，卷积核大小为3，步幅为1，尺寸缩放为1/2；第三卷积层，用于输入所述两张图片的第二卷积特征值，输出两张图片的第三卷积特征值，所述第三卷积层的输入通道为64，输出通道为128，卷积核大小为3，步幅为1，尺寸缩放为1/2；池化层，用于输入所述两张图片的第三卷积特征值，输出两张图片的池化特征值，所述池化层的输入通道为128，输出通道为128，卷积核大小为3，步幅为2，尺寸缩放为1/4；第一残差层，用于输入所述两张图片的池化特征值，输出两张图片的第一残差特征值，所述第一残差层的输入通道为128，输出通道为256，卷积核大小为3，步幅为1，尺寸缩放为1/4；第二残差层，用于输入所述两张图片的第一残差特征值，输出两张图片的第二残差特征值，所述第二残差层的输入通道为256，输出通道为256，卷积核大小为3，步幅为1，尺寸缩放为1/4；第三残差层，用于输入所述两张图片的第二残差特征值，输出两张图片的第三残差特征值，所述第三残差层的输入通道为256，输出通道为256，卷积核大小为3，步幅为1，尺寸缩放为1/4；第四残差层，用于输入所述两张图片的第三残差特征值，输出两张图片的第四残差特征值，作为两张图片的特征图，所述第四残差层的输入通道为512，输出通道为512，卷积核大小为3，步幅为1，尺寸缩放为1/8。4.根据权利要求3所述的路面测距方法，其特征在于，所述匹配代价聚合模块包括：前置卷积层，用于输入两张图片的特征图，输出两张图片的第四卷积特征值，所述前置卷积层的输入通道为512，输出通道为256，卷积核大小为3，步幅为1，尺寸缩放为1/8；关联层，用于输入两张图片的第四卷积特征值，输出两张图片的匹配特征，所述关联层的输入通道为256，输出通道为33，最大位移为32，尺寸缩放为1/8；主视角卷积层，用于输入主视角图片的第四卷积特征值，输出主视角图片的转换特征，所述主视角卷积层的输入通道为256，输出通道为256，卷积核大小为3，步幅为1，尺寸缩放为1/8；连接层，用于输入两张图片的匹配特征和主视角图片的转换特征，输出聚合特征，所述连接层的输入通道为289，输出通道为289，尺寸缩放为1/8。5.根据权利要求4所述的路面测距方法，其特征在于，所述视差回归模块中的编码结构包括：第五残差层，用于输入聚合特征，输出第五残差特征，所述第五残差层的输入通道为409，输出通道为512，卷积核大小为3，步幅为1，尺寸缩放为1/8；第六残差层，用于输入第五残差特征，输出第六残差特征，所述第六残差层的输入通道为512，输出通道为512，卷积核大小为3，步幅为1，尺寸缩放为1/8；第七残差层，用于输入第六残差特征，输出第七残差特征，所述第七残差层的输入通道为512，输出通...

【专利技术属性】
技术研发人员：邓志东，杨国润，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11