本申请提出了一种基于双目视觉的道路可行驶区域识别方法，该方法可以包括：通过双目相机采集道路的左右图像；基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；根据所述高度图识别出所述道路的可行驶区域。本申请的技术方案不仅适用于铺装路面的路面信息感知，同时适用于非铺装路面的路面信息感知，且感知结果是道路前方的可行驶区域，可以便于自动驾驶决策模块直接基于可行驶区域做出决策。块直接基于可行驶区域做出决策。块直接基于可行驶区域做出决策。
【技术实现步骤摘要】
一种基于双目视觉的道路可行驶区域识别方法及装置
[0001]本申请一个或多个实施例涉及车辆自动驾驶领域，尤其涉及一种基于双目视觉的道路可行驶区域识别方法及装置。
技术介绍
[0002]近年来，随着人工智能技术的快速发展，自动驾驶技术在世界范围内受到了越来越多的关注。对于自动驾驶车辆来说，环境感知是车辆实现决策和控制的基础。目前自动驾驶感知技术主要研究对公路场景下的车辆、行人、信号灯、车道线等目标的检测、分割、跟踪等研究。同时，由于双目视觉技术相对激光雷达而言，低成本，感知范围大，因此在自动驾驶领域，双目视觉技术也逐步开始被应用在感知系统中。
[0003]相关技术中，通过双目视觉技术对车辆、行人等障碍物之外的信息进行过滤，并获取障碍物距离车辆的位置信息，从而实现对行驶路面的感知。但是该方案往往只适用于车辆行驶在水泥路、公路等铺装路面的场景下，不适用于如没有修好的毛坯公路、野外道路等道路交通环境非常复杂的非铺装路面。因此，如何准确高效地进行路面信息的感知、识别出道路前方的可行驶区域是自动驾驶领域的重要问题。
技术实现思路
[0004]本申请提供一种基于双目视觉的道路可行驶区域识别方法及装置，以解决相关技术中的不足。
[0005]根据本申请一个或多个实施例的第一方面，提供一种基于双目视觉的道路可行驶区域识别方法，该方法包括：
[0006]通过双目相机采集道路的左右图像；
[0007]基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；
[0008]将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；
[0009]根据所述高度图识别出所述道路的可行驶区域。
[0010]根据本申请一个或多个实施例的第二方面，提供一种基于双目视觉的道路可行驶区域识别模型的训练方法，该方法包括：
[0011]获取样本道路的样本左右图像、目标样本视差图和目标可行驶区域；
[0012]基于空间注意力机制对所述样本左右图像进行特征提取与匹配，得到注意力矩阵和样本图像特征，并根据所述注意力矩阵和所述样本图像特征生成样本视差图；
[0013]将所述样本视差图中各个像素点进行第一次坐标转换，得到相应的样本深度图，以及将所述样本深度图中各个像素点进行第二次坐标转换，得到相应的样本高度图；
[0014]根据所述样本高度图识别出所述样本道路的可行驶区域；
[0015]根据所述样本道路的可行驶区域与所述目标可行驶区域，以及所述样本视差图与
所述目标样本视差图对所述道路可行驶区域识别模型进行迭代训练。
[0016]根据本申请一个或多个实施例的第三方面，提供一种基于双目视觉的道路可行驶区域识别装置，该装置包括：
[0017]采集单元，用于通过双目相机采集道路的左右图像；
[0018]匹配单元，用于基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；
[0019]坐标转换单元，用于将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；
[0020]识别单元，用于根据所述高度图识别出所述道路的可行驶区域。
[0021]根据本申请一个或多个实施例的第四方面，提供一种电子设备，包括：
[0022]处理器；
[0023]用于存储处理器可执行指令的存储器；
[0024]其中，所述处理器通过运行所述可执行指令以实现如上述第一方面/第二方面的实施例中所述的方法。
[0025]根据本申请一个或多个实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面/第二方面的实施例中所述方法的步骤。
[0026]根据本申请一个或多个实施例的第六方面，提供一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面/第二方面的实施例中所述方法的步骤。
[0027]由以上技术方案可见，本申请一个或多个实施例中，通过空间注意力机制对双目相机采集的左右图像进行特征提取与匹配，可以更好地捕捉左右图像之间的相关性，从而得到更加准确的视差图，并对视差图进行两次坐标转换得到高度图，进而得到道路的可行驶区域。本申请提供的技术方案不仅适用于铺装路面的路面信息感知，同时适用于非铺装路面的路面信息感知，且感知结果包括道路的高低起伏与道路前方的可行驶区域，可以便于自动驾驶决策模块直接基于可行驶区域做出决策。
[0028]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0029]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0030]图1是一示例性实施例提供的一种基于双目视觉的道路可行驶区域识别方法的流程图。
[0031]图2是一示例性实施例提供的利用预标定的相机信息进行图像校正前的左右图像。
[0032]图3是一示例性实施例提供的利用预标定的相机信息进行图像校正后的左右图像。
[0033]图4是一示例性实施例提供的基于空间注意力机制对左右图像进行特征提取与匹
配的网络结构示意图。
[0034]图5是一示例性实施例提供的一种道路可行驶区域识别模型的训练方法的流程图。
[0035]图6是一示例性实施例示出的一种电子设备的结构示意图。
[0036]图7是一示例性实施例示出的一种基于双目视觉的道路可行驶区域识别装置的框图。
[0037]图8是一示例性实施例示出的一种基于双目视觉的道路可行驶区域识别模型的训练装置的框图。
具体实施方式
[0038]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0039]需要说明的是：在其他实施例中并不一定按照本申请示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本申请所描述的更多或更少。此外，本申请中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本申请中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0040]现有技术中，通过双目视觉技术实现对路面信息的感知，仅仅是对道路中显著障碍物进行检测和深度重建，这导致相关技术方案不适用于如野外道路等道路交通环境非常复杂的非铺装路本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双目视觉的道路可行驶区域识别方法，其特征在于，所述方法包括：通过双目相机采集道路的左右图像；基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；根据所述高度图识别出所述道路的可行驶区域。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用预标定的相机信息对所述左右图像进行图像校正，获得行对齐的校正后左右图像；所述预标定的相机信息包括所述双目相机的内外参数、两个相机的相对位置关系；所述基于空间注意力机制对所述左右图像进行特征提取与匹配，包括：基于空间注意力机制对所述行对齐的校正后左右图像进行特征提取与匹配。3.根据权利要求1所述的方法，其特征在于，所述基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，包括：对所述左右图像分别进行特征提取，得到所述左右图像的底层特征；将所述左右图像的底层特征分别输入空间注意力层和特征计算层；所述特征计算层用于对所述底层特征进行卷积计算，得到图像高层特征；所述空间注意力层包括池化层、卷积层、计算层，其中：所述池化层用于对所述底层特征进行池化处理，得到双通道特征图；所述卷积层用于对所述双通道特征图进行卷积，得到单通道特征图；所述计算层用于计算所述单通道特征图中各个像素点对应的注意力权重，输出所述注意力矩阵；将所述图像高层特征与所述底层特征进行拼接，得到所述图像特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述注意力矩阵和所述图像特征生成视差图，包括：将所述注意力矩阵与所述图像特征进行点乘，得到所述左右图像对应的特征匹配图；将所述特征匹配图输入预先训练的视差图生成网络，生成所述左右图像对应的视差图。5.根据权利要求1所述的方法，其特征在于，所述根据所述高度图识别出所述道路的可行驶区域，包括：将所述高度图输入预先训练的语义分割网络，所述语义...
【专利技术属性】
技术研发人员：冉盛辉，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。