一种基于二维语义地图的车辆视觉定位方法及系统技术方案

本发明专利技术提供了一种基于二维语义地图的车辆视觉定位方法及系统，包括：获取当前的传感器位姿数据以及相机图像数据；对相机图像数据进行图像感知，得到视觉语义感知要素；获取当前车辆所在环境的二维语义地图，得到地图要素；根据视觉语义感知要素，获取二维语义地图中地图要素的高度，构建地图要素采样点的三维坐标；将地图要素采样点的三维坐标和视觉语义感知要素进行混合数据关联；对混合数据关联结果进行非线性优化迭代，得到最优的当前位姿，完成车辆视觉定位。本发明专利技术利用不带高程信息的轻量级二维语义地图，通过结合二维距离变换和三维匹配的混合匹配方式，将视觉感知结果与语义地图配准，通过非线性优化最小化二维与三维误差，进行高精度定位。进行高精度定位。进行高精度定位。

【技术实现步骤摘要】
一种基于二维语义地图的车辆视觉定位方法及系统


[0001]本专利技术涉及自动驾驶
，具体地，涉及一种基于二维语义地图的车辆视觉定位方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

技术介绍

[0002]自动驾驶车辆在执行任务时，定位模块输出的位姿(包括位置和朝向)对规划控制等模块是必不可少的重要信息。当前自动驾驶车辆定位主要采用三种方案：第一种是结合高精度差分GPS和惯性导航等姿态传感器的数据，估计出自身位姿；第二种是基于已有点云地图定位，通过激光雷达或相机获得局部点云数据，与全局点云地图配准以估计位姿；第三种是基于已有语义地图定位，基于相机图像或激光雷达点云感知周边环境，并与全局的高精语义地图比较，以估计旋转和平移。
[0003]然而，上述第一种方案需要GPS地面基站，以及昂贵的惯性导航设备，且在非开阔场地GPS信号受到遮挡时效果较差；上述第二种方案需要稠密点云地图，其建立、存储、传输和更新成本都很高，无法应用于大规模场景；上述第三种方案，基于已有的高精度语义地图定位，将局部视觉感知结果与高精度地图对齐以估计，该方案通常存在以下问题：
[0004]1、现有视觉语义定位方案都是基于三维高精度语义地图，要求地图中包含了地图要素的经度、纬度和高度信息。但是，受限于地理信息保密的相关规定和法律条文，并考虑到准确高度信息的获取难度，三维高精地图难以在自动驾驶领域大规模建立和应用；
[0005]2、现有视觉语义定位方案需要在语义感知与地图要素之间进行明确的数据关联，在局部感知与地图没有完美一致处，容易产生误匹配，并导致定位效果较差；
[0006]3、随着神经网络的发展，视觉已经可以输出语义要素的三维深度信息，而现有视觉定位方案仅基于二维图像感知结果，没有充分利用感知网络的结果。

技术实现思路

[0007]本专利技术针对现有技术中存在的上述不足，提供了一种基于二维语义地图的车辆视觉定位方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。
[0008]根据本专利技术的一个方面，提供了一种基于二维语义地图的车辆视觉定位方法，包括：
[0009]获取当前的传感器位姿数据以及相机图像数据；
[0010]对所述相机图像数据进行图像感知，得到视觉语义感知要素；
[0011]获取当前车辆所在环境的二维语义地图，得到地图要素；
[0012]根据所述视觉语义感知要素，获取所述二维语义地图中地图要素的高度，构建地图要素采样点的三维坐标；
[0013]将所述地图要素采样点的三维坐标和所述视觉语义感知要素进行混合数据关联；
[0014]基于所述混合数据关联结果进行非线性优化迭代，得到最优的当前位姿，完成车辆视觉定位。
[0015]可选地，所述获取当前的传感器位姿数据及相机图像数据，其中，获取传感器位姿数据包括：
[0016]采用全局位姿传感器或相对位姿传感器，获取位置数据和姿态数据，得到传感器位姿数据。
[0017]可选地，所述对所述相机图像数据进行图像感知，得到视觉语义感知要素，包括：
[0018]利用深度学习神经网络，对获得的所述相机图像数据进行图像感知，得到视觉语义感知要素；其中：
[0019]所述视觉语义感知要素包括：语义信息和几何信息；其中，所述语义信息包括：道路要素的类别标签信息和基本语义属性信息，包括：标志牌类别、车道线虚实属性和车道线颜色属性；所述几何信息包括：二维图像空间的几何信息和三维空间的几何信息。
[0020]可选地，所述获取当前车辆所在环境的二维语义地图，包括：
[0021]基于所述传感器位姿数据中的位置数据，查询所述位置周围指定搜索范围内的二维语义地图，获得车辆当前位置周围的若干地图要素；其中：
[0022]所述地图要素包括：车道线、停止线、道路标志、路灯杆和标志牌；其中，所述车道线为必选地图要素，用于为位姿估计提供稳定的横向位姿约束；其他地图要素中的一个或多个为可选地图要素，用于为位姿估计提供纵向位姿约束。
[0023]可选地，所述根据所述视觉语义感知要素，获取所述二维语义地图中地图要素的高度，构建地图要素采样点的三维坐标，包括：
[0024]根据所述视觉语义感知要素，采用鲁棒估计的方式对路面进行估计；
[0025]将所述二维语义地图中地图要素的坐标转换到局部坐标系，结合所述路面的估计结果，计算出带高度的地图要素采样点的三维坐标。
[0026]可选地，所述将所述地图要素采样点的三维坐标和所述视觉语义感知要素进行混合数据关联，包括：
[0027]将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在三维空间内进行明确关联，同时剔除所述地图要素中的异常地图要素；
[0028]将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在二维图像空间进行基于距离变换的模糊关联；
[0029]结合所述明确关联结果和所述模糊关联结果，得到混合数据关联结果。
[0030]可选地，所述将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在三维空间内进行明确关联，同时剔除异常地图要素，包括：
[0031]计算所述视觉语义感知要素与所述地图要素之间的三维匹配误差；
[0032]根据所述三维匹配误差，计算三维空间最优匹配对，进行明确关联；
[0033]找出无效的地图要素，并予以剔除。
[0034]可选地，所述将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在二维图像空间进行基于距离变换的模糊关联，包括：
[0035]对所述视觉语义感知要素进行距离变换，得到距离变换图；其中，在所述距离变换图中，每个像素值表示该像素点到最近目标的距离，所述像素值越大表明距离越远；
[0036]采用射影变换模型，将所述地图要素采样点的三维坐标投影到二维图像空间，计算出投影后所述地图要素采样点对应的像素点的像素坐标，获得所述像素坐标对应所述距
离变换图中的像素值，获得所述像素点的最近目标，进行模糊关联。
[0037]可选地，所述基于所述混合数据关联结果进行非线性优化迭代，得到最优的当前位姿，包括：
[0038]采用非线性最小二乘法，以当前位姿为估计状态量，以所述混合数据关联的结果构建出二维和三维的误差为误差项，迭代估计得到最优的当前位姿。
[0039]数据关联的结果构建出二维和三维的误差为误差项，迭代估计得到最优的当前位姿，包括：
[0040]构建非线性优化模型，所述非线性优化模型以当前位姿的旋转和平移为待估计状态量，以所述当前的传感器位姿数据为状态量的初值；
[0041]对于所述混合数据关联结果中的三维明确关联结果，将其中三维匹配误差添加为所述非线性优化模型中的一个残差项；
[0042]对于所述混合数据关联结果中的二维模糊关联结果，将其中投影后地图要素采样点对应的像素点的像素坐标在距离变换图中的像素值添加为非线性优化模型中的另一个残差项；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维语义地图的车辆视觉定位方法，其特征在于，包括：获取当前的传感器位姿数据以及相机图像数据；对所述相机图像数据进行图像感知，得到视觉语义感知要素；获取当前车辆所在环境的二维语义地图，得到地图要素；根据所述视觉语义感知要素，获取所述二维语义地图中地图要素的高度，构建地图要素采样点的三维坐标；将所述地图要素采样点的三维坐标和所述视觉语义感知要素进行混合数据关联；基于所述混合数据关联结果进行非线性优化迭代，得到最优的当前位姿，完成车辆视觉定位。2.根据权利要求1所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述获取当前的传感器位姿数据及相机图像数据，其中，获取传感器位姿数据包括：采用全局位姿传感器或相对位姿传感器，获取位置数据和姿态数据，得到传感器位姿数据。3.根据权利要求1所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述对所述相机图像数据进行图像感知，得到视觉语义感知要素，包括：利用深度学习神经网络，对获得的所述相机图像数据进行图像感知，得到视觉语义感知要素；其中：所述视觉语义感知要素包括：语义信息和几何信息；其中，所述语义信息包括：道路要素的类别标签信息和基本语义属性信息，包括：标志牌类别、车道线虚实属性和车道线颜色属性；所述几何信息包括：二维图像空间的几何信息和三维空间的几何信息。4.根据权利要求1所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述获取当前车辆所在环境的二维语义地图，包括：基于所述传感器位姿数据中的位置数据，查询所述位置周围指定搜索范围内的二维语义地图，获得车辆当前位置周围的若干地图要素；其中：所述地图要素包括：车道线、停止线、道路标志、路灯杆和标志牌；其中，所述车道线为必选地要素，用于为位姿估计提供稳定的横向位姿约束；其他地图要素中的一个或多个为可选地图要素，用于为位姿估计提供纵向位姿约束。5.根据权利要求1所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述根据所述视觉语义感知要素，获取所述二维语义地图中地图要素的高度，构建地图要素采样点的三维坐标，包括：根据所述视觉语义感知要素，采用鲁棒估计的方式对路面进行估计；将所述二维语义地图中地图要素的坐标转换到局部坐标系，结合所述路面的估计结果，计算出带高度的地图要素采样点的三维坐标。6.根据权利要求1所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述将所述地图要素采样点的三维坐标和所述视觉语义感知要素进行混合数据关联，包括：将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在三维空间内进行明确关联，同时剔除所述地图要素中的异常地图要素；将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在二维图像空间进行基于距离变换的模糊关联；
结合所述明确关联结果和所述模糊关联结果，得到混合数据关联结果。7.根据权利要求6所述的基于二维语义地图的车辆视觉定位方法，其特征在于，所述将所述视觉语义感知要素与所述地图要素采样点的三维坐标，在三维空间内进行明确关联，同时剔除异常地图要素，包括：计算所述视觉语义感知要素与所述地图要素之间的三维匹配误差；根据所述三维匹配误差，计算三...

【专利技术属性】
技术研发人员：李军，赵季，陈韫韬，徐宁仪，
申请(专利权)人：辉羲智能科技上海有限公司，
类型：发明
国别省市：